Anthropic ha aperto in beta pubblica i message threads, una nuova modalità di utilizzo dell'API di Claude pensata per ottimizzare la gestione delle conversazioni lunghe. Il principio è semplice ma efficace: l'applicazione invia l'intera cronologia della conversazione una sola volta, per poi trasmettere esclusivamente i messaggi nuovi nelle chiamate successive. In questo modo si evita di rispedire ogni volta l'intero storico al modello, con un beneficio immediato sulle prestazioni percepite dall'utente.
Meno latenza, stessa spesa
Il vantaggio principale riguarda il time to first token, cioè il tempo che intercorre tra l'invio della richiesta e la ricezione della prima parola generata dal modello. Riducendo il volume di dati trasmessi a ogni turno, la risposta risulta più rapida e l'esperienza complessiva più fluida. Tuttavia, come sottolineato dagli stessi sviluppatori, questa architettura non riduce i costi delle conversazioni: il modello continua a elaborare l'intero contesto, e il conteggio dei token fatturati resta invariato. In altre parole, si guadagna in velocità ma non in economia.
Un'ottimizzazione per gli sviluppatori
L'apertura della beta pubblica segnala la volontà di Anthropic di rendere i message threads accessibili a un pubblico più ampio di sviluppatori, che potranno testarli e integrarli nelle proprie applicazioni. La funzionalità si inserisce in un contesto di forte competizione con OpenAI e Google, dove la riduzione della latenza rappresenta un fattore chiave per chatbot, assistenti virtuali e strumenti di produttività. Per chi costruisce prodotti basati su Claude, i message threads offrono un modo più ordinato di gestire lo stato della conversazione lato server, senza dover rispedire ogni volta l'intera storia.
Resta però il nodo dei costi: chi sperava in un risparmio concreto dovrà attendere altre ottimizzazioni. La mossa di Anthropic è quindi un passo avanti sul fronte delle performance, ma non una rivoluzione sul piano economico.
