OpenAI ha rilasciato in beta la Decisions API, un servizio che anziché produrre testo generico come i classici LLM restituisce output pronti per il software: la probabilità che una condizione sia vera, una scelta tra opzioni predefinite o un punteggio su una scala. È la versione di OpenAI di quelli che vengono chiamati modelli di decisione, una categoria che però non ha aperto lei.
La paternità spetta a TypeSafe AI, startup di San Francisco fondata da Diogo Almeida, già impegnato nei metodi alla base di ChatGPT. Ha presentato Jev a metà settembre, due settimane prima dell'annuncio di OpenAI. Poi sono arrivati Decider di Perplexity e Clef di Cloudflare, mentre in locale si può già usare Decision-2.0-Lux di vLLM. Tutti condividono lo stesso schema: uno stato da valutare e una serie di domande tipizzate.
Come funziona un decision model
Un decision model è un'IA generativa che però non scrive. Riceve un contenuto, ad esempio il messaggio di un cliente, e una domanda, come a quale reparto assegnarlo, e risponde scegliendo tra le opzioni previste dallo sviluppatore. Insieme alla scelta fornisce un numero tra zero e uno, la probabilità, che indica quanto il modello sia convinto. I tipi di domanda sono tre: sì/no, scelta multipla e punteggio su scala ordinata.
Il caso mostrato da OpenAI chiarisce il funzionamento: davanti a "mi hanno addebitato due volte l'ordine", il modello assegna al reparto fatturazione una probabilità di 0,95 con confidenza 0,93. Spetta poi al programma decidere: sopra una soglia scelta dallo sviluppatore smista da solo, sotto passa a una persona.
Velocità e costi ridotti
Rispetto a un LLM usato come classificatore, i decision model sono molto più rapidi ed economici. TypeSafe indica tempi di risposta tra 70 e 500 millisecondi, OpenAI parla di una rapidità 10 volte superiore alla sua Responses API, Perplexity pubblica tempi che salgono da meno di 2 secondi a circa 23 vicino ai 262mila token. Tutti fatturano solo i token in ingresso, con l'output gratuito: Jev costa 0,042 dollari per milione di token, Perplexity 0,02, OpenAI 0,10.
Non tutti passano da un'API. Perplexity ha pubblicato i pesi del suo pplx-decider-v1-27b (26 miliardi di parametri, 49 GB, licenza Apache 2.0), e la comunità ha creato modelli aperti come Decision-2.0-Lux-9B. Nei test in locale su Apple Silicon, quest'ultimo ha classificato articoli in 69 categorie in circa 5 secondi, senza lasciare la macchina e senza costi per token.
