L'intelligenza artificiale locale continua a guadagnare terreno e, soprattutto, velocità. Su una singola RTX 3090 da 24 GB, un porting di DSpine per llama.cpp è riuscito a spingere il modello cinese Qwen3.8-27B fino a circa 125 token al secondo in attività di codice e matematica. Un risultato che lascia a bocca aperta se confrontato con i soli 28 token al secondo ottenuti senza l'ausilio della decodifica speculativa.
La decodifica speculativa cambia le regole del gioco
Il merito di questo balzo prestazionale va alla decodifica speculativa, una tecnica che permette al modello di generare più token in parallelo anziché uno alla volta. In pratica, un modello più piccolo e veloce "azzarda" le previsioni sui prossimi token, mentre il modello principale le verifica in blocco. Se le previsioni sono corrette, il guadagno in termini di velocità è enorme, come dimostrano i numeri registrati su llama.cpp.
Un modello cinese che sfida i colossi
Qwen3.8-27B si conferma un modello particolarmente adatto a compiti strutturati come la programmazione e il ragionamento matematico, dove la precisione dei token generati è cruciale. Con 125 token al secondo, l'esperienza d'uso diventa fluida quasi quanto quella di un servizio cloud, ma con il vantaggio di girare interamente in locale, senza latenze di rete né costi API. Il porting di DSpine per llama.cpp dimostra inoltre che l'ecosistema open source è sempre più maturo: chi possiede una GPU di fascia alta come la RTX 3090 può ottenere prestazioni di rilievo con modelli di grandi dimensioni, abbattendo ulteriormente la distanza tra inferenza locale e infrastrutture professionali.
