Far girare un modello di intelligenza artificiale da 35 miliardi di parametri direttamente su uno smartphone sembrava fantascienza fino a poco tempo fa. Eppure OpenBMB ha documentato l'esecuzione locale di MiniCPM-V 4.7 su un iPhone, raggiungendo una velocità di 20,51 token al secondo. Un traguardo che sposta ancora più in là il confine tra dispositivi mobili e calcolo su cloud, aprendo scenari interessanti per la privacy e la reattività delle applicazioni.
Le tre mosse vincenti
Il risultato non nasce da un singolo trucco, ma dalla combinazione di più strategie. La prima è il caricamento anticipato degli "esperti": MiniCPM-V 4.7 adotta un'architettura di tipo Mixture of Experts, dove solo una parte dei parametri viene attivata per ogni token generato. Precaricare gli esperti più probabili riduce i ritardi dovuti all'accesso alla memoria. La seconda leva è la quantizzazione, che comprime i pesi del modello per occupare meno spazio e richiedere meno banda, senza compromettere in modo percepibile la qualità dell'output. Infine, la decodifica speculativa: un modello più piccolo propone più token in anticipo, e il modello grande li verifica in un colpo solo, accelerando il processo.
Il router resta sovrano
Un dettaglio tecnico cruciale riguarda il router, il componente che decide quale esperto attivare per ogni token. Le ottimizzazioni introdotte non alterano le sue scelte: il modello mantiene la stessa logica di instradamento, garantendo che la qualità delle risposte resti fedele all'originale. È una scelta importante, perché dimostra che è possibile guadagnare in efficienza senza sacrificare l'accuratezza del modello.
L'impatto pratico è notevole: un'IA di questa taglia può finalmente operare offline, senza inviare dati sensibili ai server remoti, con latenze minime e costi di inferenza azzerati per l'utente finale. Se l'approccio di OpenBMB sarà replicabile su larga scala, il futuro degli assistenti mobili potrebbe essere sempre più locale e sempre meno dipendente dal cloud.
