Strata, un progetto open source, ha compiuto un passo da gigante nell'accessibilità dei modelli di intelligenza artificiale di grandi dimensioni. Il team è riuscito a far girare Qwen3.8-Flash-Next, un modello da 125 miliardi di parametri, su una scheda video con soli 12 GB di VRAM, come la GeForce RTX 5070. Un risultato impensabile fino a poco tempo fa, quando modelli di questa portata richiedevano hardware server dedicato con centinaia di gigabyte di memoria.
Come funziona la magia
La chiave sta in un'architettura che distribuisce il carico di lavoro tra GPU, memoria di sistema e SSD. Invece di caricare l'intero modello nella VRAM, Strata suddivide i parametri in blocchi e li sposta dinamicamente dove servono, sfruttando la velocità dell'SSD per i dati meno usati. Questo approccio permette di superare i limiti fisici della scheda video, mantenendo prestazioni sorprendenti: su una RTX 5070 sono stati misurati 94 token al secondo, un valore che rende il modello utilizzabile in tempo reale per molte applicazioni.
Impatto per sviluppatori e appassionati
Questa innovazione apre le porte a modelli avanzati anche su workstation e PC consumer, abbattendo i costi di accesso all'IA di fascia alta. Gli sviluppatori potranno sperimentare con Qwen3.8-Flash-Next senza dover affittare istanze cloud costose, mentre gli appassionati potranno eseguire inferenze locali con prestazioni più che dignitose. Il progetto è open source e promette ulteriori ottimizzazioni, rendendo il panorama dell'IA generativa sempre più democratico.
