Quando un modello di intelligenza artificiale diventa troppo grande per la memoria delle GPU, la soluzione può arrivare da un approccio inedito: usare gli SSD come deposito dei pesi. È la scommessa di Tiny Corp, che ha appena presentato Tinybox Red Kimi, una workstation dal prezzo di 30.000 dollari pensata per eseguire localmente il modello Kimi K3.
Come funziona la macchina
Il cuore del sistema è l'uso di 16 TB di SSD per immagazzinare i parametri del modello, che altrimenti non troverebbero posto nella memoria video. La macchina abbina questa architettura a componenti hardware selezionati per bilanciare velocità di accesso e capacità di calcolo, permettendo di far girare Kimi K3 senza dipendere dal cloud. Un dettaglio non banale: i modelli di questa scala richiedono risorse enormi, e la scelta di puntare sullo storage flash rappresenta un compromesso interessante tra costo e prestazioni.
Perché è una notizia
L'idea di usare gli SSD come estensione della memoria per l'IA non è nuova, ma Tiny Corp la porta in un prodotto pronto all'uso. Se da un lato le GPU restano il motore principale, dall'altro l'approccio riduce la necessità di hardware specializzato e apre scenari per chi vuole eseguire modelli di grandi dimensioni in locale, magari per privacy o per evitare costi ricorrenti del cloud. Il prezzo di 30.000 dollari, però, la dice lunga: non è una macchina per tutti, ma un segnale di come il settore stia cercando strade alternative per gestire l'esplosione dei modelli.
La domanda resta aperta: gli SSD possono davvero colmare il divario con le GPU, o siamo solo all'inizio di una moda? Tiny Corp sembra crederci, e la sfida è lanciata.
