Un rig da mining dimenticato in un garage umido è tornato a nuova vita grazie all'ingegno di un appassionato di tecnologia. L'utente ha acquistato nove NVIDIA P106-100 per appena 35 dollari, recuperandole da un sistema dismesso, e le ha riconvertite in una postazione per l'intelligenza artificiale locale. La sfida? Far girare un modello linguistico di grandi dimensioni senza spendere una fortuna in hardware moderno.
Da scarti a potenza di calcolo
Le P106-100 sono schede video nate esclusivamente per il mining di criptovalute, prive di uscite video e con driver ottimizzati per calcoli specifici. Tuttavia, grazie a una modifica del BIOS e all'installazione di driver dedicati, è possibile utilizzarle per carichi di lavoro generici, inclusi i modelli di IA. Il rig, composto da nove unità, è stato assemblato con un alimentatore potenziato e un sistema di raffreddamento artigianale per gestire il calore residuo del garage. Il risultato? Una macchina in grado di eseguire inferenze su modelli come Llama 2 o Mistral, raggiungendo una velocità di oltre 30 token al secondo.
Prestazioni e limiti dell'IA low-cost
Nonostante l'età delle GPU, la configurazione si dimostra sorprendentemente efficace per applicazioni di IA generativa in locale. I 30 token/s permettono conversazioni fluide e risposte in tempo reale, anche se con modelli di dimensioni contenute (fino a 7 miliardi di parametri). Il collo di bottiglia rimane la memoria video: ogni P106-100 dispone di soli 6 GB di VRAM, per un totale di 54 GB, sufficienti per modelli quantizzati. L'esperimento dimostra come l'hardware obsoleto possa essere riutilizzato creativamente, offrendo un'alternativa economica e sostenibile alle costose soluzioni cloud.
Questa storia evidenzia il potenziale del riciclo tecnologico nel campo dell'IA. Mentre le big tech investono miliardi in data center, gli hobbisti dimostrano che con un po' di ingegno e componenti di recupero si possono ottenere risultati tangibili. Un monito per l'industria: l'innovazione non passa solo dall'ultimo chip, ma anche dal riutilizzo intelligente di ciò che il mercato scarta.
