Trasformare una PlayStation 5 in un mini-server per l'intelligenza artificiale locale: è probabilmente l'esperimento più bizzarro emerso nelle ultime settimane, complice l'arrivo dell'exploit Relapse che ha reso quasi universale il jailbreak della console Sony. Eppure qualcuno non solo ci ha pensato, ma è anche riuscito a portare a termine l'impresa. Un utente di Reddit sostiene di aver avviato Qwen3.8-27B, un modello da 27 miliardi di parametri, grazie a una versione modificata di llama.cpp.
Perché farlo? Perché si può
Inutile cercare una motivazione logica: il progetto rientra nella categoria del buon vecchio "perché posso". Le specifiche della PS5 non sono da buttare, con 16 GB di memoria GDDR6 condivisa e una velocità teorica massima di 448 GB/s, ma GPU e CPU impallidiscono di fronte a sistemi più ottimizzati o anche solo a un PC desktop di buon livello. Non aspettatevi quindi risultati mirabolanti: parliamo di circa 20 token al secondo, un valore accettabile ma lontano dalle prestazioni di hardware dedicato.
La soluzione tecnica: Vulkan e RADV
A livello tecnico, l'evoluzione del progetto è stata interessante. Un primo tentativo basato su una versione non ufficiale di llama.cpp sfruttava solo la CPU e lasciava appena 6 GB di memoria disponibile, troppo pochi per modelli impegnativi. Un altro utente ha aggirato l'ostacolo portando llama.cpp sulla console come applicazione nativa, utilizzando Vulkan attraverso una versione adattata del driver open source RADV, parte del progetto Mesa. Così la memoria disponibile è salita da 6 a circa 11,4 GB, rendendo possibile l'esecuzione di una versione fortemente quantizzata di Qwen3.8-27B. Un esperimento di nicchia, ma che dimostra quanto possa essere flessibile l'hardware della console quando il software viene piegato ai propri scopi.
