Groq, azienda nota per i suoi acceleratori LPU (Language Processing Unit) progettati per l'inferenza di modelli di intelligenza artificiale, starebbe valutando un cambio epocale nella memoria delle sue future generazioni di chip. Secondo indiscrezioni, la società potrebbe passare dall'attuale SRAM alla DRAM 3D impilata, una mossa che promette di aumentare capacità e larghezza di banda, ma che potrebbe introdurre nuovi compromessi in termini di latenza.
Perché abbandonare la SRAM?
Le LPU di Groq sono rinomate per le loro prestazioni elevate e la bassa latenza, grazie all'uso massiccio di SRAM integrata nel chip. Tuttavia, la SRAM occupa molto spazio e ha un costo elevato, limitando la quantità di memoria disponibile. Con la crescita dei modelli AI, la necessità di maggiore capacità e banda passa in primo piano. La DRAM 3D impilata (come HBM) offre densità molto superiori e larghezze di banda elevate, ma storicamente presenta latenze più alte rispetto alla SRAM. Groq dovrà quindi ottimizzare l'architettura per mantenere le sue promesse di velocità.
Impatti sulle prestazioni e sul mercato
Se confermato, il passaggio alla DRAM 3D potrebbe permettere a Groq di supportare modelli AI più grandi e complessi direttamente in memoria, riducendo i colli di bottiglia. Tuttavia, la latenza aggiuntiva potrebbe penalizzare carichi di lavoro sensibili ai tempi di risposta. La sfida sarà bilanciare capacità e velocità, magari con un'architettura ibrida. Questo cambiamento riflette la tendenza generale del settore verso memorie impilate ad alta densità, ma Groq dovrà dimostrare che le sue LPU resteranno competitive. La transizione potrebbe avvenire non prima del 2025-2026, con impatti significativi sulla roadmap dell'azienda e sulle aspettative dei clienti che oggi scelgono Groq per l'inferenza a bassa latenza.
