Qualcomm ha completato la validazione in laboratorio della prima generazione di High Bandwidth Compute (HBC), l'architettura di memoria con calcolo integrato presentata durante l'estate. I test, eseguiti nel laboratorio di San Diego, hanno confermato il funzionamento dell'intero percorso di lettura e scrittura della memoria e delle operazioni di calcolo near-memory. Secondo l'azienda, il silicio ha operato esattamente come previsto e costituisce ora la base di memoria per le prossime piattaforme di inferenza AI.
Il collo di bottiglia della banda di memoria
Il problema che HBC vuole risolvere è ben noto a chi gestisce modelli linguistici in produzione: la banda di memoria rappresenta uno dei principali colli di bottiglia, perché per generare ogni token i dati del modello devono essere trasferiti verso le unità di calcolo. Su scala data center, energia e latenza di questi spostamenti incidono su throughput, consumi e costo totale di proprietà. Qualcomm punta a servire modelli sempre più capaci senza che potenza e costi crescano allo stesso ritmo.
Dal punto di vista architetturale, l'azienda impila più strati di memoria LPDDR in verticale, collegandoli con through-silicon via (TSV), e inserisce alla base un die di calcolo che esegue elaborazioni near-memory e scarica parte del lavoro sui die di memoria. La scelta della LPDDR consente, secondo Qualcomm, un'efficienza energetica superiore rispetto alla memoria HBM, basata su DRAM di tipo standard. L'impostazione ricorda quella di HBM4, dove il die di base è un chip logico che integra funzioni di gestione dei dati in ingresso e in uscita.
133 TB/s sulla futura AI250
Qualcomm dichiara un miglioramento di 6 volte della banda per watt rispetto all'attuale specifica HBM, con l'obiettivo di collocare il calcolo direttamente sotto gli stack di memoria, così che i dati percorrano pochi micron anziché alcuni centimetri. Durante la validazione sono stati impiegati pesi e attivazioni casuali, con dimensioni analoghe agli scenari reali. Il dato più rilevante riguarda la banda: HBC Gen 1 raggiunge 133 TB/s di banda complessiva sulla scheda acceleratrice AI250, ovvero 18 volte quella della LPDDR5X usata oggi nell'AI200. Si tratta della banda totale dell'acceleratore, non del singolo modulo HBC.
Il passo successivo è completare Qualcomm Dragonfly AI250, acceleratore per l'inferenza la cui fase di sampling è attesa nella prima metà del 2027. La validazione del silicio rappresenta quindi il primo tassello concreto di una strategia che punta a ridefinire l'equilibrio tra potenza di calcolo e consumo energetico nei data center dedicati all'AI.
