DeepSeek ha deciso di aprire le porte del proprio stack di inferenza. Il framework che alimenta in produzione il modello V4.1-Flash è ora disponibile su GitHub con licenza Apache 2.0, sotto il nome di DeepInfer. Una mossa che rende pubblico il motore dietro uno dei modelli linguistici più discussi del momento, permettendo a sviluppatori e ricercatori di studiarne l'architettura e riutilizzarne i componenti.
Compatibilità doppia: Nvidia e Huawei
Il dato più interessante riguarda l'hardware supportato. DeepInfer è progettato per girare sia sulle GPU Nvidia SM100 sia sulle NPU Huawei Ascend 950, un doppio binario che riflette la strategia di DeepSeek di non legarsi a un solo ecosistema di acceleratori. Una scelta rilevante in un contesto in cui le restrizioni all'export dei chip avanzati verso la Cina spingono sempre più aziende a diversificare le proprie infrastrutture.
Cosa manca e i limiti dei benchmark
Non è però tutto pronto per l'uso in produzione. Come ammesso dagli stessi sviluppatori, mancano ancora due componenti cruciali: la KV cache, essenziale per accelerare la generazione di testo su contesti lunghi, e il bilanciamento del carico, indispensabile per distribuire le richieste su più nodi. Inoltre, i benchmark pubblicati sono quelli forniti direttamente da DeepSeek, quindi non verificati in modo indipendente. Chi volesse testare DeepInfer dovrà quindi mettere in conto un lavoro di integrazione e una valutazione autonoma delle prestazioni reali.
L'apertura del codice rappresenta comunque un segnale importante per l'intero settore: DeepSeek continua a puntare sulla trasparenza e sul coinvolgimento della community, lasciando intravedere un ecosistema di inferenza sempre più aperto e multipiattaforma.
