DeepSeek ha pubblicato su GitHub DeepInfer, il framework di inferenza ad alte prestazioni che, secondo la descrizione del repository, alimenta i suoi servizi di produzione su larga scala. La release open source riguarda per ora l’inferenza offline e include le funzionalità di base necessarie per servire i modelli su larga scala. La notizia arriva in un contesto in cui il dibattito su restrizioni all’export e accesso ai chip Nvidia e Huawei resta centrale, ma il contenuto del repository riguarda soprattutto software: codice che può essere copiato, modificato e ridistribuito.
Cosa contiene DeepInfer
Il repository elenca una serie di componenti tecnici pensati per rendere più efficiente l’esecuzione dei modelli DeepSeek. Tra questi figurano kernel ottimizzati come FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernel personalizzati in TileLang. Sono elementi che agiscono a basso livello sul calcolo e sulla comunicazione tra GPU, cioè la parte che determina gran parte delle prestazioni e dei costi di un servizio di inferenza.
Il framework include anche meccanismi per accelerare la generazione del testo:
- DSpark e verifica pianificata per confidenza: usano token bozza e stime di confidenza per organizzare la verifica, con variabili come
DEEPINFER_ENABLE_MTP_VARLEN=1eDEEPINFER_USE_NEXTN_DECODEper controllare la lunghezza massima della bozza (valore predefinito 5). - Replay limitato del decoder SWA: riduce il lavoro di prefill riproducendo solo un suffisso limitato, con impostazioni come
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compacteDEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. - Scheduling asincrono: sovrappone la pianificazione dei batch sulla CPU con l’esecuzione sul dispositivo, attivo per impostazione predefinita.
- Inferenza invariante rispetto al batch: mantiene risultati identici al variare della composizione dei batch, abilitabile con
DEEPINFER_BATCH_INVARIANT=1solo su NVIDIA. - Campionamento deterministico: produce output identici a parità di token di input e parametri di campionamento, sempre solo su NVIDIA.
- Output strutturati: vincola la generazione a una regex, a uno schema JSON o a una grammatica EBNF.
Cosa manca e cosa resta da verificare
La descrizione è esplicita su un punto: alcune funzioni necessarie per un servizio di inferenza completo non sono incluse in questa release. Si tratta della disaggregazione tra prefill e decode (con gran parte della funzionalità del motore già implementata, secondo il repository) e del bilanciamento del carico tra repliche data-parallel sia per il prefill sia per il decode. Chi volesse costruire un servizio completo dovrebbe quindi colmare questi pezzi o integrarli con altri strumenti.
Il repository indica anche i requisiti pratici: serve un ambiente Python 3.12 vuoto e attivato prima della build. Il checkpoint predefinito, deepseek-ai/DeepSeek-V4.1-Flash-1017, viene scaricato nella cache di Hugging Face al primo avvio, a meno che non si imposti DEEPINFER_HF_MODEL_DIR per usare una copia locale. I benchmark citati sono stati misurati su 4 GPU SM100 per il prefill e 64 per il decode, ciascuna all’interno di un singolo dominio di scale-up; per riprodurli è indicato lo script run_sweep.sh.
La licenza è Apache 2.0. Il repository precisa inoltre che DeepInfer è stato costruito principalmente su vLLM, con ispirazioni da SGLang e TensorRT-LLM.
Perché conta
Il punto interessante non è solo tecnico. Un framework di inferenza open source può essere adottato da altri progetti e integrato in infrastrutture esistenti, indipendentemente da chi lo ha sviluppato. Il materiale della newsletter collegato alla notizia sottolinea proprio questo aspetto: un blocco può colpire un’azienda, ma non un codice che chiunque può copiare e modificare. È una considerazione dell’estratto, non un dato verificato nel repository, e va letta come tale.
Per chi lavora con modelli AI, DeepInfer è rilevante soprattutto per le ottimizzazioni messe a disposizione: kernel specializzati, gestione dei batch, output strutturati e modalità deterministiche. Sono funzionalità utili a chi deve servire modelli in produzione e vuole ridurre i costi di calcolo. Restano però da verificare la reale facilità di adozione, la compatibilità con hardware diverso da quello indicato e l’effettivo vantaggio rispetto ad altri motori di inferenza. Il repository è consultabile e la fonte originale della notizia è disponibile qui.
