DeepSeek ha publicado como código abierto DeepInfer, el software con el que sirve sus modelos de IA en producción. Es lo que en el sector se llama un motor de inferencia: el programa que carga el modelo en las GPU, reparte el trabajo entre ellas y genera las respuestas lo más rápido y barato posible. Llega con licencia Apache 2.0, funciona en GPU de NVIDIA y en chips Ascend de Huawei, y de momento solo ejecuta DeepSeek-V4.1-Flash.
Publicar los pesos de un modelo, como hace DeepSeek desde hace tiempo, no basta para usarlo bien. Un modelo de miles de millones de parámetros hay que repartirlo entre decenas de chips, organizar las peticiones en lotes y exprimir cada operación, y de eso depende cuánto cuesta cada respuesta. Hasta ahora, quien quería servir los modelos de DeepSeek tenía que usar motores genéricos como vLLM o SGLang, que deben adaptarse a cada modelo nuevo y no llevan los ajustes internos de la empresa. Es lo mismo que hizo Meta con Muse Spark Open: dar el modelo y dejar el «cómo servirlo» a cada uno.
Con DeepInfer, DeepSeek comparte, según su anuncio, su «pila de producción» para ayudar a la comunidad a «reducir el coste de cómputo y el consumo de energía y hacer la IA más asequible». El código está en GitHub, en deepseek-ai/DeepInfer, y el mismo día de su publicación ya superaba las 12,000 estrellas. La empresa ha publicado a la vez deepseek-recipe, una biblioteca en Rust con licencia MIT que traduce las peticiones de las API más usadas al formato de sus modelos y vuelve a traducir las respuestas, para que un servidor propio se comporte igual que la API oficial.
Claves de DeepInfer
- Licencia Apache 2.0: se puede usar, modificar y vender, también en productos comerciales.
- Hardware: GPU NVIDIA de la arquitectura SM100 (la de los B200 de los centros de datos) y chips Huawei Ascend 950. Pide Linux, Python 3.12 y CUDA 13 o CANN 9.2, el equivalente de Huawei.
- Un solo modelo por ahora: DeepSeek-V4.1-Flash. La empresa dice que el código de sus próximos modelos irá al mismo repositorio.
- Reparto entre chips: divide el trabajo de tres formas a la vez: por datos, por contexto (los textos muy largos) y por expertos, ya que V4.1-Flash es un modelo de mezcla de expertos en el que cada palabra solo activa una parte de la red.
- Decodificación especulativa: propone varios tokens de golpe y los verifica en una sola pasada, en lugar de generar uno por uno.
- Resultados repetibles: en NVIDIA, la misma petición da la misma respuesta aunque vaya en un lote distinto, algo que la mayoría de motores no garantiza.
- Salidas con formato: puede obligar al modelo a responder con un JSON válido según un esquema, una expresión regular o una gramática.
- Lo que se ha guardado: la versión abierta no incluye la caché de contexto entre peticiones (KV cache), ni la separación entre leer el prompt y generar la respuesta en máquinas distintas, ni el reparto de carga entre réplicas. Son piezas clave para servir a escala, así que DeepInfer es un motor, no el sistema completo de DeepSeek.
- Construido sobre vLLM: el propio README reconoce que nació «principalmente» sobre vLLM, con ideas de SGLang y de TensorRT-LLM de NVIDIA. Según The Next Web, el equipo de vLLM ya ha dicho que aprovechará ideas de DeepInfer para mejorar su soporte de V4.1-Flash.
Qué cambia para quien sirve modelos abiertos
El negocio de la IA ya no está solo en entrenar modelos, sino en servirlos baratos. Los proveedores que ofrecen modelos abiertos en la nube compiten por centavos por millón de tokens, y el motor de inferencia decide buena parte de ese margen. Al publicar el suyo, DeepSeek reduce la distancia entre su API y la de cualquiera que sirva sus modelos, y empuja los precios aún más abajo, lo que presiona también a los modelos cerrados.
El soporte de los chips de Huawei pesa igual. Las restricciones de EE. UU. a la venta de GPU avanzadas a China hacen que las empresas chinas necesiten alternativas, y un motor de producción que trata al Ascend 950 en igualdad con NVIDIA es una señal de que esa alternativa ya sirve para algo más que pruebas. Eso sí, las dos funciones de resultados repetibles solo funcionan, por ahora, en NVIDIA.
Falta comprobar las cifras. DeepSeek publica gráficas de rendimiento con 4 GPU SM100 para procesar los prompts y 64 para generar las respuestas, pero no hay pruebas independientes todavía, y la configuración está muy lejos del alcance de quien quiera probarlo en casa. Para la mayoría, lo útil llegará de forma indirecta: en los motores como vLLM que incorporen sus técnicas y en los proveedores que bajen precios gracias a ellas.
Más fuentes: el repositorio deepseek-recipe, The Next Web y The Decoder. Portada: Hangzhou, sede de DeepSeek, desde el lago del Oeste, foto de Y Chen, licencia CC BY-SA 4.0 (Wikimedia Commons), y logotipo de DeepSeek, marca registrada de DeepSeek, publicado con licencia MIT (Wikimedia Commons).