La IA local gana terreno: NVIDIA reparte la inferencia y DeepSeek usa menos GPUs
NVIDIA probó en beta su Personal AI Router para repartir la inferencia entre equipos de una red local, mientras un nuevo modelo de DeepSeek demuestra que se pueden servir LLM potentes con menos GPUs.
NVIDIA lanzó en beta su Personal AI Router, una herramienta que distribuye la inferencia de modelos de IA entre varios equipos conectados a una red local. En paralelo, el nuevo modelo de DeepSeek mostró que un LLM potente puede servirse con menos GPUs, según InfoQ y The Register.
Ambos anuncios apuntan a la misma dirección: ejecutar modelos en hardware propio, sin depender exclusivamente de servicios en la nube.
La orquestación local reduce la necesidad de enviar cada consulta a un proveedor externo y permite aprovechar el cómputo ya disponible en una oficina o un hogar. La eficiencia de los modelos, por su parte, baja el costo de arranque de esos despliegues.
El efecto combinado abre la puerta a arquitecturas multiagente sobre infraestructura propia, con más control sobre los datos y menor dependencia de facturas por consumo.
Fuente: InfoQ / The Register.