Un modelo de 125B parámetros corre en una RTX 4090 a 100 tokens por segundo
El modelo abierto Qwen 3.8 Flash Next, de 125.000 millones de parámetros, se ejecuta en una sola tarjeta gráfica de consumo a unos 100 tokens por segundo. El caso muestra que la inferencia local de gran escala ya es viable en un equipo de escritorio.
En Hacker News se ha compartido la experiencia de ejecutar Qwen 3.8 Flash Next, un modelo de 125.000 millones de parámetros, en una sola tarjeta gráfica de consumo: una Nvidia RTX 4090, alcanzando alrededor de 100 tokens por segundo. El caso, reproducido por desarrolladores de la comunidad, muestra que un modelo de gran tamaño puede funcionar en un equipo de escritorio sin depender de infraestructura en la nube.
El anuncio resulta relevante porque los modelos abiertos de esa escala se asociaban hasta ahora a clústeres con varias GPU y a presupuestos de cómputo elevados. Ejecutarlos en hardware de gama alta para el consumidor reduce la barrera de entrada para quien quiera experimentar con inteligencia artificial local, y abre la puerta a flujos de trabajo que priorizan la privacidad de los datos al mantenerlos en la propia máquina.
Para los desarrolladores, la implicación práctica es que la inferencia local deja de ser un ejercicio de laboratorio y se vuelve una alternativa viable para prototipos, pruebas y aplicaciones que no pueden enviar información a servicios externos. También habilita la experimentación sin costo por token, aunque con las limitaciones propias del hardware disponible.
El interés generado en foros técnicos sugiere que la comunidad seguirá optimizando técnicas de cuantización y gestión de memoria para exprimir aún más este tipo de equipos. La tendencia apunta a que la inteligencia artificial local siga ganando terreno frente a las interfaces de programación tradicionales.
Fuente: Hacker News.