Modelos de lenguaje ternarios superan la barrera de 1,58 bits
Un nuevo trabajo muestra que es posible llevar los modelos de lenguaje ternarios más allá del límite de 1,58 bits que se creía firme, con ganancias en eficiencia. La técnica acercaría modelos potentes a hardware de consumo.
Un nuevo trabajo técnico muestra que es posible empujar los modelos de lenguaje ternarios, cuyos pesos solo pueden ser -1, 0 y 1, más allá del límite de 1,58 bits que hasta ahora se consideraba firme, con ganancias en eficiencia.
Los modelos ternarios y de bajísima precisión son una de las vías más prometedoras para reducir el costo de ejecutar modelos potentes. Al comprimir los pesos a pocos valores posibles, se necesita menos memoria y menos ancho de banda, lo que permite correr modelos grandes en hardware mucho más modesto.
Cada avance en esta línea acerca los modelos locales de gran tamaño a portátiles, tarjetas gráficas de gama media y procesadores convencionales, una ruta clave para quienes quieren usar inteligencia artificial sin depender de la nube. Para los desarrolladores, implica más opciones para desplegar funciones de IA en el dispositivo, con menor latencia y menor costo por consulta.
El resultado no cambia los modelos de frontera de inmediato, pero empuja el límite teórico de la cuantización y abre la puerta a nuevas técnicas de entrenamiento y compresión.
Fuente: Hacker News.