GKE Pod Snapshots: cargar un modelo de 70B en 37 segundos
Los Pod Snapshots de GKE prometen hasta 89% menos latencia de arranque y cargan un modelo de 70B en 37 segundos. Un avance directo para servir LLMs sobre Kubernetes.
Google publicó benchmarks de sus Pod Snapshots en GKE, con resultados que muestran hasta un 89% menos de latencia de arranque y un modelo de 70.000 millones de parámetros cargando en 37 segundos.
La función guarda en Cloud Storage la memoria de CPU y GPU a través de gVisor, de modo que un pod puede reanudarse con su estado casi intacto en lugar de reconstruirlo desde cero. Los números apuntan a una mejora sustancial frente a los tiempos habituales de arranque en frío.
El anuncio apunta directo al trabajo diario de quienes despliegan y sirven modelos de lenguaje: los arranques en frío y el escalado de GPU eran uno de los principales dolores de cabeza al operar LLMs sobre Kubernetes. Reducir esos tiempos abarata el escalado y mejora la respuesta a picos de demanda.
Los propios practitioners ya señalan que el reto siguiente será la invalidación de los snapshots: mantenerlos actualizados sin desperdiciar almacenamiento ni servir estados obsoletos. La herramienta, sin embargo, marca un avance concreto en la eficiencia de la infraestructura para IA.
Fuente: InfoQ.