SGLang

¿Qué es SGLang?

Hacer que un modelo genere salida estructurada — un JSON estricto, una llamada a función — siempre ha sido engorroso. Por mucho que el prompt repita «devuelve JSON válido», a veces el modelo suelta una coma o añade una frase de más. SGLang es un framework de código abierto pensado justo para esto. Te da un pequeño «lenguaje de generación estructurada» para declarar en código que «este campo es un array» o «este valor debe ser una de estas opciones», mientras un backend de inferencia rápido mantiene todo ágil.

¿Por qué es rápido?

RadixAttention: reutilizar la caché
Normalmente, si dos peticiones difieren un poco, hay que recalcular la caché KV. SGLang guarda los prefijos compartidos en un árbol radix y los reutiliza, así las peticiones parecidas se ahorran trabajo duplicado.
Lenguaje de frontend y motor de backend diseñados juntos
No es solo una envoltura fina. Diseña «cómo lo expresas» y «cómo se ejecuta» como un único sistema, para que la comprobación de restricciones y la programación de la generación cooperen.

¿Qué problemas resuelve en la práctica?

Salida que sale con la forma correcta
Pides JSON y obtienes JSON válido; pides un enum y no inventa un valor nuevo. Eso importa mucho en agentes, donde el código de después tiene que parsear tu salida para hacer algo.
Aguanta mucha concurrencia
La caché de prefijos compartidos reduce coste y latencia en peticiones por lotes y chats de varios turnos.

¿En qué se diferencia de un prompt que solo dice «saca JSON»?

Pedirlo con amabilidad es una apuesta: el modelo a veces desobedece. SGLang trabaja a nivel de muestreo, restringiendo el siguiente token a un conjunto legal. Eso es una garantía de raíz, no una petición cortés.

En resumen: SGLang une un lenguaje de generación estructurada con caché de prefijos para que la salida compleja de un modelo llegue rápida, estable y bien formada.