SGLang

SGLang是一个高性能的结构化生成语言推理引擎，专门为复杂的大语言模型程序设计。提供灵活的编程接口和高效的运行时，支持并行执行、自动批处理和内存优化，特别适合构建Agent和复杂推理任务。