sgl-projectsglang：高性能LLM服务框架，全球部署超40万GPU

sgl-project/sglang：高性能LLM服务框架，全球部署超40万GPU

sgl-project/sglang是开源的大语言模型与多模态模型服务框架，当前GitHub Star数27494，项目地址：https://github.com/sgl-project/sglang。该框架主要解决大模型推理部署的性能问题，可在单GPU到大规模分布式集群环境中，提供低延迟、高吞吐量的推理服务。

SGLang的核心能力分为五个部分：
一是快速运行时，集成RadixAttention前缀缓存、零开销CPU调度器、预填充解码拆分、投机解码、连续批处理、分页注意力、多维度并行、结构化输出、分块预填充、多精度量化、多LoRA批处理等特性，可有效提升推理效率。
二是广泛模型支持，覆盖Llama、Qwen、DeepSeek、Kimi、GLM、GPT、Gemma、Mistral等主流语言模型，同时支持嵌入模型、奖励模型、扩散模型，兼容多数Hugging Face模型和OpenAI API，新增模型的扩展成本较低。
三是多硬件适配，可运行在NVIDIA全系列GPU、AMD GPU、Intel Xeon CPU、Google TPU、昇腾NPU等硬件平台，无需针对特定硬件做大量适配工作。
四是活跃社区支持，项目由非盈利开源组织LMSYS托管，社区迭代速度快，功能更新及时，目前已经得到广泛的行业采用。
五是RL与训练后场景适配，作为成熟的推理后端，已被多个前沿模型的训练流程采用，原生支持RL集成，可对接AReaL、Miles、slime、Tunix、verl等主流训练后框架。

目前SGLang已经在生产环境大规模部署，每天处理的token数量达万亿级，全球部署的GPU数量超过40万。采用该框架的企业与机构包括xAI、AMD、NVIDIA、Intel、LinkedIn、Cursor、Oracle Cloud、Google Cloud、Microsoft Azure、AWS等头部科技企业，以及MIT、UCLA、斯坦福大学、清华大学等科研机构。
2026年2月的测试数据显示，在NVIDIA GB300 NVL72硬件上，SGLang可实现25倍的推理性能提升。针对最新发布的开源模型，SGLang通常能提供首日支持，开发者可第一时间在生产环境部署新模型。
项目部署门槛较低，官方提供了完整的安装文档、快速入门教程、后端与前端使用指南，以及贡献者指南，开发者可根据文档快速完成部署与二次开发。

对于需要部署大模型推理服务的企业，SGLang可有效降低部署成本，提升推理性能。对于训练大模型的团队，SGLang可作为RL训练的rollout后端，提升训练效率。对于个人开发者，可基于SGLang快速搭建大模型服务，用于开发AI应用。
目前项目仍在持续迭代，2026年新增的SGLang Diffusion功能，可加速视频和图像生成任务，覆盖更多AI应用场景。

视频和图像生成任务，覆盖更多AI应用场景。