既然我们已经深入探讨了本地与云端的两大代表Ollama和vLLM，是时候将视野拓宽，检视一下在高性能推理这片“高手如云”的竞技场中，还有哪些重量级的玩家。vLLM的出现点燃了战火，但远非终点。
欢迎来到LLM推理框架的“后vLLM时代”——一场精彩纷呈的群雄逐鹿。
在我们之前的探索中，Ollama和vLLM为我们描绘了本地便捷与云端高效的两种景象。然而，对极致性能的追求永无止境。当vLLM凭借PagedAttention技术封神，成为新的性能标杆后，它也激发了更多挑战者，它们带着独特的“屠龙技”，从不同维度向推理效率的王座发起冲击。
今天，我们将聚光灯投向三位极具实力的挑战者：TensorRT-LLM、SGLang 和 LMDeploy。它们分别代表了硬件厂商的“官方大军”、学术界的“理论革新派”和工程界的“全能工具箱”。
1. TensorRT-LLM：NVIDIA的“官方超跑定制工坊”
如果说vLLM是一台性能强悍的通用超跑，那么TensorRT-LLM就是由NVIDIA官方为你名下的那台特定型号GPU（如H100）量身定做的、拆掉所有非必要零件、只为刷新赛道记录的终极赛车。
-
出身与血统：
由NVIDIA亲自打造。这意味着它能最深入地利用NVIDIA GPU的硬件特性，包括那些尚未对第三方开放的底层接口和指令集。它是“亲儿子”，拥有无与伦比的硬件亲和力。 -
核心武器库：
- AOT编译（Ahead-Of-Time Compilation）： 这是它与vLLM最根本的区别。vLLM是一个在运行时（Just-In-Time）解释和执行模型的Python库。而TensorRT-LLM是一个编译器，它会将你的LLM模型（如Llama 3）预先编译成一个高度优化的、特定于你的GPU架构（例如Hopper或Ampere）的“引擎（Engine）”文件。这个过程虽然耗时，但一旦完成，执行效率极高。
- In-Flight Batching： 这是NVIDIA版本的“连续批处理”，与vLLM的思路类似，旨在最大化GPU的并行处理能力，减少空闲时间。
- 最前沿的量化支持（FP8）： 对于最新的Hopper架构（H100/H200），TensorRT-LLM提供了FP8量化支持。这是一种比INT8和INT4更先进的量化格式，能在几乎不损失精度的情况下，提供巨大的性能增益，这是目前其他框架难以企及的。
- 与Triton推理服务器深度集成： 编译好的模型引擎可以无缝部署在NVIDIA Triton上，这是一个为大规模、多模型部署设计的生产级推理服务器。
-
杀手锏：
硬件与软件的垂直整合。 通过AOT编译，它将模型的计算图（Computational Graph）与GPU的物理单元进行最完美的匹配，实现了无任何解释开销的“裸金属”性能。 -
适用场景：
对性能要求达到极致、拥有确定性NVIDIA GPU集群、且愿意为编译过程投入时间和资源的企业级用户。特别是在追求单卡极致性能和利用最新硬件特性（如FP8）方面，它是不二之选。
2. SGLang：重新定义“与LLM交互”的语言革新者
SGLang的视角非常独特。它认为，推理速度的瓶颈不仅在后端，更在于前后端的低效交互。当我们执行复杂的任务，如Agent、CoT（思维链）或多轮工具调用时，大量的Python逻辑和字符串拼接会产生巨大的开销，并且无法被后端高效地并行化。
-
出身与血统：
源自UC伯克利，与vLLM师出同门。这决定了它既拥有深厚的学术背景，又对vLLM的优势和局限有着深刻的理解。 -
核心武器库：
- 前端语言与后端协同设计： SGLang的核心是一个名为SGL（Structured Generation Language） 的前端语言。你可以用非常简洁的语法来描述复杂的生成逻辑（如并行生成、工具调用、角色扮演等），而SGLang的后端则能理解这种高级语言，并将其智能地调度和优化。
- RadixAttention： 这是SGLang版的“PagedAttention Plus”。它不仅能像PagedAttention一样高效管理KV缓存，还能在更细的粒度上（跨请求、甚至在同一请求的不同分支中）共享和复用token前缀，尤其是在处理复杂的生成树（Generation Tree）时，效果拔群。
- 控制流的高度优化： SGLang后端可以将前端描述的复杂控制流（if-else、for循环）直接在GPU上高效执行，避免了Python与GPU之间昂贵的来回通信。
-
杀手锏：
将“编程范式”的优化带入LLM推理。 它解决了“如何优雅且高效地让LLM执行复杂任务”的问题，将开发者从繁琐的Prompt工程和低效的控制逻辑中解放出来。 -
适用场景：
需要执行复杂Agentic Workflows、多步推理、思维链或需要精细控制生成过程的研究人员和开发者。当你的应用瓶颈不在于单次生成的吞吐量，而在于多次、复杂的LLM调用逻辑时，SGLang会带来惊人的效率提升。
3. LMDeploy：开源社区的“全能重装工具箱”
LMDeploy由国内知名AI团队MMRAI（上海人工智能实验室）和商汤科技联合推出。它更像是一个面向实战的、覆盖模型压缩到部署全流程的“工具箱”，强调全面性和实用性。
-
出身与血统：
强大的国内开源社区背景。这使得它对国内开发者的需求和硬件环境有更深入的理解，文档和社区支持也更为本土化。 -
核心武器库：
- 全链路支持： LMDeploy提供从模型轻量化（量化）、编译、到推理服务的“一条龙”解决方案。
- Persistent Batch（持续批处理）： 这是LMDeploy的批处理技术，同样旨在提升GPU利用率。
- 广泛的量化支持（W4A16）： 它支持多种量化方案，特别是其W4A16（4位权重，16位激活值）方案，在很多场景下实现了性能和精度的良好平衡。
- 异构硬件支持： 这是LMDeploy的一大亮点。除了NVIDIA GPU，它还积极支持AMD GPU，甚至在努力适配国产推理芯片，展现了其生态开放的决心。
-
杀手锏：
全面性与灵活性。 它不像其他框架那样“偏科”，而是提供了一个涵盖多种硬件、多种量化方案的综合性解决方案，让开发者可以根据自己的实际情况进行选择和组合。 -
适用场景：
需要处理多种模型、部署在不同硬件（尤其是非NVIDIA硬件）上、或希望在一个统一框架内解决模型压缩和部署问题的团队。对于希望在AMD等平台上获得高性能推理能力的用户来说，LMDeploy是目前最有力的竞争者之一。
权力的游戏：终极对决
| 特性 | vLLM (基准) | TensorRT-LLM | SGLang | LMDeploy | Ollama |
|---|---|---|---|---|---|
| 核心定位 | 高吞吐量推理服务器 | NVIDIA GPU上的极限性能 | 复杂生成任务的编程与执行框架 | 全链路、多硬件的部署工具箱 | 本地开发与快速实验 |
| 开发者 | UC Berkeley | NVIDIA | UC Berkeley | MMRAI / 商汤 | 开源社区 |
| 核心技术 | PagedAttention, Continuous Batching | AOT编译, In-Flight Batching, FP8 | SGL语言, RadixAttention | Persistent Batch, W4A16量化 | llama.cpp, GGUF |
| 独特优势 | 开启了高吞吐量推理时代 | 硬件厂商官方优化，性能天花板 | 前端语言与后端协同，简化复杂逻辑 | 硬件生态开放（支持AMD），工具链完整 | 极致易用，跨平台 |
| 性能特点 | 通用高吞吐 | 编译后延迟极低，单卡性能最强 | 复杂任务总耗时最低 | 性能优异，多硬件适配 | 低并发，本地友好 |
| 易用/灵活 | 部署简单，Python接口友好 | 编译步骤复杂，灵活性低 | 编程模型优雅，后端部署与vLLM类似 | 工具链丰富，学习曲线中等 | 一键运行，最简单 |
如何选择你的王牌？
在这场愈演愈烈的“权力游戏”中，没有唯一的王者，只有最适合你战场的武器：
- 追求极致吞吐量与通用性？ vLLM 依旧是你的首选，它是当前社区生态最成熟、综合表现最均衡的“六边形战士”。
- 预算充足，只用NVIDIA，追求毫秒必争的极限性能？ 投入资源到 TensorRT-LLM，它将为你带来官方认证的巅峰体验。
- 你的应用是复杂的AI Agent或需要多步推理？ 放弃用Python胶水代码与LLM搏斗，拥抱 SGLang，它将从编程范式上为你降维打击。
- 你的硬件环境复杂多变，或对AMD/国产芯片有需求？ LMDeploy 这个强大的“全能工具箱”将为你提供最广泛的兼容性和最完整的解决方案。
- 你只是想在本地安静地做个开发和实验？ Ollama 永远是你最忠实、最可靠的伙伴。
LLM推理框架的战场，正从“一超多强”走向“百花齐放”。这场竞争的最终受益者，将是每一位渴望将AI能力付诸实践的开发者。了解你的敌人，更要了解你的武器库，才能在这场激动人心的技术浪潮中，立于不败之地。
