海上生林
  文章分类
人工智能 22 论文综述 1 设计模式 11 大模型基础 5 评测与算力 2 工具 11 计算机网络 7 数据库 4 java 4 计算机组成原理 5 开发环境 2 深度学习 3 认知升级 3 RAG 与知识 4 训练与对齐 4 Hexo 6 SSM 9 计算机视觉 5 算法 2 操作系统 2 开发工具 2 数学公式 1 札记 1 Python 5 PyTorch 1 SpringBoot 2 部署与推理 1
大模型推理部署：vLLM、SGLang 与 Ollama 对比 大模型推理部署：vLLM、SGLang 与 Ollama 对比
三个工具都能在本地跑大模型，但定位完全不同——Ollama 求"最快跑起来"，vLLM 求单机吞吐，SGLang 求高并发下的前缀复用。这篇整理三者的差异、上手命令和选型依据。
2026-10-09 人工智能 部署与推理
大模型 模型部署 vLLM SGLang Ollama