双卡 Tesla T10 本地部署 Qwen3.8-27B 实测
2×Tesla T10 上,同一个 Qwen3.8-27B,分别用 vLLM 和 Ollama 跑,同一套脚本、同一批 prompt。
结论:长上下文(128K+)用 vLLM,能快 7~12 倍;32K~64K 日常区间两者打平。
一、环境参数
| 项目 | 值 |
|---|---|
| GPU | 2 × Tesla T10(Turing,sm_75,16GB GDDR6,403GB/s),PCIe,无 NVLink |
| GPU 互联 | nvidia-smi topo -m → 两卡 NODE(经 PCIe Host Bridge) |
| CPU / 内存 | AMD EPYC 7F52 16C × 2(32 核),16GB 内存 |
| 系统 | Ubuntu 24.04,kernel 7.0,驱动 595.91.07 |
| 模型 | Qwen3.8-27B-INT4(27.3B),W4A16 + fp8 KV |
| 原生上下文 | 262144(256K) |
sm_75 没有 BF16、没有现代 Tensor Core,upstream vLLM/SGLang 已放弃该架构。社区 fork
vLLM-2080Ti-Definitive 专门补齐:Marlin INT4 kernel、MTP 投机解码、fp8 KV cache。
模型权重 18.6GB(单文件 safetensors)+ 0.85GB MTP 权重 + 931MB 视觉投影层(实为多模态)。
二、后端参数对比
| Ollama 0.40.4 | vLLM-2080Ti-Definitive 0.2.2-post3 | |
|---|---|---|
| 权重 | GGUF Q4_K_M(17.7GB) | safetensors W4A16(19GB) |
| 部署 | systemd,ollama run qwen3.8 |
源码树 + launcher.sh |
| API | /api/chat |
OpenAI 兼容 /v1 |
| KV cache | f16 | fp8 |
| 投机解码 | 自动(--spec-type draft-mtp) |
MTP/3,可关 |
| tool calling | 无 | qwen3_xml parser |
三、启动参数
vLLM(推荐配置)
cd /home/era/vllm-def/src
MODEL_DIR=/home/era/vllm-def/models/Qwen3.8-27B-INT4 \
PROFILE=2xT10/qwen27b/w4a16/mtp3-fp8kv-1x262K-text-only.env \
MODE=fast GPU_DEVICES=0,1 TP_SIZE=2 SERVICE_SCOPE=lan PORT=8000 \
DISABLE_CUSTOM_ALL_REDUCE=1 NCCL_P2P_DISABLE=1 \
ENABLE_AUTO_TOOL_CHOICE=1 TOOL_CALL_PARSER=qwen3_xml \
START_TIMEOUT=3600 NON_INTERACTIVE=1 \
./launcher.sh
| 参数 | 作用 | 不加会怎样 |
|---|---|---|
NCCL_P2P_DISABLE=1 |
NCCL 走主机内存中转 | 必挂:启动卡在 using nccl==2.29.7,GPU 100% 但显存停在 269MiB,无报错,15 分钟后超时 |
DISABLE_CUSTOM_ALL_REDUCE=1 |
关自研 all-reduce | T10 无 P2P,用不了 |
START_TIMEOUT=3600 |
放宽启动超时 | 默认 900s 不够首次 inductor 编译 |
ENABLE_AUTO_TOOL_CHOICE=1 + TOOL_CALL_PARSER=qwen3_xml |
开 tool calling | agent 客户端发 tool_choice: auto 会直接报错 |
vm.overcommit_memory=1 |
允许 mmap 大文件 | 27B 权重超 17GB,报 Cannot allocate memory |
Ollama
ollama pull --insecure qwen3.8
ollama run qwen3.8
--insecure 必需:路由器 fake-ip DNS 把所有域名解析到 198.18.0.0/15,Ollama 下载 blob 时校验
302 目标必须是公网 IP,fake-ip 被判定为非公网而拒绝。
四、测试方法
同一套 Python 客户端、同一个 prompt、同样的计时口径打两个后端:短提示(17~59 token)+ 256 输出、
长提示(124~166 token)+ 256 / 512 输出。
- 每个案例前先发不计入统计的预热请求:vLLM 重启后首请求因 CUDA graph 懒加载预热极慢(26 token 耗 98s),不预热全是假数据
- 主指标 = 端到端吞吐(completion_tokens ÷ 总墙钟,含 TTFT),两端口径一致
- 每个案例独立采样 GPU 显存峰值
五、实测结果
吞吐(tok/s,长提示 + 512 token 输出)
| 上下文 | Ollama | vLLM(关 MTP) | vLLM(MTP/3) | vLLM 优势 |
|---|---|---|---|---|
| 32K | 32.6 | 未单测(速度与 ctx 无关) | — | 持平 |
| 64K | 32.5 | 32.4 | — | 持平 |
| 128K | 24.8 | 32.4 | — | 1.31× |
| 256K | 4.4 | 32.4 | 47.3 | 7.3× / 10.7× |
吞吐(tok/s,关闭 thinking)
用 enable_thinking: false(vLLM)/ "think": false(Ollama):
| 场景 | Ollama | vLLM(MTP/3, 262K) | 倍数 |
|---|---|---|---|
| 32K,长提示 + 512 输出 | 31.5(TTFT 0.73s) | 52.2(TTFT 0.19s) | 1.66× |
| 256K,短提示 | 3.3(TTFT 1.74s) | 28.9(TTFT 0.33s) | 8.7× |
| 256K,长提示 + 512 输出 | 4.3(TTFT 2.63s) | 52.2(TTFT 0.19s) | 12.1× |
首字延迟(256K,长提示 + 512 输出)
| Ollama | vLLM(关 MTP) | vLLM(MTP/3) |
|---|---|---|
| 60.99s | 6.71s | 9.47s |
显存与 KV cache
| 配置 | 显存峰值(卡0/卡1) | KV cache | 权重 offload |
|---|---|---|---|
| vLLM 262K + MTP | 14853 / 14853 MiB | 265,072 tok(1.01x) | 100% GPU |
| vLLM 262K 无 MTP | 14823 / 14823 MiB | 323,913 tok(1.24x) | 100% GPU |
| vLLM 128K | 14821 / 14821 MiB | 313,116 tok(2.39x) | 100% GPU |
| vLLM 64K | 14821 / 14821 MiB | 293,546 tok(4.48x) | 100% GPU |
| Ollama 32K | 10737 / 11019 MiB | — | 66/66 全 GPU |
| Ollama 64K | 11507 / 11805 MiB | — | 66/66 全 GPU |
| Ollama 128K | 14731 / 12013 MiB | — | 65/66(1 层 CPU) |
| Ollama 256K | 14267 / 11045 MiB | — | 42/66(24 层 CPU) |
启动耗时
| 耗时 | |
|---|---|
| vLLM 启动到 READY | 95~151s(权重 24~41s + inductor 编译 + CUDA graph 捕获) |
| Ollama 模型加载 | 15~19s |
| Ollama 首次请求预热 | 32K: 18.8s / 64K: 32.7s / 128K: 36.9s / 256K: 46.3s |
Ollama 的"启动快"是假象,它只是把加载推迟到了第一个请求。
六、差距来源
不是算力,是显存分配策略。
Ollama 用 f16 KV cache,256K 上下文时 KV 需 1024MiB,挤不下就自动把 24/66 层权重挪到 CPU,
每生成一个 token 都在 PCIe 上搬数据 → 4.4 tok/s。
vLLM 用 fp8 KV cache(省一半)+ 0.93 显存利用率 + chunked prefill,262K 上下文下依然全权重驻留 GPU,
速度与上下文长度几乎无关(32K~256K 恒定 32.4 tok/s),还剩 1.24x~4.48x 并发余量。
七、结论
| 场景 | 推荐 |
|---|---|
| 日常对话 / 补全,< 64K | 都行,Ollama 部署简单得多 |
| 长文档分析、仓库级问答(64K~256K) | vLLM,必须带 NCCL_P2P_DISABLE=1 |
| tool calling / 接 agent 框架 | vLLM(OpenAI 兼容 + qwen3_xml) |
| 最高吞吐 | vLLM + MTP/3(关 thinking 52 tok/s,快 1.66×~12.1×) |
已知限制:
- Ollama 的 262144 是名义上限,超出会被静默钳位(请求 512K/1M 不报错但也不生效)
- 该混合架构(recurrent state + KV)不支持 KV cache shifting,日志提示
KV cache shifting is not supported for this context,超出上下文是拒绝而非滑窗截断 - 模型默认走 thinking 输出,会吃掉 token 预算;接编程插件时注意
max_tokens别给太小 - 16GB 内存是隐藏瓶颈:27B 单文件权重超 17GB,必须
vm.overcommit_memory=1 - 两个后端不能同时加载模型:显存只有 32GB,Ollama 抢不到显存时会静默降级到 CPU 推理
(ollama ps显示99%/1% CPU/GPU),请求永远不返回
八、部署完成状态
监听 0.0.0.0:8000 → http://10.1.1.8:8000/v1
模型 Qwen3.8-27B-INT4
显存 14847 / 14847 MiB(双卡,100% GPU)
KV 265,072 tokens(262,144 上下文,1.01x 并发)
启动 110s
日志 /home/era/vllm-def/src/run-logs/vllm-Qwen3.8-27B-INT4-*.log
停止:launcher 菜单第 9 项,或杀 run-logs/*.pid 里的进程。
Comments ()