双卡 Tesla T10 本地部署 Qwen3.8-27B 实测

2×Tesla T10 上,同一个 Qwen3.8-27B,分别用 vLLM 和 Ollama 跑,同一套脚本、同一批 prompt。
结论:长上下文(128K+)用 vLLM,能快 7~12 倍;32K~64K 日常区间两者打平。


一、环境参数

项目 值
GPU 2 × Tesla T10(Turing,sm_75,16GB GDDR6,403GB/s),PCIe,无 NVLink
GPU 互联 nvidia-smi topo -m → 两卡 NODE(经 PCIe Host Bridge)
CPU / 内存 AMD EPYC 7F52 16C × 2(32 核),16GB 内存
系统 Ubuntu 24.04,kernel 7.0,驱动 595.91.07
模型 Qwen3.8-27B-INT4(27.3B),W4A16 + fp8 KV
原生上下文 262144(256K)

sm_75 没有 BF16、没有现代 Tensor Core,upstream vLLM/SGLang 已放弃该架构。社区 fork
vLLM-2080Ti-Definitive 专门补齐:Marlin INT4 kernel、MTP 投机解码、fp8 KV cache。

模型权重 18.6GB(单文件 safetensors)+ 0.85GB MTP 权重 + 931MB 视觉投影层(实为多模态)。


二、后端参数对比

Ollama 0.40.4 vLLM-2080Ti-Definitive 0.2.2-post3
权重 GGUF Q4_K_M(17.7GB) safetensors W4A16(19GB)
部署 systemd,ollama run qwen3.8 源码树 + launcher.sh
API /api/chat OpenAI 兼容 /v1
KV cache f16 fp8
投机解码 自动(--spec-type draft-mtp) MTP/3,可关
tool calling 无 qwen3_xml parser

三、启动参数

vLLM(推荐配置)

cd /home/era/vllm-def/src
MODEL_DIR=/home/era/vllm-def/models/Qwen3.8-27B-INT4 \
PROFILE=2xT10/qwen27b/w4a16/mtp3-fp8kv-1x262K-text-only.env \
MODE=fast GPU_DEVICES=0,1 TP_SIZE=2 SERVICE_SCOPE=lan PORT=8000 \
DISABLE_CUSTOM_ALL_REDUCE=1 NCCL_P2P_DISABLE=1 \
ENABLE_AUTO_TOOL_CHOICE=1 TOOL_CALL_PARSER=qwen3_xml \
START_TIMEOUT=3600 NON_INTERACTIVE=1 \
./launcher.sh
参数 作用 不加会怎样
NCCL_P2P_DISABLE=1 NCCL 走主机内存中转 必挂:启动卡在 using nccl==2.29.7,GPU 100% 但显存停在 269MiB,无报错,15 分钟后超时
DISABLE_CUSTOM_ALL_REDUCE=1 关自研 all-reduce T10 无 P2P,用不了
START_TIMEOUT=3600 放宽启动超时 默认 900s 不够首次 inductor 编译
ENABLE_AUTO_TOOL_CHOICE=1 + TOOL_CALL_PARSER=qwen3_xml 开 tool calling agent 客户端发 tool_choice: auto 会直接报错
vm.overcommit_memory=1 允许 mmap 大文件 27B 权重超 17GB,报 Cannot allocate memory

Ollama

ollama pull --insecure qwen3.8
ollama run qwen3.8

--insecure 必需:路由器 fake-ip DNS 把所有域名解析到 198.18.0.0/15,Ollama 下载 blob 时校验
302 目标必须是公网 IP,fake-ip 被判定为非公网而拒绝。


四、测试方法

同一套 Python 客户端、同一个 prompt、同样的计时口径打两个后端:短提示(17~59 token)+ 256 输出、
长提示(124~166 token)+ 256 / 512 输出。

  • 每个案例前先发不计入统计的预热请求:vLLM 重启后首请求因 CUDA graph 懒加载预热极慢(26 token 耗 98s),不预热全是假数据
  • 主指标 = 端到端吞吐(completion_tokens ÷ 总墙钟,含 TTFT),两端口径一致
  • 每个案例独立采样 GPU 显存峰值

五、实测结果

吞吐(tok/s,长提示 + 512 token 输出)

上下文 Ollama vLLM(关 MTP) vLLM(MTP/3) vLLM 优势
32K 32.6 未单测(速度与 ctx 无关) — 持平
64K 32.5 32.4 — 持平
128K 24.8 32.4 — 1.31×
256K 4.4 32.4 47.3 7.3× / 10.7×

吞吐(tok/s,关闭 thinking)

用 enable_thinking: false(vLLM)/ "think": false(Ollama):

场景 Ollama vLLM(MTP/3, 262K) 倍数
32K,长提示 + 512 输出 31.5(TTFT 0.73s) 52.2(TTFT 0.19s) 1.66×
256K,短提示 3.3(TTFT 1.74s) 28.9(TTFT 0.33s) 8.7×
256K,长提示 + 512 输出 4.3(TTFT 2.63s) 52.2(TTFT 0.19s) 12.1×

首字延迟(256K,长提示 + 512 输出)

Ollama vLLM(关 MTP) vLLM(MTP/3)
60.99s 6.71s 9.47s

显存与 KV cache

配置 显存峰值(卡0/卡1) KV cache 权重 offload
vLLM 262K + MTP 14853 / 14853 MiB 265,072 tok(1.01x) 100% GPU
vLLM 262K 无 MTP 14823 / 14823 MiB 323,913 tok(1.24x) 100% GPU
vLLM 128K 14821 / 14821 MiB 313,116 tok(2.39x) 100% GPU
vLLM 64K 14821 / 14821 MiB 293,546 tok(4.48x) 100% GPU
Ollama 32K 10737 / 11019 MiB — 66/66 全 GPU
Ollama 64K 11507 / 11805 MiB — 66/66 全 GPU
Ollama 128K 14731 / 12013 MiB — 65/66(1 层 CPU)
Ollama 256K 14267 / 11045 MiB — 42/66(24 层 CPU)

启动耗时

耗时
vLLM 启动到 READY 95~151s(权重 24~41s + inductor 编译 + CUDA graph 捕获)
Ollama 模型加载 15~19s
Ollama 首次请求预热 32K: 18.8s / 64K: 32.7s / 128K: 36.9s / 256K: 46.3s

Ollama 的"启动快"是假象,它只是把加载推迟到了第一个请求。


六、差距来源

不是算力,是显存分配策略。

Ollama 用 f16 KV cache,256K 上下文时 KV 需 1024MiB,挤不下就自动把 24/66 层权重挪到 CPU,
每生成一个 token 都在 PCIe 上搬数据 → 4.4 tok/s。

vLLM 用 fp8 KV cache(省一半)+ 0.93 显存利用率 + chunked prefill,262K 上下文下依然全权重驻留 GPU,
速度与上下文长度几乎无关(32K~256K 恒定 32.4 tok/s),还剩 1.24x~4.48x 并发余量。


七、结论

场景 推荐
日常对话 / 补全,< 64K 都行,Ollama 部署简单得多
长文档分析、仓库级问答(64K~256K) vLLM,必须带 NCCL_P2P_DISABLE=1
tool calling / 接 agent 框架 vLLM(OpenAI 兼容 + qwen3_xml)
最高吞吐 vLLM + MTP/3(关 thinking 52 tok/s,快 1.66×~12.1×)

已知限制:

  • Ollama 的 262144 是名义上限,超出会被静默钳位(请求 512K/1M 不报错但也不生效)
  • 该混合架构(recurrent state + KV)不支持 KV cache shifting,日志提示
    KV cache shifting is not supported for this context,超出上下文是拒绝而非滑窗截断
  • 模型默认走 thinking 输出,会吃掉 token 预算;接编程插件时注意 max_tokens 别给太小
  • 16GB 内存是隐藏瓶颈:27B 单文件权重超 17GB,必须 vm.overcommit_memory=1
  • 两个后端不能同时加载模型:显存只有 32GB,Ollama 抢不到显存时会静默降级到 CPU 推理
    (ollama ps 显示 99%/1% CPU/GPU),请求永远不返回

八、部署完成状态

监听   0.0.0.0:8000   →  http://10.1.1.8:8000/v1
模型   Qwen3.8-27B-INT4
显存   14847 / 14847 MiB(双卡,100% GPU)
KV     265,072 tokens(262,144 上下文,1.01x 并发)
启动   110s
日志   /home/era/vllm-def/src/run-logs/vllm-Qwen3.8-27B-INT4-*.log

停止:launcher 菜单第 9 项,或杀 run-logs/*.pid 里的进程。