双 Tesla T10 部署 Qwen3.8-27B 推理服务实录

背景

两台闲置的 Tesla T10(Turing / sm_75,各 16GB GDDR6,403 GB/s,PCIe 无 NVLink),想跑 27B 级模型做编程助手。调研结论是:upstream vLLM/SGLang 已基本放弃 sm_75,官方路线走不通,最终选了社区 fork vLLM-2080Ti-Definitive——它明确支持双 T10 TP=2,并自带 AWQ/INT4 的 Marlin kernel、MTP 投机解码、fp8 KV cache。

环境

  • 主机:Ubuntu 24.04,kernel 7.0,驱动 595.91.07,16GB 内存,双 T10
  • 运行时要求(0.2.x):CUDA 13.0 + PyTorch 2.13 + GCC 15 + Python 3.12
  • 系统原配 GCC 13、无 CUDA toolkit,需补齐:
    • gcc-15:ubuntu-toolchain-r/test PPA
    • CUDA 13.0:cuda-toolkit-13-0(不装驱动),国内走 developer.download.nvidia.cn 的 CDN
    • uv、python3.12-dev(缺头文件会导致 cmake 报 Could NOT find Python)

构建与模型:

git clone https://github.com/weicj/vLLM-2080Ti-Definitive.git
./build.sh          # 约 15 分钟(MAX_JOBS 按内存自动限制)
# 模型:RedHatAI/Qwen3.8-27B-INT4(单文件 18.6GB + MTP 权重 0.85GB)

关键坑 1:vm.overcommit_memory

27B 的单权重文件超过 17GB,需要 vm.overcommit_memory=1,否则 mmap 报 Cannot allocate memory:

echo vm.overcommit_memory=1 > /etc/sysctl.d/99-vllm.conf
sysctl -p /etc/sysctl.d/99-vllm.conf

关键坑 2:NCCL P2P 挂死(本文核心)

症状:启动在 vLLM is using nccl 之后假死——双 Worker CPU 100%、GPU 100% 占用,但显存始终停在 269MiB(权重根本没开始加载),看门狗超时后杀掉进程,日志无报错。

排查路径:排除 OOM → 排除 custom allreduce(DISABLE_CUSTOM_ALL_REDUCE=1 无效)→ 双进程 NCCL allreduce 最小复现,确认是 NCCL 跨卡通信挂起,而普通 P2P 内存拷贝正常、nvidia-smi topo -p2p 也显示 OK。原因:NCCL 的 IPC/P2P 传输通道被平台拦截(疑似主板 ACS/IOMMU),属于硬件平台差异——fork 官方验证机没这个问题。

解法(二选一):

NCCL_P2P_DISABLE=1        # NCCL 走主机内存中转,稳,略慢

彻底解决要在 BIOS 关掉 ACS / 开启 PCIe peer-to-peer,待验证。

关键坑 3:agent 客户端的 tool calling

接入 opencode 时报错 "auto" tool choice requires --enable-auto-tool-choice and --tool-call-parser to be set——agent 类客户端默认带 tool_choice: auto,服务端必须显式开启:

ENABLE_AUTO_TOOL_CHOICE=1 TOOL_CALL_PARSER=qwen3_xml

parser 选择依据模型自带的 chat template:Qwen3.8-27B-INT4/chat_template.jinja 里是 <tool_call> 标签格式,对应 vLLM 的 qwen3_xml(与 qwen3_coder 同实现)。验证方法:发一个带 function 定义的请求,确认返回 tool_calls 而非纯文本。

另一个易误判的点:重启后的第一个请求会极慢(工具调用 + 投机解码路径的 CUDA graph 懒加载预热,实测 26 token 花了 98s),第二个请求起恢复正常(35 token / 0.83s)。别急着调优。

启动命令

MODEL_DIR=/path/to/Qwen3.8-27B-INT4 \
PROFILE=2xT10/qwen27b/w4a16/mtp3-fp8kv-1x262K-text-only.env \
MODE=fast GPU_DEVICES=0,1 TP_SIZE=2 SERVICE_SCOPE=lan PORT=8000 \
DISABLE_CUSTOM_ALL_REDUCE=1 NCCL_P2P_DISABLE=1 \
ENABLE_AUTO_TOOL_CHOICE=1 TOOL_CALL_PARSER=qwen3_xml \
START_TIMEOUT=3600 \
NON_INTERACTIVE=1 ./launcher.sh

注意 START_TIMEOUT 要调大(默认 900s,老卡 + 首次 inductor 编译容易超)。

结果

指标 数值
API http://IP:8000/v1(OpenAI 兼容)
显存 双卡各 14.8 / 16 GB
Decode 约 51 tok/s(512 token 实测 9.9s)
配置 W4A16 + fp8 KV + MTP/3 + 262K 上下文

参考:同模型同量化在 llama.cpp 上约 12–18 tok/s,fork 路线约 3 倍提升。

备注

  • 该模型带推理(thinking)输出,接入编程插件时注意 max_tokens;请求带 enable_thinking: false 可关思考提速。
  • opencode 客户端配置:全局 ~/.config/opencode/opencode.jsonc 注册 @ai-sdk/openai-compatible provider,baseURL 指向 http://<服务器IP>:8000/v1,模型 ID 填 Qwen3.8-27B-INT4,配 reasoning_content 字段分离 thinking 内容。
  • 当前 profile 为单并发优化(max_num_seqs=1),多并发需换并发向 profile 或调高该值。
  • 另外:这台服务器断连的元凶不是休眠(已 mask 全部 sleep target),而是 2.5G 网口协商抖动 + 无线桥接不稳,强制千兆后恢复——排查硬件问题时先查链路,别急着怀疑系统。