双 Tesla T10 部署 Qwen3.8-27B 推理服务实录
背景
两台闲置的 Tesla T10(Turing / sm_75,各 16GB GDDR6,403 GB/s,PCIe 无 NVLink),想跑 27B 级模型做编程助手。调研结论是:upstream vLLM/SGLang 已基本放弃 sm_75,官方路线走不通,最终选了社区 fork vLLM-2080Ti-Definitive——它明确支持双 T10 TP=2,并自带 AWQ/INT4 的 Marlin kernel、MTP 投机解码、fp8 KV cache。
环境
- 主机:Ubuntu 24.04,kernel 7.0,驱动 595.91.07,16GB 内存,双 T10
- 运行时要求(0.2.x):CUDA 13.0 + PyTorch 2.13 + GCC 15 + Python 3.12
- 系统原配 GCC 13、无 CUDA toolkit,需补齐:
gcc-15:ubuntu-toolchain-r/test PPA- CUDA 13.0:
cuda-toolkit-13-0(不装驱动),国内走developer.download.nvidia.cn的 CDN uv、python3.12-dev(缺头文件会导致 cmake 报Could NOT find Python)
构建与模型:
git clone https://github.com/weicj/vLLM-2080Ti-Definitive.git
./build.sh # 约 15 分钟(MAX_JOBS 按内存自动限制)
# 模型:RedHatAI/Qwen3.8-27B-INT4(单文件 18.6GB + MTP 权重 0.85GB)
关键坑 1:vm.overcommit_memory
27B 的单权重文件超过 17GB,需要 vm.overcommit_memory=1,否则 mmap 报 Cannot allocate memory:
echo vm.overcommit_memory=1 > /etc/sysctl.d/99-vllm.conf
sysctl -p /etc/sysctl.d/99-vllm.conf
关键坑 2:NCCL P2P 挂死(本文核心)
症状:启动在 vLLM is using nccl 之后假死——双 Worker CPU 100%、GPU 100% 占用,但显存始终停在 269MiB(权重根本没开始加载),看门狗超时后杀掉进程,日志无报错。
排查路径:排除 OOM → 排除 custom allreduce(DISABLE_CUSTOM_ALL_REDUCE=1 无效)→ 双进程 NCCL allreduce 最小复现,确认是 NCCL 跨卡通信挂起,而普通 P2P 内存拷贝正常、nvidia-smi topo -p2p 也显示 OK。原因:NCCL 的 IPC/P2P 传输通道被平台拦截(疑似主板 ACS/IOMMU),属于硬件平台差异——fork 官方验证机没这个问题。
解法(二选一):
NCCL_P2P_DISABLE=1 # NCCL 走主机内存中转,稳,略慢
彻底解决要在 BIOS 关掉 ACS / 开启 PCIe peer-to-peer,待验证。
关键坑 3:agent 客户端的 tool calling
接入 opencode 时报错 "auto" tool choice requires --enable-auto-tool-choice and --tool-call-parser to be set——agent 类客户端默认带 tool_choice: auto,服务端必须显式开启:
ENABLE_AUTO_TOOL_CHOICE=1 TOOL_CALL_PARSER=qwen3_xml
parser 选择依据模型自带的 chat template:Qwen3.8-27B-INT4/chat_template.jinja 里是 <tool_call> 标签格式,对应 vLLM 的 qwen3_xml(与 qwen3_coder 同实现)。验证方法:发一个带 function 定义的请求,确认返回 tool_calls 而非纯文本。
另一个易误判的点:重启后的第一个请求会极慢(工具调用 + 投机解码路径的 CUDA graph 懒加载预热,实测 26 token 花了 98s),第二个请求起恢复正常(35 token / 0.83s)。别急着调优。
启动命令
MODEL_DIR=/path/to/Qwen3.8-27B-INT4 \
PROFILE=2xT10/qwen27b/w4a16/mtp3-fp8kv-1x262K-text-only.env \
MODE=fast GPU_DEVICES=0,1 TP_SIZE=2 SERVICE_SCOPE=lan PORT=8000 \
DISABLE_CUSTOM_ALL_REDUCE=1 NCCL_P2P_DISABLE=1 \
ENABLE_AUTO_TOOL_CHOICE=1 TOOL_CALL_PARSER=qwen3_xml \
START_TIMEOUT=3600 \
NON_INTERACTIVE=1 ./launcher.sh
注意 START_TIMEOUT 要调大(默认 900s,老卡 + 首次 inductor 编译容易超)。
结果
| 指标 | 数值 |
|---|---|
| API | http://IP:8000/v1(OpenAI 兼容) |
| 显存 | 双卡各 14.8 / 16 GB |
| Decode | 约 51 tok/s(512 token 实测 9.9s) |
| 配置 | W4A16 + fp8 KV + MTP/3 + 262K 上下文 |
参考:同模型同量化在 llama.cpp 上约 12–18 tok/s,fork 路线约 3 倍提升。
备注
- 该模型带推理(thinking)输出,接入编程插件时注意 max_tokens;请求带
enable_thinking: false可关思考提速。 - opencode 客户端配置:全局
~/.config/opencode/opencode.jsonc注册@ai-sdk/openai-compatibleprovider,baseURL 指向http://<服务器IP>:8000/v1,模型 ID 填Qwen3.8-27B-INT4,配reasoning_content字段分离 thinking 内容。 - 当前 profile 为单并发优化(
max_num_seqs=1),多并发需换并发向 profile 或调高该值。 - 另外:这台服务器断连的元凶不是休眠(已 mask 全部 sleep target),而是 2.5G 网口协商抖动 + 无线桥接不稳,强制千兆后恢复——排查硬件问题时先查链路,别急着怀疑系统。
Comments ()