双卡 Tesla T10 本地部署 Qwen3.8-27B 实测
2×Tesla T10 上,同一个 Qwen3.8-27B,分别用 vLLM 和 Ollama 跑,同一套脚本、同一批 prompt。
结论:长上下文(128K+)用 vLLM,能快 7~12 倍;32K~64K 日常区间两者打平。
一、环境参数
项目
值
GPU
2 × Tesla T10(Turing,sm_75,16GB GDDR6,403GB/s),PCIe,无 NVLink
GPU 互联
nvidia-smi