参考这个：https://developer.sourcefind.cn/modelzoo/list/qwen3_int/detail?post_id=e290ac46-9137-11f1-882d-0242ac150003 镜像：harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10 模型： https://modelscope.cn/models/hygon/Qwen3.6-27B-Channel-INT8-w8a8 推理脚本： export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=false #K100AI需添加该环境变量 vllm serve Qwen/Qwen3-14B-Channel-INT8-w8a8 --port 8001 --trust-remote-code --dtype bfloat16 --gpu-memory-utilization 0.9 --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 结果：能拉上服务，但是请求推理无响应，并掉卡。