机器:BW1000
使用镜像:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226
启动命令:
export VLLM_USE_NN=0
export TRITON\_MOVE\_LOAD\_TOFRONT\_DOT=0
vllm serve /home/ccw/models/Qwen3-Next-80B-A3B-Instruct/ --dtype float16 --port 8001 --served-model-name Qwen3-Next-80B-A3B-Instruct --trust-remote-code -tp 8 --max-model-len 262144 --enable-prefix-caching --block-size 64 --trust-remote-code --gpu-memory-utilization 0.95 --disable-log-stats --compilation-config '{"full\_cuda\_graph": true}'
出现回答精度问题:
输入:长沙美食推荐
