尝试运行32B正常,但运行671b的 awq模型报错
(671b模型来自https://www.modelscope.cn/models/cognitivecomputations/DeepSeek-R1-awq)
相关命令如下:
docker run -it --name ds-awq-test --network=host --ipc=host --shm-size=16G --device=/dev/kfd --device=/dev/mkfd --device=/dev/dri -v /opt/hyhal:/opt/hyhal -v /data/awq:/data --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.7.2-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250510-fixpy /bin/bash
export VLLM_MLA_DISABLE=1
vllm serve /data --trust-remote-code --dtype float16 --max-model-len 8192 -tp 8 -q awq --gpu-memory-utilization 0.95 --port 8001 --served-model-name ds-671b-int4
报错如下:

但是,如果改为-q moe_wna16可以运行会出现答非所问问题,是因为模型本身是awq的,指定moe_wna16的问题么?
去掉-q参数时报错图:

改为-q moe_wna16后可启动但答非所问:
vllm serve /home/model
--trust-remote-code
--dtype float16
--max-model-len 4096
-tp 8
-q moe_wna16
--gpu-memory-utilization 0.97
--served-model DeepSeek-R1-awq


暂无数据
我看到vllm的手册里有这个环境变量:
`VLLM_USE_TRITON_AWQ`
设置成`export VLLM_USE_TRITON_AWQ=1`试试呢?我这两天测试K100跑Qwen2.5-3B-Instruct-AWQ,不设置环境变量会报错只有K100-AI支持awq,K100不支持awq量化,设置了这个环境变量之后,K100就能跑起来了