2
4
DeepSeek
8卡K100运行Deepseek-R1 awq报错
2025-06-11 10:28:19
260

尝试运行32B正常,但运行671b的 awq模型报错
(671b模型来自https://www.modelscope.cn/models/cognitivecomputations/DeepSeek-R1-awq)

相关命令如下:
docker run -it --name ds-awq-test --network=host --ipc=host --shm-size=16G --device=/dev/kfd --device=/dev/mkfd --device=/dev/dri -v /opt/hyhal:/opt/hyhal -v /data/awq:/data --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.7.2-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250510-fixpy /bin/bash
export VLLM_MLA_DISABLE=1

vllm serve /data --trust-remote-code --dtype float16 --max-model-len 8192 -tp 8 -q awq --gpu-memory-utilization 0.95 --port 8001 --served-model-name ds-671b-int4
报错如下:

attachmentId-image.png

但是,如果改为-q moe_wna16可以运行会出现答非所问问题,是因为模型本身是awq的,指定moe_wna16的问题么?

去掉-q参数时报错图:

attachmentId-image.png

改为-q moe_wna16后可启动但答非所问:
vllm serve /home/model
--trust-remote-code
--dtype float16
--max-model-len 4096
-tp 8
-q moe_wna16
--gpu-memory-utilization 0.97
--served-model DeepSeek-R1-awq

attachmentId-image.png

全部评论(9)
只看楼主
网
网友8iBePU
4楼
请问现在解决了吗?
2025/7/9
AuroraUSTC
3楼

我看到vllm的手册里有这个环境变量:

`VLLM_USE_TRITON_AWQ`

设置成`export VLLM_USE_TRITON_AWQ=1`试试呢?我这两天测试K100跑Qwen2.5-3B-Instruct-AWQ,不设置环境变量会报错只有K100-AI支持awq,K100不支持awq量化,设置了这个环境变量之后,K100就能跑起来了
2025/6/12
网
网友tscL0p
2楼
8卡 Deepseek-R1 跑不起来
2025/6/11
网
网友0p6WMS
回复 @网友tscL0p
量化的,跑的起来吧?ini4的
2025/6/11
Z
zc
1楼
你好,直接去掉-q的参数设置试试
2025/6/10
网
网友0p6WMS
回复 @zc

去掉-q也是报错,报错截图如下:

2025/6/10
Z
zc
回复 @zc
启动命令里面还是有-q gptq啊?直接vllm serve /data --trust-remote-code --dtype float16 --max-model-len 8192 -tp 8 --gpu-memory-utilization 0.95 --port 8001 --served-model-name ds-671b-int4
2025/6/10
网
网友0p6WMS
回复 @zc
去掉也是一样哎,-q awq或者不带,都会报错
2025/6/11
全部4条回复
没有更多内容了
--
楼主
Level.6
0 帖子
楼主热帖
暂无数据