5
2
Qwen
Qwen2.5系列和QWQ可以加载,但是推理就报错
2025-08-13 18:38:26
116

runtimeerror:paged kv cache block size must be divsible by 16 at gfx928

操作系统版本:Ubuntu 22.04.5

DTK版本:dtk25041
DCU类型:K100_AI
vllm serve model tp 4 enforce-eager trust-remote-code
原始模型

全部评论(3)
只看楼主
网
网友HhYALT
3楼
docker run -dit \ --restart always \ --workdir=/workspace \ --ipc=host -p 8003:8000 \ --name=qwen3-30b \ -v /opt/hyhal:/opt/hyhal:ro \ -v /mnt/nvme7/Qwen:/workspace/Qwen \ --ipc=host \ --device=/dev/mkfd \ --device=/dev/dri \ --shm-size=512G \ --privileged \ --group-add video \ --cap-add=SYS_PTRACE \ -u root \ --security-opt seccomp=unconfined \ qwen3-235b:V1 \ vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 \ --host 0.0.0.0 \ --port 8000 \ --enforce-eager \ --enable-chunked-prefill \ --trust-remote-code \ --enable-chunked-prefill \ --api-key token-xxx \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.95 \ --max-model-len 256000 \ --served-model-name qwen3-30b
2025/8/20
网
网友HhYALT
2楼
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250429-dev-qwen3-only
2025/8/20
Z
zhufzh1
1楼
根据报错信息,可以先检查下设置的paged kv cache block size 参数能否被16整除
2025/8/15
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据