9
Qwen
新人贴
推理Qwen3-235b-a22b-thinking-2507-AWQ模型求助
2026-05-28 16:06:00
149
硬件是海光7490 *2 + K100_AI *6 使用的镜像是0.15.1-ubuntu22.04-dtk26.04-py3.10这个 docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.15.1-ubuntu22.04-dtk26.04-py3.10 使用的模型是 https://www.modelscope.cn/models/QuantTrio/Qwen3-235B-A22B-Thinking-2507-AWQ 启动docker指令是 docker run -it --restart unless-stoped --name qwen3-235b-a22b --network=host --ipc=host --shm-size=64G --device=/dev/kfd --device=/dev/dir --divice=/dev/mkfd -v /opt/hyhal:/opt/hyhal -v /opt/dtk-26.04:/opt/dtk-26.04:ro -v /home/ubuntu/AWQ:/model\_data --group-add video --cap-add=SYS\_PTRACE --security-opt seccomp=unconfined harbor.soucefind.cn:5443/dcu/admin/base/vllm:0.15.1-ubuntu22.04-dtk26.04-py3.10 运行vllm的指令是 vllm serve /model\_data --tensor-parallel-size 4 --enforce-eager --trust-remote-code --gpy-memory-utilization 0.9 --host 0.0.0.0 --dtype float16 会有一个提示: ALTER is not found or QuarkOCP_MX is not supported on the current platform. 然后就开始进入报错阶段,直到停止
全部评论(4)
只看楼主
M
mh
2楼
可以使用qwen3.5和qwen3.6,之前测试qwen3有问题,换最新的模型没啥大的问题。
6/1
A
aikur
回复 @mh
啊,可以告诉我一下qwen3.5是用的哪一个版本吗
6/6
M
mh
回复 @aikur
8卡用的qwen3.5-122b-A10b,2张卡可以用qwen3.6-35B-A3B
6/8
L
liumg
1楼
硬件不支持MXFP数据类型导致的。可以换个模型
5/28
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据