光合开发者社区-论坛

Qwen

提问帖

有回复

新人贴

海光DCU K100AI，支持Qwen3.6-35B-A3B-W4A8吗？

2026-09-02 15:43:14

236

如题，请问理论上能支持吗？

lucky2025

楼主

7楼

明白了。
有能跑Qwen3.6-35B-A3B-W4A8的docker吗？
或者我修改 42.228.13.241:5000/jenkins/model_test_env/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10-20260510-2242这个docker的什么地方，可以适配W4A8这个模型。

9/9

xxx

6楼

量化模型不匹配，建议量化模型使用Qwen3.6-35B-A3B-Channel-INT8-w8a8模型：https://www.modelscope.cn/models/hygon/Qwen3.6-35B-A3B-Channel-INT8-w8a8

9/9

lucky2025

楼主

5楼

感谢您的关注

9/8

lucky2025

楼主

4楼

镜像：
docker pull 42.228.13.241:5000/jenkins/model_test_env/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10-20260510-2242
模型：
modelscope download --model iluvatar-corex/Qwen3.6-35B-A3B-W4A8 --local_dir /home/ldc/models/Qwen3.6-35B-A3B-W4A8
docker 启动命令：
docker run -itd \

--shm-size 100g \

--network=host \

--name=qwen3.6-custom \

--privileged \

--device /dev/mkfd \

--device=/dev/kfd \

--device=/dev/dri \

--group-add video \

--cap-add=SYS_PTRACE \

--security-opt seccomp=unconfined \

-v /home/ldc/models:/data \

-v /opt/hyhal/:/opt/hyhal/:ro \

42.228.13.241:5000/jenkins/model_test_env/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10-20260510-2242 \

/bin/bash
服务器端：
VLLM_USE_MODELSCOPE=true vllm serve /data/Qwen3.6-35B-A3B-W4A8 \

--enforce-eager \

--port 8000 \

--trust-remote-code \

--dtype auto \

--tensor-parallel-size 1 \

--max-model-len 16384

报错信息：
RuntimeError: The size of tensor a (2048) must match the size of tensor b (1024) at non-singleton dimension 1

9/8

xxx

3楼

麻烦提供下镜像和模型链接，以及报错信息

9/8

lucky2025

楼主

2楼

在我的环境里面试了一下，没有成功

9/8

xxx

1楼

可以尝试下

9/8