光合开发者社区-论坛

Qwen

提问帖

有回复

Qwen3-235B-A22B-Instruct-2507-AWQ 这个模型4卡K100AI只有不到9 tokens/s 有什么优化建议吗？

2026-01-29 17:53:08

188

目前启动的方案是按照官方VLLM的启动框架，0.9.2和0.11.0 都很低。需要额外配置一些环境变量之类的吗？4卡K100AI 但并发能到多少呢？

不是使用 vllm bench 测试的流式问答直接看的日志。没有额外配置环境变量启动方式 docker run -it \

--network=host \

--ipc=host \

--shm-size=16G \

--device=/dev/kfd \

--device=/dev/mkfd \

--device=/dev/dri \

-v /opt/hyhal:/opt/hyhal \

--group-add video \

--cap-add=SYS_PTRACE \

--security-opt seccomp=unconfined \

image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-py3.10 \

/bin/bash docker 启动是这个，之后模型的启动 VLLM_USE_MODELSCOPE=true VLLM_USE_MODELSCOPE=true vllm serve \

Qwen3-235B-A22B-Instruct-2507-AWQ \

--tensor-parallel-size 4 \

--max-model-len 128000 没有额外的配置了