1
DCU技术达人
提问帖
有回复
新人贴
两卡K100AI跑Qwen3.8-27B都有哪些优化手段?
2026-08-27 11:34:14
539
我希望目标优化到40tok/s,目前只有27tok/s,还有什么优化手段吗 docker run -dit --name=dcm38 --network=host --privileged --shm-size 60g -v /opt/hyhal:/opt/hyhal:ro --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS\_PTRACE --security-opt seccomp=unconfined -u root -v /home/user/dcm/models:/models -e HIP\_VISIBLE\_DEVICES=0,1 harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.18.1-ubuntu22.04-dtk26.04-py3.10-20260810-qwen3.8 bash vllm serve /models/Qwen3.8-27B --host 0.0.0.0 -tp 2 --max-model-len 33792 --max-num-seq 16 --gpu-memory-utilization 0.95 --block-size 16 --speculative-config.method mtp --speculative-config.num\_speculative\_tokens 3 绑定NUMA ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260827/1787801643704_image.png)
全部评论(7)
只看楼主
B
Bluce_Dong
3楼
换sglang部署吧,吊打vllm
9/5
W
wesley
回复 @Bluce_Dong
sglang使用哪个镜像?启动参数怎么写?
9/7
江
江湖小子
2楼
你跑int8版本啊,我单卡都有35t/s
8/29
网
网友tkhMTx
回复 @江湖小子
客户不要量化版
9/3
网
网友jGslkh
回复 @网友tkhMTx
int8 sglang 32k输入 平均 40 t/s,最高 50 t/s
9/7
彭
彭yy
1楼
道友, 优化成功了吗
8/28
网
网友tkhMTx
回复 @彭yy
没搞定,等DCU技术来解决

9/3
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据