3
模型应用
提问帖
新人贴
请问各位大佬/官方,组里有一台单机八卡K100服务器,想部署qwen3.6:27B用于coding,并发数20,token生成速度大概能有多少?
2026-07-02 22:49:32
187
如题
全部评论(0)
只看楼主
S
suily
1楼
生成速度受设置的上下文长度影响,建议参考方案部署实测 https://github.com/JaneEyreliu/dcu-inference-cookbook/blob/static_eplb_sglang/docs/model-deployment/vllm/qwen3.6.md
7/31
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据