0
3
0
0
模型应用
提问帖
新人贴
请问各位大佬/官方,组里有一台单机八卡K100服务器,想部署qwen3.6:27B用于coding,并发数20,token生成速度大概能有多少?
2026-07-02 22:49:32
187
操作
如题
全部评论(0)
只看楼主
S
S
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
suily
只看此人
1楼
生成速度受设置的上下文长度影响,建议参考方案部署实测 https://github.com/JaneEyreliu/dcu-inference-cookbook/blob/static_eplb_sglang/docs/model-deployment/vllm/qwen3.6.md
7/31
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据