0
0
0
0
Qwen3.5 K100-AI使用问题
2026-03-25 22:49:09
2
操作
用2块K100卡按照官方文档部署了千问3.5-35B-A3B和千问3.5-27B,发现如下问题: 1. 响应慢(首字响应慢,推理速度慢)千问3.5-27B单条速度只有10 tokens/s。 2. 加--reasoning-parser=qwen3后,没有效果,疑似和vllm适配版本太低有关(vllm官方0.17.0才正式适配千问3.5,0.17.1还修复了千问3.5的bug;而光源提供的镜像还是0.15 的镜像) 还请开发者尽快优化
全部评论(0)
只看楼主
网
网
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友6f7rQI
只看此人
1楼
这一版改进,是合入在哪个版本的DTK了
2025/7/3
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据