0
0
0
0
Qwen3.5 K100-AI使用问题
2026-03-25 22:49:09
2
操作
用2块K100卡按照官方文档部署了千问3.5-35B-A3B和千问3.5-27B,发现如下问题: 1. 响应慢(首字响应慢,推理速度慢)千问3.5-27B单条速度只有10 tokens/s。 2. 加--reasoning-parser=qwen3后,没有效果,疑似和vllm适配版本太低有关(vllm官方0.17.0才正式适配千问3.5,0.17.1还修复了千问3.5的bug;而光源提供的镜像还是0.15 的镜像) 还请开发者尽快优化
全部评论(0)
只看楼主
暂无数据
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据