4
Qwen
新人贴
Qwen3.5 K100-AI使用问题
2026-03-25 22:49:09
531
用2块K100卡按照官方文档部署了千问3.5-35B-A3B和千问3.5-27B,发现如下问题: 1. 响应慢(首字响应慢,推理速度慢)千问3.5-27B单条速度只有10 tokens/s。 2. 加--reasoning-parser=qwen3后,没有效果,疑似和vllm适配版本太低有关(vllm官方0.17.0才正式适配千问3.5,0.17.1还修复了千问3.5的bug;而光源提供的镜像还是0.15 的镜像) 还请官方尽快优化:baoquan:emoji
全部评论(4)
只看楼主
C
codingmiao
2楼
--reasoning-parser deepseek_r1  0.15.1可以暂时用这个,但是推理慢没找到好办法,同期待0.17.1版
3/27
D
dp1
1楼
正在优化适配中,预计近期发版
3/26
_
_mkdes4veql4w
回复 @dp1
您好,请问啥时候能发版,期待中
4/2
网
网友lQKnJd
回复 @dp1
加油阿  0.17.1望眼欲穿了
4/3
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据