2
6
Qwen
新人贴
Qwen3.5卡顿问题
2026-03-17 18:11:24
585
在客户现场部署了Qwen3.5-35B-A3B和Qwen3.5-27B,BW1000的卡,启动模型后对话聊天第一句话会卡很久不输出(3-5分钟),在等第一句话输出以后就正常且流畅的输出了,需要怎么解决或者是模型本身的问题?
K100
全部评论(5)
只看楼主
C
codingmiao
2楼
我感觉是3.5对应的vllm镜像有点什么问题,我拿来跑其它模型也是第一次请求要卡住,后面就正常了。
3/18
网
网友lQKnJd
1楼
上次我部署的时候也有这个问题,--enable-prefix-caching开了以后好像就缓解了
3/18
Q
QAZ
回复 @网友lQKnJd
请问--enable-prefix-caching 使能后,您这边大概多久可以输出对话呢
3/20
网
网友lQKnJd
回复 @QAZ
感觉还是有问题,但是现在也不管了 反正就第一个卡住后面都没问题了

4/3
L
lin
回复 @网友lQKnJd
您好能分享下启动命令吗?单论对话耗时多久啊,我也遇到同样的问题
7/2
没有更多内容了
--
楼主
Level.5
0 帖子
楼主热帖
暂无数据