2
6
0
0
Qwen
新人贴
Qwen3.5卡顿问题
2026-03-17 18:11:24
585
操作
在客户现场部署了Qwen3.5-35B-A3B和Qwen3.5-27B,BW1000的卡,启动模型后对话聊天第一句话会卡很久不输出(3-5分钟),在等第一句话输出以后就正常且流畅的输出了,需要怎么解决或者是模型本身的问题?
K100
全部评论(5)
只看楼主
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
codingmiao
只看此人
2楼
我感觉是3.5对应的vllm镜像有点什么问题,我拿来跑其它模型也是第一次请求要卡住,后面就正常了。
3/18
赞
回复
@圈友
暂无数据
尚未选择
发送
网
网
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友lQKnJd
只看此人
1楼
上次我部署的时候也有这个问题,--enable-prefix-caching开了以后好像就缓解了
3/18
赞
回复
@圈友
暂无数据
尚未选择
发送
Q
Q
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
QAZ
回复
@网友lQKnJd
请问--enable-prefix-caching 使能后,您这边大概多久可以输出对话呢
3/20
赞
回复
@圈友
暂无数据
尚未选择
发送
网
网
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友lQKnJd
回复
@QAZ
感觉还是有问题,但是现在也不管了 反正就第一个卡住后面都没问题了
4/3
赞
回复
@圈友
暂无数据
尚未选择
发送
L
L
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
lin
回复
@网友lQKnJd
您好能分享下启动命令吗?单论对话耗时多久啊,我也遇到同样的问题
7/2
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据