2
Qwen
提问帖
有回复
新人贴
Qwen3.5-397B-A17B模型反应慢。
2026-03-25 11:43:03
322
我的环境是2台8卡的K100AI机器,200g的roce网络,docker方式启动运行Qwen3.5-397B-A17B的模型,模型可以正常运行起来,运行起来后hy-smi 看显存占用在94%左右, 然后测试问题,模型反应很慢,这个有什么解决办法不。 运行是参照这个帖子操作的。https://developer.sourcefind.cn/modelzoo/list/qwen3.5_vllm/detail?post_id=46176b42-0c0b-11f1-a49f-0242ac150003
OnnxRuntime 1.22.2
全部评论(3)
只看楼主
D
dp1
2楼
目前qwen3.5仍处于内部优化中,预计近期发版新镜像,到时可以再试下
3/26
要
要有光
回复 @dp1
有镜像了吗 太慢了
8/2
网
网友B3ZN40
1楼
没有遇到输出混乱重复的问题吗?
3/25
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据