4
基础环境
提问帖
有回复
新人贴
Z100 32G 4卡集群 部署 Qwen3 系列模型 报错
2026-02-06 00:35:53
259
尝试过0.9.2-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226镜像,报错提示IndexError: max(): Expected reduction dim 2 to have non-zero size 尝试0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250724 部署后乱码,响应异常缓慢 尝试使用原生transfermers部署,结果部署起来了,异常响应缓慢 说了个你好,用了将近1分半才返回 请问下能否给一篇在z100多卡集群上部署qwen3的完整教程,顺便问下到底哪个版本的镜像可以部署起来?麻烦给一个详细步骤呢?求求了
全部评论(6)
只看楼主
网
网友0HKeNW
楼主
3楼
肯定社区的方法都是试过的,才会跑来提问哇
3/5
网
网友0HKeNW
楼主
2楼
能不能给点有用的建议啊,哪怕是自己部署过得,很明确说了使用的是z100 4卡集群,是z100
3/5
L
lim
回复 @网友0HKeNW
attachmentId-image.png
4/28
L
lim
1楼
部署过程可以参考这里 https://developer.sourcefind.cn/modelzoo/list/qwen3_vllm/detail?post_id=b936b3ee-bbbf-11f0-b077-0242ac150003
2/7
网
网友0HKeNW
回复 @lim
没有一点有用的帮助,感觉就是vllm框架不支持,倒腾新卡去了旧卡就不管了呗
4/27
网
网友0HKeNW
回复 @lim
有生之年还能支持么?有没有计划?还是就准备放着不管了?

4/27
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据