0
0
0
0
Qwen
请问Z100L支持Qwen3 Dense模型推理吗
2025-12-30 09:02:57
327
操作
如果支持，应该用哪个镜像，哪个vllm版本呢
全部评论（10）
只看楼主
W
W
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
wangwei
只看此人
1楼
建议：docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-das1.7-py3.10-20251203
Z100L&K100上推理 dense模型只能使用v0 engine+eager模式
2025/12/30
赞
回复
@圈友
暂无数据
尚未选择
发送
S
S
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
sdfkjk
回复
@wangwei
我试过docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-tx-1210-das1.7-py3.10-20251203不行，中间多了tx-1210，和您给的镜像是有差别吗？
2025/12/30
赞
回复
@圈友
暂无数据
尚未选择
发送
W
W
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
wangwei
回复
@sdfkjk
是使用的 v0 engine+eager模式吗
2025/12/30
赞
回复
@圈友
暂无数据
尚未选择
发送
S
S
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
sdfkjk
回复
@wangwei
是的，v0+eager 单卡，报错是ERROR 12-24 09:43:42 [engine.py:476] sub_out = torch.nn.functional.scaled_dot_product_attention(
ERROR 12-24 09:43:42 [engine.py:476] IndexError: max(): Expected reduction dim 2 to have non-zero size.就是这个报错，我看是有个长度为0的tensor切片做了max
2025/12/30
赞
回复
@圈友
暂无数据
尚未选择
发送
全部9条回复
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据
暂无数据 暂无数据 暂无数据 暂无数据
Z100L&K100上推理 dense模型只能使用v0 engine+eager模式