0
3
0
0
数学库
提问帖
有回复
新人贴
海光要倒闭跑路了吗？ VLLM0.18 什么时候才能支持？
2026-04-13 14:07:24
314
操作
海光要倒闭跑路了吗？ VLLM0.18 什么时候才能支持？
全部评论（2）
只看楼主
A
A
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
aq
只看此人
2楼
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413
这个镜像，K100_AI环境里，无需加参数--disable-custom-all-reduce即可成功推理了，之前的其他镜像不加这个参数会导致服务器操作系统宕机、崩溃
4/16
赞
1
回复
@圈友
暂无数据
尚未选择
发送
A
A
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
aq
只看此人
1楼
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413
该镜像可以正常部署gemma4、Qwen3.5-27B、minimax-2.7，只是没有做优化，速度较慢。实测4卡部署，Qwen3.5-27B的每秒token为12.5，minimax-2.7的每秒token为19。昨天实测了工具、技能调用能力，相比vllm0.15，表现的很好了。推理能力也很稳定，未出现死循环、乱推理等情况。希望海光后期抓紧做好该镜像的优化适配，让用户早点用于实际工作！
4/15
赞
1
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据
暂无数据 暂无数据 暂无数据 暂无数据
该镜像可以正常部署gemma4、Qwen3.5-27B、minimax-2.7，只是没有做优化，速度较慢。实测4卡部署，Qwen3.5-27B的每秒token为12.5，minimax-2.7的每秒token为19。昨天实测了工具、技能调用能力，相比vllm0.15，表现的很好了。推理能力也很稳定，未出现死循环、乱推理等情况。希望海光后期抓紧做好该镜像的优化适配，让用户早点用于实际工作！