0
1
0
6
Qwen
如何制作自定义版本的VLLM镜像
2025-07-15 09:27:20
73
操作
Qwen3-Reranker部署需要使用>=0.9.2 版本的VLLM镜像,官方目前还没有提供相关镜像。
请问官方对于VLLM版本的支持计划是如何规划的,什么时候会发布0.9.x的版本?
官方能否出个教程,让用户按需制作自定义版本的VLLM镜像?
全部评论(1)
只看楼主
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
changhl
只看此人
1楼
老师,您好,目前qwen3-rerank模型在线推理存在精度问题,可以先使用bge或者其他rarank模型。关于提到的两个问题:vllm官方目前版本迭代较快,内部处于适配阶段哈,可以关注下光源镜像仓库,如果内部有适配后的稳定版会提前开放内测镜像
2025/7/15
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据