1
6
Qwen
如何制作自定义版本的VLLM镜像
2025-07-15 09:27:20
73

Qwen3-Reranker部署需要使用>=0.9.2 版本的VLLM镜像,官方目前还没有提供相关镜像。

  1. 请问官方对于VLLM版本的支持计划是如何规划的,什么时候会发布0.9.x的版本?
  2. 官方能否出个教程,让用户按需制作自定义版本的VLLM镜像?
全部评论(1)
只看楼主
C
changhl
1楼
老师,您好,目前qwen3-rerank模型在线推理存在精度问题,可以先使用bge或者其他rarank模型。关于提到的两个问题:vllm官方目前版本迭代较快,内部处于适配阶段哈,可以关注下光源镜像仓库,如果内部有适配后的稳定版会提前开放内测镜像
2025/7/15
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据