1
2
0
0
标题
2025-08-05 14:59:11
111
请问一下VLLM 0.9.2啥时候能适配？VLLM 0.8.5部署Qwen3-Reranker-8B后测试发现 “The model does not support Rerank(Score) API”, 经查询发现需要VLLM 0.9.2.
测试报错如下：
解决方案：需要VLLM 0.9.2
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据请问一下VLLM 0.9.2啥时候能适配？VLLM 0.8.5部署Qwen3-Reranker-8B后测试发现 “The model does not support Rerank(Score) API”, 经查询发现需要VLLM 0.9.2.
测试报错如下：
解决方案：需要VLLM 0.9.2
暂无数据 暂无数据
近期预计发布0.9.1版本，0.9.2发布时间待定。
可以试下python -m vllm.entrypoints.openai.api_server 方式启动，参考示例
--task generate的启动方法
python3 -m vllm.entrypoints.openai.api_server --trust-remote-code --model /workspace/llm_models/Qwen3-Reranker-8B --served-model-name test2 --task generate
推理脚本
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "test2",
"prompt": "请介绍一下北京",
"max_tokens": 64,
"temperature": 0
}'
--task score的运行方法
https://www.sourcefind.cn/#/model-zoo/1937050416798892034