1
数学库
VLLM容器适配什么版本的xinference
2025-10-13 18:21:18
201
已使用docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2-ds3.2容器,并且测试正常。 现在在容器中运行xinference后拉取Qwen3-Instruct后,运行报错(是不是我的xinference版本太高导致的:leiben:emoji) ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/shs_hs/1760350796844/image.png) ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/shs_hs/1760350829897/image.png)
全部评论(1)
只看楼主
R
renzhc
1楼
这个报错看起来像是xinference最新版本判断逻辑的问题,详见issue:https://github.com/xorbitsai/inference/issues/4118,可等待官方后续修复 当前可以试试将xinference替换为合入相应代码的前一个版本v1.10.0,经验证可解决该报错。
2025/10/13
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据