麻烦问下，启动命令是什么
0
5
0
1
标题
2025-03-14 14:04:16
191
拉取镜像 image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-xinference:0.16.0-ubuntu20.04-dtk24.04.1-py3.10，基于xinference成功注册并启动qwen2.5 7B和32B模型，但是用xinference自带的聊天窗口进行测试，出现超时情况（大概30秒），错误如下：
requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='隐去IP', port=9997): Max retries exceeded with url: /v1/cluster/auth (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x7f750b6361d0>, 'Connection to '隐去IP timed out. (connect timeout=None)'))
请问是z100l推理本身很慢还是软件配置问题，谢谢
全部评论（5）
只看楼主
网
2025/6/18
Y
亲测，Z100L上使用xinference部署qwen2.5 32B模型，推理速度对于Z100L来说还算可以，但是我在用xinference自带的聊天窗口进行测试，输入一个问题点击Generate时我输入的问题会被篡改，不知道是什么原因
2025/3/20
Y
贴一下您的xinference web界面qwen2.5 7B和32B配置截图吧
2025/3/20
网
用vllm测最后等半天出了一堆乱回答
2025/3/14
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据