0
19
0
0
Qwen
提问帖
有回复
关于K100部署Qwen2.5/Qwen3的问题
2026-03-12 17:50:45
196
操作
我这边使用K100的显卡部署运行Qwen2.5/Qwen3模型时出现了一些问题,我加载完模型之后进行问答环节时,发现回答给到我的结果全是乱码 vllm0.9.2-ubuntu22.04-dtk25.04.2-das1.7-py3.10-20251203 这个是我使用的镜像版本,我怀疑是镜像的问题,因为我什么都不变,只是把K100给换成K100-AI之后,回答就不再乱码了 这边能提供下,K100在部署Qwen2.5/Qwen3/DeepSeek的大语言模型所使用的vllm镜像吗
全部评论(5)
只看楼主
Y
Y
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
yudeng
只看此人
3楼
你最后有部署成功吗楼主
3/16
赞
回复
@圈友
暂无数据
尚未选择
发送
李
李
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
李瑞
只看此人
2楼
请教你是如何部署的,有相关命令吗
3/13
赞
回复
@圈友
暂无数据
尚未选择
发送
L
L
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
liumg
只看此人
1楼
不是镜像问题,属于硬件支持问题。
有些库再K100上不支持导致的
3/13
赞
回复
@圈友
暂无数据
尚未选择
发送
秋
秋
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
秋水芊芊
回复
@liumg
您好,麻烦问下K100用的0.8.5的镜像,开了缓存--enable-prefix-caching之后第二次提问就报错,是不是硬件不支持这个
5/11
赞
回复
@圈友
暂无数据
尚未选择
发送
秋
秋
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
秋水芊芊
回复
@liumg
用的image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250521-fixpy-rocblas0521-beta2
5/11
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据
有些库再K100上不支持导致的