19
Qwen
提问帖
有回复
关于K100部署Qwen2.5/Qwen3的问题
2026-03-12 17:50:45
196
我这边使用K100的显卡部署运行Qwen2.5/Qwen3模型时出现了一些问题,我加载完模型之后进行问答环节时,发现回答给到我的结果全是乱码 vllm0.9.2-ubuntu22.04-dtk25.04.2-das1.7-py3.10-20251203 这个是我使用的镜像版本,我怀疑是镜像的问题,因为我什么都不变,只是把K100给换成K100-AI之后,回答就不再乱码了 这边能提供下,K100在部署Qwen2.5/Qwen3/DeepSeek的大语言模型所使用的vllm镜像吗
全部评论(5)
只看楼主
Y
yudeng
3楼
你最后有部署成功吗楼主
3/16
李
李瑞
2楼
请教你是如何部署的,有相关命令吗

3/13
L
liumg
1楼
不是镜像问题,属于硬件支持问题。
有些库再K100上不支持导致的
3/13
秋
秋水芊芊
回复 @liumg
您好,麻烦问下K100用的0.8.5的镜像,开了缓存--enable-prefix-caching之后第二次提问就报错,是不是硬件不支持这个
5/11
秋
秋水芊芊
回复 @liumg
用的image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250521-fixpy-rocblas0521-beta2
5/11
没有更多内容了
--
楼主
Level.6
0 帖子
楼主热帖
暂无数据