1
1
1
Qwen
K100怎么部署qwen3
2025-06-06 10:26:34
439

有两张K100的显卡（不是K100_AI），期望用docker的形式 部署Qwen3,该怎么操作

全部评论（4）
只看楼主
Y
yyds
2楼
https://modelscope.cn/models/Eco-Tech/Qwen3.6-27B-w8a8 模型权重，对应的推理镜像可直接拉取，命令：docker pull harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-qwen3.6-20260423 镜像适配dtk-26.04版本。

可以拉起服务，但是推理速度极慢
6/9
C
chenxi
1楼
可以参考https://sourcefind.cn/#/model-zoo/1917109425908350977
2025/6/6
网
网友0eIp2I
回复 @chenxi

用vllm报错，报错信息如下：

runtimeError: HIP error: invalid device function

[rank0]: HIP kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.

[rank0]: For debugging consider passing AMD_SERIALIZE_KERNEL=3

[rank0]: Compile with `TORCH_USE_HIP_DSA` to enable device-side assertions.
2025/6/8
Y
yangzhong
回复 @chenxi
这个报错可以参见https://forum.sourcefind.cn/thread/1163
2025/6/11
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据