1
2
Qwen
标题
2025-05-29 15:23:49
151

Z100L怎么部署qwen3-8B模型?找了半天没找到镜像和教程,有哪位大神成功部署过?感谢!

全部评论(6)
只看楼主
T
tianlh
1楼
您好,这里有qwen3_pytorch的推理方法,请参考https://sourcefind.cn/#/model-zoo/1917109425908350977。Z100L最多支持到vllm0.5,镜像下载docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-zk-v1-deploy
2025/5/30
网
网友dhkRUe
回复 @tianlh

您好!链接中拉取的镜像,我应该使用哪个?

2025/6/4
网
网友dhkRUe
回复 @tianlh
2025/6/4
T
tianlh
回复 @tianlh
您好,用vllm0.5.0版本,Z100L最高支持到此版本。
2025/6/4
全部5条回复
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据