6
DeepSeek
标题
2025-06-05 11:00:28
72

Qwen3 k100ai如何部署

有相关的镜像吗?

全部评论(2)
只看楼主
C
chenxi
1楼
https://developer.sourcefind.cn/codes/modelzoo/qwen3_vllm 可以参考modelzoo
2025/6/5
网
网友k0RZ5I
回复 @chenxi

您好,参考这个网站采用docker部署vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250430-dev-qwen3-only,进入容器启动vllm时报错,请问下是什么原因导致的呢

vllm启动命令:python -m vllm.entrypoints.openai.api_server --model /deepseek_workspace --served-model-name Qwen3 --enforce-eager --dtype float16 --trust-remote-code

2025/6/13
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据