光合开发者社区-论坛

基础环境

qwen3-8B部署报错(见附件)

2025-09-24 16:46:44

186

Z100L Ubuntu20.4.1 dtk2504 vllm072 py31018 是否不适配？我看到有说Z100L最高支持vllm050，qwen3部署要求dtk2504，但dtk2504的vllm最低版本是0.6.2，请指导一个可行的环境或者流程

另有问题请教（和此部署请教上下文无关）：onnx模型部署可行环境工具链有啥要求，可行的部署方案

您好：问题1：z100L上 vllm 支持性问题：您可以使用vllm0.8.5镜像，目前适配的vllm085支持z100L环境上dense模型推理。内部验证的镜像：docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250705；基础验证命令及curl请求返回见附件图1和图2 问题2：对于onnx模型推理，可以使用onnxruntime或者migraphx框架，下载地址：https://download.sourcefind.cn:65024/4/main/ ；部署案例可以参考光源模型仓库中案例项目的readme：https://sourcefind.cn/#/model-zoo/list