编译器
提问帖
有回复
新人贴
aarch64 架构的 vllm-dcu 镜像求助
2026-09-02 15:22:05
61
我们正在一台海光 DCU 计算节点上部署 vLLM 推理服务,遇到了镜像 CPU 架构不匹配的问题,希望协助提供 aarch64(arm64)架构的 vllm-dcu 镜像。 一、当前节点环境 操作系统:麒麟 V10(GFB),uname 为 aarch64,内核 4.19.90-52.23.v2207.gfb08.ky10.aarch64 DCU:HYGON K100(gfx926)× 3,单卡显存 64GB(hy-smi 工作正常) 驱动:rock-5.7.1-6.2.26-1.ky10.aarch64 DTK:/opt/dtk → dtk-24.04.1.1-custom01;另装有 dtk-24.04.3 二、遇到的问题 从 harbor.sourcefind.cn:5443 获取的 dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-py3.11 离线包经核实为 amd64(x86_64)架构,无法在 aarch64 节点上运行(GPU/DCU 设备无法通过 qemu 模拟透传)。 节点上现有镜像(如 arm_pytorch:gcc10.3.1-dtk24.04.1、arm_pytorch_dcu:V1.1、py310_arm_dcu:V1 等)均为纯 PyTorch 环境,未包含 vLLM。 在公开的光源社区 image.sourcefind.cn:5000 检索到的 dcu/admin/base/vllm、dcu/admin/base/jupyterlab-vllm 等仓库,镜像全部为 amd64,未找到 aarch64 版本。 三、需求描述 恳请提供 aarch64 架构的 vllm-dcu Docker 镜像,具体要求如下: 架构:aarch64(arm64); DTK 版本:优先 DTK 24.04.x,以匹配本机 rock 5.7.1 驱动与定制 DTK 24.04.1.1-custom01;若仅有更高版本(如 dtk26.04),请同时告知该镜像与 rock 5.7.1 驱动的兼容性结论; vLLM 版本:≥ 0.8.5。
全部评论(1)
只看楼主
X
xxx
1楼
可以在这里搜索下aarch,https://developer.sourcefind.cn/servicelist/detail?post_id=a053d44c-b3c7-11f0-9a0f-acde48001122&active=TagDownloadattachmentId-image.png
9/4
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据