我们正在一台海光 DCU 计算节点上部署 vLLM 推理服务,遇到了镜像 CPU 架构不匹配的问题,希望协助提供 aarch64(arm64)架构的 vllm-dcu 镜像。
一、当前节点环境
操作系统:麒麟 V10(GFB),uname 为 aarch64,内核 4.19.90-52.23.v2207.gfb08.ky10.aarch64
DCU:HYGON K100(gfx926)× 3,单卡显存 64GB(hy-smi 工作正常)
驱动:rock-5.7.1-6.2.26-1.ky10.aarch64
DTK:/opt/dtk → dtk-24.04.1.1-custom01;另装有 dtk-24.04.3
二、遇到的问题
从 harbor.sourcefind.cn:5443 获取的 dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-py3.11 离线包经核实为 amd64(x86_64)架构,无法在 aarch64 节点上运行(GPU/DCU 设备无法通过 qemu 模拟透传)。
节点上现有镜像(如 arm_pytorch:gcc10.3.1-dtk24.04.1、arm_pytorch_dcu:V1.1、py310_arm_dcu:V1 等)均为纯 PyTorch 环境,未包含 vLLM。
在公开的光源社区 image.sourcefind.cn:5000 检索到的 dcu/admin/base/vllm、dcu/admin/base/jupyterlab-vllm 等仓库,镜像全部为 amd64,未找到 aarch64 版本。
三、需求描述
恳请提供 aarch64 架构的 vllm-dcu Docker 镜像,具体要求如下:
架构:aarch64(arm64);
DTK 版本:优先 DTK 24.04.x,以匹配本机 rock 5.7.1 驱动与定制 DTK 24.04.1.1-custom01;若仅有更高版本(如 dtk26.04),请同时告知该镜像与 rock 5.7.1 驱动的兼容性结论;
vLLM 版本:≥ 0.8.5。