Z100L Gemma 4 26B Docker 镜像说明

制品信息

• 镜像标签：z100l-gemma4:20260420
• 导出文件路径：/home/muyi/docker-artifacts/z100l-gemma4-20260420.tar
• 镜像已打包完整用户态软件栈，包含：
• cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit 模型
• 已适配补丁的 PyTorch
• 已适配补丁的 vLLM
• aiter
• triton-rocm
• amd_smi Python 相关支持文件模型文件已内置在镜像中。

宿主机前置要求

硬件

• 海光 Z100L GPU
• 已在 gfx906 平台验证
• 支持 Docker 内单 GPU 运行

操作系统

• Ubuntu 22.04.x
• Linux 内核 5.15.x

宿主机驱动与 DTK

本容器不包含驱动，宿主机需提前部署：

• 正常可用的海光内核驱动
• 正常可用的 /dev/kfd
• 正常可用的 /dev/dri
• 已挂载 DTK 路径 /opt/dtk-26.04
• DTK 目录结构需包含：
• /opt/dtk-26.04/lib
• /opt/dtk-26.04/hip/lib
• /opt/dtk-26.04/hsa/lib
• /opt/dtk-26.04/.hyhal/lib
• /opt/dtk-26.04/.hyhal/hydm/lib
• /opt/dtk-26.04/.hyhal/rocm_smi/lib
• /opt/dtk-26.04/dcc/lib

镜像内部路径

• /home/muyi/venvs/torch-gpu-z100l
• /home/muyi/src/pytorch-clean-v291
• /home/muyi/src/vllm
• /home/muyi/src/aiter
• /home/muyi/src/triton-rocm
• /home/muyi/models/cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit
• /opt/z100l/bin/z100l-activate.sh
• /opt/z100l/bin/run-gemma4-26b-awq-api.sh
• /opt/z100l/bin/smoke-gemma4-26b-awq.py

加载镜像

bash

运行

sudo docker load -i /home/muyi/docker-artifacts/z100l-gemma4-20260420.tar

推荐运行方式

已验证模式：

• 单 GPU
• TP=1
• 只读挂载宿主机 DTK
• --device /dev/kfd
• --device /dev/dri
• --ipc=host
• --network host

冒烟测试启动

bash

运行

sudo docker run --rm \
  --device /dev/kfd \
  --device /dev/dri \
  --ipc=host \
  --network host \
  -e TP=1 \
  -e GPU_UTIL=0.82 \
  -e MAX_MODEL_LEN=512 \
  -e MAX_NUM_SEQS=1 \
  -e MAX_NUM_BATCHED_TOKENS=512 \
  -e VLLM_ENABLE_V1_MULTIPROCESSING=0 \
  -v /opt/dtk-26.04:/opt/dtk-26.04:ro \
  z100l-gemma4:20260420 \
  python /opt/z100l/bin/smoke-gemma4-26b-awq.py

API 服务启动

bash

运行

sudo docker run --rm \
  --device /dev/kfd \
  --device /dev/dri \
  --ipc=host \
  --network host \
  -e TP=1 \
  -e GPU_UTIL=0.82 \
  -e MAX_MODEL_LEN=512 \
  -e MAX_NUM_SEQS=1 \
  -e MAX_NUM_BATCHED_TOKENS=512 \
  -e VLLM_ENABLE_V1_MULTIPROCESSING=0 \
  -v /opt/dtk-26.04:/opt/dtk-26.04:ro \
  z100l-gemma4:20260420 \
  /opt/z100l/bin/run-gemma4-26b-awq-api.sh

重要说明

• 镜像依赖宿主机 DTK 与内核驱动，不可作为通用 ROCm 镜像使用
• 内置部分 Docker 专用兼容层，用于适配：

验证状态

已验证：

• 镜像可正常构建、导出、加载
• 容器内 torch.cuda.is_available () 正常
• GPU 枚举正常
• HIP 显存信息回退逻辑正常
• 当前限制：
• 宿主机直接运行 vLLM 推理正常
• Docker 内 vLLM 推理在当前 DTK 环境下仍存在 GPU 分配相关崩溃问题，暂未达到生产可用
• 镜像打包与环境可复现

相关文件路径

• Docker 构建目录：D:/code/Z100L/docker/z100l-gemma4
• 冒烟测试脚本：smoke-gemma4-26b-awq.py
• API 启动脚本：run-gemma4-26b-awq-api.sh
• 构建脚本：rebuild_image_remote.sh

以下是海光卡有群，有兴趣的加入