K100Al 8卡 运行不起来模型

![image-20250413153421241](data:image/svg+xml,%3Csvg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1702 656"%3E%3C/svg%3E)

基于image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10

创建容器

docker run -dit \
--shm-size 1000g \
--privileged \
--device=/dev/kfd \
--device=/dev/dri \
--group-add video \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
-v /media/data/dx-model:/root/vllm \
-v /opt/hyhal:/opt/hyhal:ro \
-e AMDGPU_TARGETS=gfx928 \
-e HSA_OVERRIDE_GFX_VERSION=9.2.8 \
-e HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
-p 8818:8818 \
--name ddx-xinference \
image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10 \
 /bin/bash

运行命名

vllm serve /root/vllm/DeepSeek-R1-Distill-Qwen-32B \
--served-model-name DeepSeek-R1-Distill-Qwen-32B \
-tp 4 \
--trust-remote-code \
--host 0.0.0.0 \
--api-key sk-jXmPTDcCr6Gzs \
--enforce-eager \
--tensor-parallel-size 4 \
--port 8018

多次尝试，去除--port使用默认8000端口或者去除--enforce-eager **
**--tensor-parallel-size 4 等均启动不了