我这边使用的是image.sourcefind.cn:5000/dcu/admin/base/custom: vllm0.8.5-ubuntu22.04-dtk25.04.1-rc4-das1.6-py3.10-20250619-fixpy这个docker镜像,创建容器后在容器中也可以正确识别显卡,启动命令为:vllm serve /data/models/DeepSeek-R1-Distill-Llama-70B-GGUF/DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf \
--served-model-name ds70 \
--port 6667 \
--dtype float16 \
--trust-remote-code \
--max-model-len 32768 \
--tensor-parallel-size 8 \
--enforce-eager