根据光源的部署文档光源 Find source, find chance. (sourcefind.cn)
最后执行推理的命令：

python ./inference_vllm/Qwen2_72B_inference.py

报错如下图：ValueError: gptq_marlin quantization is currently not supported in ROCm
注：docker镜像为：docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu22.04-dtk24.04.2-py3.10
镜像里面安装的具体pip依赖，请看附件。