k100 AI VLLM多卡部署的启动命令是什么,我多卡部署报错,单卡可以
采用 https://sourcefind.cn/#/model-zoo/1896814890439540737 官方的 qwen2.5_vl 镜像,在8卡 k100 AI 上跑 32B 模型,CUDA_VISIBLE_DEVICES=0,1 python inference.py 不指定显卡,8卡跑下来要 36秒多,2个卡大概 6秒。是缺少什么配置吗,求解惑啊
换成 vllm 那个镜像 image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.7.2-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250510-fixpy




time curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen2.5-VL-32B-Instruct",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": [
{"type": "image_url", "image_url": {"url": "https://sourcefind.cn/model-zoo/file/Qwen2.5-vl_pytorch/images/result.png"}},
{"type": "text", "text": "OCR this image"}
]}
]
}'



暂无数据