3
框架组件
新人贴
BW1000机器运行vllm0.11.0报错：torch.distributed.DistNetworkError
2026-01-16 10:33:39
138
机器：BW1000 gfx936 镜像：harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226 容器启动命令： docker run -it --network=host --ipc=host --name test --shm-size=16G --device=/dev/kfd --device=/dev/mkfd --device=/dev/dri --privileged -v /root:/root -v /opt/hyhal:/opt/hyhal --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined localhost:61001/cdc2/dcu_vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226 /bin/bash 服务启动： python3 -m vllm.entrypoints.openai.api_server --model /root/model/Qwen3-Embedding-0.6B --max-model-len 8192 --max-num-batched-tokens 8192 --port 9080 完整报错信息见附件
全部评论（5）
只看楼主
樱
樱桃大球球
2楼
vllm加入参数 --task embed指明embedding试试？
1/16
T
TTTzc
回复 @樱桃大球球
vllm0.11.0不需要特别指定这个参数，我已经解决了，参考下面的评论
1/16
T
TTTzc
楼主
1楼
求助～～～～
1/16
C
changhl
回复 @TTTzc
你好，embeding模型用单卡推理就可以了，可以按照下面的命令试试呢。
serve：vllm serve /home/model/Qwen/Qwen3-Embedding-0.6B/ -tp 1
client：
curl --location http://localhost:8000/v1/embeddings \
     -H "Content-Type: application/json" \
     -d '{
        "model": "/home/model/Qwen/Qwen3-Embedding-0.6B/",
        "messages": [
            {"role":"system","content":"you are helpful assistent"},
            {"role": "user", "content":"hello"}
        ]
        }'
1/16
T
TTTzc
回复 @changhl
不行，一样的。加了export VLLM_HOST_IP=127.0.0.1后可以了，供参考。但是我这个默认就是单卡部署、不指定tp=1理论上也不会用到分布式通信才对
1/16
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据