可参考的环境变量设置： export NCCL_MAX_NCHANNELS=16
export NCCL_NET_GDR_READ=1
export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export NCCL_IB_HCA=mlx5_2:1,mlx5_3:1,mlx5_4:1,mlx5_5:1,mlx5_6:1,mlx5_7:1,mlx5_8:1,mlx5_9:1
export NCCL_TOPO_FILE="/public/home/gaoqiong/yangql/topo-input.xml"
export VLLM_TORCH_PROFILER_DIR=/workspace/int8prof/
export COMPASS_DATA_CACHE=/workspace
export VLLM_ENABLE_TBO=0
export VLLM_ZERO_OVERHEAD=0
设置上述环境变量后， 启动ray：head节点执行：
ray start --head --node-ip-address=12.12.12.49 --port=6388 --num-gpus=8 --num-cpus=32
worker节点执行：
ray start --address='12.12.12.49:6388' --node-ip-address=12.12.12.50 --num-gpus=8 --num-cpus=32
0
4
0
0
请问有使用vllm+IB网络在两台机器上部署的案例吗
2025-11-14 14:55:12
174
请问有通过vllm+IB网络部署成功的案例吗，我使用docker镜像 image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.5.1-ubuntu22.04-dtk25.04.2-py3.10 在两台机器上部署，docker镜像中可以检测到IB设备，但vllm部署时显示无法检测到IB设备。以下是运行指令和ib信息：
运行时NCCL log显示无法检测到IB设备：
开源社区
框架组件
全部评论（2）
只看楼主
W
2025/11/21
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据