其他
新人贴
vllm多机支持MP了吗
2026-05-06 17:39:20
141
看模型仓库的demo都是用的ray拉起的多机，现在vllm官方已经基本全部转向MP了，DCU现在支持MP吗 如果支持了，有Demo吗
全部评论（2）
只看楼主
T
tianlh
1楼
支持，demo:

node1：
vllm serve model \
  --distributed-executor-backend mp \
  --arg .... \     
  --nnodes 2 \
  --node-rank 0 --master-addr node1 IP 

node2 :
vllm serve model \
  --distributed-executor-backend mp \
  --arg .... \
  --nnodes 2 \
  --node-rank 1 --master-addr node1 IP \
  --headless
5/6
刘
刘桢
回复 @tianlh
谢谢
5/7
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据