光合开发者社区-论坛

数学库

提问帖

有回复

新人贴

sglang支持

2026-04-12 13:38:16

434

现在咱们sglang最高能支持多少了？顺便问一下，vllm现在有更高版本的支持吗？我看现在最高只有0.15啊

kukucode

4楼

有人在多节点BW1000上，sglang跑过minimax M2.7吗？token速度单节点8卡和3节点8卡，速度都是50-60token/s，目前镜像中不支持EP？有啥办法不

6/25

maming

回复 @kukucode

M2.7和M2.5是同样的模型结构可以复用2.5的方案

6/26

3楼

vllm0.18镜像
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413

该镜像可以正常部署gemma4、Qwen3.5-27B、minimax-2.7，只是没有做优化，速度较慢。实测4卡部署，Qwen3.5-27B的每秒token为12.5，minimax-2.7的每秒token为19。昨天实测了工具、技能调用能力，相比vllm0.15，表现的很好了。推理能力也很稳定，未出现死循环、乱推理等情况。希望海光后期抓紧做好该镜像的优化适配，让用户早点用于实际工作！

4/15

回复 @aq

谢谢！我试试看，海关这破卡真是一用一个不吱声，太难用了

4/15

回复 @aq

qwen3.5的vllm启动命令是什么啊，需要额外配置哪些参数？

4/15

回复 @xw

cat dmx_Qwen3.5-27B.sh

#!/bin/bash

export VLLM_NUMA_BIND=1

export VLLM_RANK0_NUMA=0

export VLLM_RANK1_NUMA=0

export VLLM_RANK2_NUMA=0

export VLLM_RANK3_NUMA=0

export VLLM_RANK4_NUMA=0

export VLLM_RANK5_NUMA=0

export VLLM_RANK6_NUMA=0

export VLLM_RANK7_NUMA=0

export VLLM_ENFORCE_EAGER_BS_THRESHOLD=44

export ALLREDUCE_STREAM_WITH_COMPUTE=1

unset NCCL_ALGO

export HSA_FORCE_FINE_GRAIN_PCIE=1

export NCCL_MIN_NCHANNELS=16

export NCCL_MAX_NCHANNELS=16

export NCCL_P2P_LEVEL=SYS

export NCCL_LAUNCH_MODE=GROUP

export VLLM_ZERO_OVERHEAD=1

export VLLM_ZERO_OPT_ZEROS=1

export VLLM_USE_FUSED_RMS_ROPE=1

export VLLM_USE_MARLIN_W16A16_MOE=1

export NCCL_NET_GDR_READ=1

export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

export VLLM_SPEC_DECODE_EAGER=1

export VLLM_MLA_DISABLE=0

export VLLM_USE_FLASH_MLA=1

export VLLM_RPC_TIMEOUT=1800000

vllm serve "/home/models/Qwen3.5-27B" \

--port 8082 \

--served-model-name Qwen3.5-27B \

--tensor-parallel-size 4 \

--reasoning-parser qwen3 \

--enable-auto-tool-choice \

--tool-call-parser qwen3_coder \

--optimization-level 3 \

--trust-remote-code \

--kv-cache-dtype auto \

--enable-prefix-caching \

--no-enforce-eager \

--compilation-config.mode 3 \

--compilation-config.cudagraph_mode FULL_AND_PIECEWISE

4/16

全部6条回复

2楼

regctl tag ls harbor.sourcefind.cn:5443/dcu/admin/base/sglang

0.5.10rc0-ubuntu22.04-dtk26.04-py3.10-20260408

0.5.10rc0-ubuntu22.04-dtk26.04-py3.10-20260410

4/15

z1234567

1楼

sglang目前支持 0.5.10rc0，可以试下镜像：harbor.sourcefind.cn:5443/dcu/admin/base/sglang:0.5.10rc0-ubuntu22.04-dtk26.04-py3.10-20260410

4/13

回复 @z1234567

这在dcu镜像界面都搜不到啊……

4/13

z1234567

回复 @xw

先试试这个吧

4/13

回复 @z1234567

想试试qwen3.5，最低需要sglang0.5.9，这个试过不行。顺便一提咱们发布的vllm的qwen3.5也是跑不起来的，无限循环输出，这个问题已经有其他人在论坛发布了。

4/13

全部4条回复