光合开发者社区-论坛

模型应用

新人贴

请教一下，大家在 Z100L 上部署过哪些最新的推理模型？

2026-04-08 11:02:35

175

如题

全部评论（4）

只看楼主

lim

1楼

image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04.1-rc4-das1.6-py3.10-20250620-fixpy这个镜像加这些环境变量

export TORCHINDUCTOR_DISABLE=1

export TORCH_COMPILE_DISABLE=1

vllm serve qwen3/Qwen3-32B \

--trust-remote-code \

--max-model-len 2048 \

-tp 4 \

--gpu-memory-utilization 0.92 \

--max-num-seqs 128 \

--enforce-eager \

--disable-custom-all-reduce 可以试试一些新模型

4/8

lqd

回复 @lim

多谢，部署成功了

4/8

东

东风

回复 @lim

vllm现在最新版已经是0.19了，差得有点大哎。0.8.5应该不支持最新的谷歌Gemma4模型和Qwen3.5系列模型

4/15

lqd

回复 @lim

问下flash_attn 在 Z100L (gfx906) 上无法使用，是否有适配的 wheel？

5/12

没有更多内容了

楼主

0 点赞

0 帖子

楼主热帖

暂无数据