1
1
1
数学库
提问帖
有回复
单机8张BW100 显卡,官方有推荐的GLM5.2或者GLM5.3 合适版本进行推理部署吗
2026-10-08 14:05:01
142
单机8张BW100 显卡,官方有推荐的GLM5.2或者GLM5.3 合适版本进行推理部署吗
全部评论(6)
只看楼主
H
hqd
3楼
你好,glm5.2模型可以参考cookbook上bw1000的部署方法,glm5.3还在优化中,需要部署也可以参考glm5.2的文档  https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/sglang/glm-5.2.md
10/8
奔
奔跑的流年
回复 @hqd
我的是BW100,不是BW1000,麻烦帮忙确认下
10/8
H
hqd
回复 @奔跑的流年
正常是可以复用的
10/8
Z
zhaomy3
2楼
可以参考这里的https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/sglang/glm-5.2.md#glm-52-channel-int4-w4a8-ifb-bw1000-8x-sglang-0512,w4a8的bw1000部署方法
10/8
奔
奔跑的流年
回复 @zhaomy3
bw100 可以参考不
10/8
W
wangwei
1楼
针对主流模型(qwen、llama、deepseek等)、主流框架(vllm、sglang等),我们开源了一个github仓库,用以说明建议的镜像、启动方式和命令,可以参考:https://github.com/HYGON-AI/inference-cookbook-das
10/8
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据