1
0
1
1
数学库
提问帖
有回复
单机8张BW100 显卡,官方有推荐的GLM5.2或者GLM5.3 合适版本进行推理部署吗
2026-10-08 14:05:01
142
操作
单机8张BW100 显卡,官方有推荐的GLM5.2或者GLM5.3 合适版本进行推理部署吗
全部评论(6)
只看楼主
H
H
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
hqd
只看此人
3楼
你好,glm5.2模型可以参考cookbook上bw1000的部署方法,glm5.3还在优化中,需要部署也可以参考glm5.2的文档 https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/sglang/glm-5.2.md
10/8
赞
回复
@圈友
暂无数据
尚未选择
发送
奔
奔
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
奔跑的流年
回复
@hqd
我的是BW100,不是BW1000,麻烦帮忙确认下
10/8
赞
回复
@圈友
暂无数据
尚未选择
发送
H
H
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
hqd
回复
@奔跑的流年
正常是可以复用的
10/8
赞
回复
@圈友
暂无数据
尚未选择
发送
Z
Z
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
zhaomy3
只看此人
2楼
可以参考这里的https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/sglang/glm-5.2.md#glm-52-channel-int4-w4a8-ifb-bw1000-8x-sglang-0512,w4a8的bw1000部署方法
10/8
赞
回复
@圈友
暂无数据
尚未选择
发送
奔
奔
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
奔跑的流年
回复
@zhaomy3
bw100 可以参考不
10/8
赞
回复
@圈友
暂无数据
尚未选择
发送
W
W
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
wangwei
只看此人
1楼
针对主流模型(qwen、llama、deepseek等)、主流框架(vllm、sglang等),我们开源了一个github仓库,用以说明建议的镜像、启动方式和命令,可以参考:https://github.com/HYGON-AI/inference-cookbook-das
10/8
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据