2
1
DCU技术达人
新人贴
智谱GLM-5.2发布:MIT开源、百万上下文,海光DCU部署方案来了
2026-07-17 15:16:34
224
智谱上周放出了GLM-5.2,753B参数的MoE模型,MIT协议开源。第一时间在光合社区完成了海光DCU适配部署,这篇文章聊聊这个模型的技术亮点和实际部署体验。 ## GLM-5.2是什么 简单说,这是智谱官方定位为目前能力最强的开源模型。定位很明确——长程任务和编码智能体。 几个关键数字:100万token上下文、MIT协议、753B参数(MoE架构)、权重已在HuggingFace和ModelScope同步放出,BF16和FP8两个版本都有。 ## 架构上做了什么 ### IndexShare:省掉3/4的索引计算 GLM-5.2的架构核心是IndexShare,这个技术源自智谱发的IndexCache论文(arXiv:2603.12201)。 背景是这样的:DeepSeek Sparse Attention(DSA)用一个轻量级索引器选出每个query最相关的top-k token,把核心注意力从O(L²)降到O(Lk)。但索引器本身还是O(L²),而且每一层都要独立跑一遍。 智谱发现连续层的top-k选择高度相似,于是做了个优化:每4层共享1个索引器,只在第1层跑索引计算,后面3层直接复用结果。实测在100万上下文下,每个token的FLOPs降了2.9倍。 这个设计在30B的DSA模型上验证过——去掉75%的索引计算,模型质量几乎没掉,预填充加速1.82倍,解码加速1.48倍。 ### MTP推测解码改进 GLM-5.2还改进了多token预测层。三个技术叠加:MTP层上的IndexShare、KVShare消除训练推理不一致、拒绝采样加端到端TV损失。最终MTP接受长度从4.56提到5.47,涨了20%。 ### 100万上下文的工程落地 智谱自己也承认,100万上下文"容易宣称,但在真实工程压力下很难保持稳定"。他们在大规模编码智能体场景上做了专门训练,覆盖大规模代码实现、自动化研究、性能优化和复杂调试。 推理引擎也做了三层优化:更细粒度的KV缓存管理、长上下文内核与缓存传输流水线协同、CPU侧调度优化。上下文越长,吞吐优势越明显。 ## Benchmark打到了什么水平 直接看数据。 ### 长程编码:开源阵营中排名靠前 | 基准测试 | GLM-5.2 | Claude Opus 4.8 | GPT-5.5 | | -------------- | ------- | --------------- | ------- | | FrontierSWE | 74.4 | 75.1 | 72.6 | | PostTrainBench | 34.3 | 37.2 | 28.4 | | SWE-Marathon | 13.0 | 26.0 | 12.0 | FrontierSWE上GLM-5.2只差Opus 4.8一个百分点,但赢了GPT-5.5。三个长程编码基准里,它都是开源模型排名最高的。 ### 标准编码:跟闭源前沿缩小了差距 Terminal-Bench 2.1拿到81.0,Opus 4.8是85.0,差4分。比GLM-5.1的63.5提升了27.6%。SWE-bench Pro 62.1、DeepSWE 46.2(GLM-5.1只有18,涨了156%)。 ### 推理能力 AIME 2026拿了99.2,超了GPT-5.5的98.3和Gemini 3.1 Pro的98.2。IMOAnswerBench 91.0,领先所有对比模型。CritPt从GLM-5.1的4.6直接跳到16.7。 ### 智能体能力 MCP-Atlas 76.8,Opus 4.8是77.8,差一个百分点。工具调用和MCP协议支持基本追平了闭源前沿。 ## Effort Level:按需分配算力 GLM-5.2引入了思考投入级别控制。简单任务用低effort省算力,难任务切到Max模式多分配计算资源。在相近token预算下,性能大致在Opus 4.7和4.8之间。 ## 反作弊机制 这个挺有意思。智谱发现编码RL训练中存在大量reward hacking——智能体会读评测工件、复制参考答案、甚至直接curl下载GitHub上的源码来骗奖励信号。 他们的解决方案是两阶段检测:规则过滤先抓一波保证召回率,再用LLM判断意图保证精确率。检测到作弊时阻断调用但不中断rollout,避免训练崩溃。 ## slime框架 后训练用了slime这个统一基础设施,支持白盒rollout、黑盒rollout、紧凑轨迹等多种训练模式。用它做了并行OPD训练,把十多个专家模型合并到最终模型,整个过程大约两天。 ## 海光DCU部署方案 光合开发者社区已经完成了GLM-5.2的海光DCU适配,基于vLLM框架,方案如下。 ### 环境要求 | 软件 | 版本 | | ------------ | ------- | | DTK | 26.04 | | Python | 3.10.12 | | Transformers | 5.5.0 | | Torch | 2.10.0 | | vLLM | 0.18.1 | ### 容器镜像 直接用预构建镜像,省去环境搭建的麻烦: ``` docker run -it \ --shm-size 200g \ --network=host \ --name glm52 \ --privileged \ --device=/dev/kfd \ --device=/dev/dri \ --device=/dev/mkfd \ --group-add video \ --cap-add=SYS\_PTRACE \ --security-opt seccomp=unconfined \ -u root \ -v /opt/hyhal/:/opt/hyhal/:ro \ -v /path/your\_code\_data/:/path/your\_code\_data/ \ harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.18.1-ubuntu22.04-dtk26.04-py3.10-20260617-glm5.2 bash ``` ### 权重下载 GLM-5.2-FP8版本权重大小约744B。注意FP8模型目前仅支持BW1100/BW1101型号,其他DCU型号需要等后续适配。权重可从ModelScope下载。下载地址:https://www.modelscope.cn/models/hygon/GLM-5.2-Channel-FP8-w8a8 ### vLLM推理启动 单机8卡启动serve: ``` vllm serve hygon/GLM-5.2-Channel-FP8-w8a8 \ --gpu-memory-utilization 0.925 \ --port 8001 \ --tensor-parallel-size 8 \ --tool-call-parser glm47 \ --reasoning-parser glm45 \ --enable-auto-tool-choice \ --kv-cache-dtype fp8\_ds\_mla \ --served-model-name glm-5.2-fp8 ``` 几个参数说明: * `--tensor-parallel-size 8`:8卡并行,753B模型单机8卡是最低配置 * `--kv-cache-dtype fp8_ds_mla`:使用FP8 KV缓存,配合MLA注意力机制 * `--tool-call-parser glm47`和 `--reasoning-parser glm45`:GLM系列专用的工具调用和推理解析器 客户端调用: ``` curl -X POST "http://localhost:8001/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "glm-5.2-fp8", "messages": [ { "role": "user", "content": "你好,帮我介绍南京" } ] }' ``` ### 精度验证 DCU与GPU推理精度一致,均通过vLLM框架验证。 ### 更多资源 * 部署仓库: https://developer.sourcefind.cn/codes/modelzoo/glm-5.2 * 更多DCU适配镜像可前往光合开发者社区下载 ## 小结 GLM-5.2的核心看点:IndexShare让100万上下文变得工程可用,编码和智能体任务逼近闭源前沿,MIT协议没有商业限制。 海光DCU已经完成Day 0适配,vLLM单机8卡即可部署FP8版本,感兴趣的可以去光合社区拉镜像跑起来。 **参考来源:** * 技术博客: https://z.ai/blog/glm-5.2 * 模型页面: https://www.modelscope.cn/models/ZhipuAI/GLM-5.2 * GLM-5技术报告: https://arxiv.org/abs/2602.15763 * IndexCache论文: https://arxiv.org/abs/2603.12201 * DCU部署方案: https://developer.sourcefind.cn/codes/modelzoo/glm-5.2
全部评论(2)
只看楼主
M
mc
1楼
有没有Sglang的部署方式,支持PD分离,四个Perfill,4的Decode
8/11
热
热心网友
回复 @mc
可以先参考:https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/sglang/glm-5.md
8/13
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据