0
2
0
0
基础环境
置顶
精华
【DCU镜像】问题反馈戳这里~
2025-12-01 17:59:41
714
操作
关于BW1000支持模型
全部评论(5)
只看楼主
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
chenwanchu
楼主
只看此人
5楼
光源转移位置啦:https://developer.sourcefind.cn/servicelist
前端新增镜像更新说明~
2025/12/29
赞
1
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
chenwanchu
楼主
只看此人
4楼
【CHANGELOG】image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-das1.7-py3.10-20251203 发布日期:2025-12-03 ### ⚡ 优化改进 - 添加w8a8 blaslt 支持 - 添加w8a8 marlin MOE算子支持 - 增加gptq算子 v1 engine 注册封装 - 增加MOE普通专家w8a8 与w4a8 量化输入接口,支持MOE普通专家与共享专家横向quant算子横向融合功能 - 支持prefill和decode分离调度 - 支持pp+mtp 0消耗调度和pp阈请求数均衡 - 支持宽松mtp - 支持Deepseek-v3.2模型推理 - 根据gfx架构和cu数配置相应moe configs - 优化Deepseek-v3 moe_sum&mul&add、fill+moe_align、moe_fused_gate等融合算子,优化位置编码实现,支持cat&mla融合等 - 优化Qwen3-30B相关单算子以及topk&renormalize融合等 ### 🐛 问题修复 - 解决开启mtp后,在极端情况碰到显存不足时,导致mla中申请的tensor数据错乱问题 - 修复开启mtp并且显存不足时发生的超出维度限制问题 ⚠️ 存在风险 - K100-AI上Qwen3-30B精度异常 ---
2025/12/5
赞
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
chenwanchu
楼主
只看此人
3楼
镜像在/workspace下都新增了CHANGELOG,帮忙您了解镜像~
2025/12/4
赞
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
chenwanchu
楼主
只看此人
2楼
针对银行等对精度较为敏感的用户,使用光源上的镜像前 建议提前做好测试,若测试存在困难,可以收集用户测试模型联系我们协助~
2025/12/4
赞
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
chenwanchu
楼主
只看此人
1楼
请注意该镜像image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-rocblas1121-das1.7-py3.10-20251203-bw只支持bw系列加速卡
2025/12/4
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据