--
1秒前
0
全部评论()
只看楼主
L
licheng_god
16楼
首页应该有个AI助手提供引导式的功能访问捷径,而不是等用户自行摸索系统都有哪些功能,且重要入口应当独立放在最顶部醒目入口,代替面包屑。静态宣传页应当单独提供一个介绍入口;
在镜像、资源建议提供一个意见收集按钮;
在das那里,可以做组合式预勾选部分资源,分步骤引导用户先选DCU产品、再选版本(可跳过,即全选)、再选组合、再自定义组合内单个资源。这点参考visual studio安装器的组件安装功能设计attachmentId-image.png
4/17
梁满庭
15楼
vllm 和 sglang的兼容版本镜像建议能够保持跟进,我看到很多大模型专用版都是0.15.1 ,但vllm基础镜像确停留在0.2 相当于废弃了,这样会提升对多模型使用的维护成本
4/17
一天一顿泡面
14楼
【建言献策】建议为每个镜像版本设立专属专区,集中归档问题、解决方案与优化经验
建议为每个镜像版本(特别是常用的vllm、pytorch等)单独设立一个专区,用于集中收集该版本下用户遇到的问题、对应的解决方案以及相关的优化手段。这样不仅有助于问题的归档与追踪,也能方便其他用户快速查阅和参考,提升整体使用体验与协作效率。
4/17
沈文枫
13楼
大模型特别是推理计算,在以后的通算中占比和成长会非常快,国产卡在这个软件栈相对稳定的环境下能迅速发展,建议在教学和实验方面鼓励这方面的实验和加速。在开发者和技术爱好者中开展相关讨论和研究
4/16
M
muyi_muyi
12楼
【建言献策】 模型及vllm更新及优化速度
我这里已经用ai去自动适配最新的vllm和GEMMA4模型,卡用的是Z100L。
建议搞模型适配的同志们,能不能加持AI去工作,最新模型出来以后,先用AI调一个demo,群里有很多二手卡友去试用,也会反馈很多问题,集合问题解决问题,再发型正式适配版。

4/16
徐珩
11楼
【建言献策】 论坛页面优化和教程更新

1. 页面设计:有个小问题,Menu bar 的 logo图片真的就是个img元素,右击的时候只会出现图片相关的操作,我作为用户更想要的是右击出现新窗口打开链接的选项,这样可以快速打开另一个社区首页,并且保留当前打开的页面。因此,希望能改一下logo作为<a>元素,仅把图片作为元素背景。(我鼠标右击它,不是要下载这个logo图片啊=。=)

2.  教程内容: 好像23年之后就很少出教程了,希望能继续更新教程,比如cuda项目的DCU编译脚本如何写 (我在DTK发布的多个文档里找很久,也没看到适配DCU 的 cmake 环境变量参数=。=)
4/15
LiuYi
10楼
模型仓库可以给出性能最优的推理启动命令
4/14
网友lQKnJd
9楼
【建言献策】大力推动vllm相关docker镜像的适配工作
本人参与过多种国产化设备的推理部署工作,海光的卡部署起来并不是其中难的。
其问题在于:
1、官方的文档极其分散和简略,驱动安装还算简单,但是后续的镜像下载和部署基本属于无人维护的状态。本次qwen3.5的部署方案还是最后在论坛上有大佬摸索出来的。摸索出来后也没有官方的人进行置顶和推荐。
2、vllm适配速度还是不够快,面对目前每天都发布的新模型,vllm的适配是至关重要的,海光应该及时发布(即使是开发版不稳定)新版本的vllm以方便技术人员快速对模型进行验证。vllm本身也有大量的bug需要在新版本修复。例如本次qwen3.5,目前海光还在用vllm0.15.1版本,实际上需要使用vllm0.17.1以上才没有bug。
3、标准指标不清晰,没有一个参考性的指标,技术人员部署后也无法判断是否已经达到了最佳状态。

如果海光资源优先,建议先把资源倾斜到vllm相关的LLM模型推理上,提升推理精度,性能和稳定性,这是国产卡最急迫的应用场景。
4/12
W
wdc
8楼
在实际配置过程中我明显感觉到,DCU 驱动安装整体流程较为繁琐,比如 hy-smi 不会自动配置到全局环境,还需要手动添加,步骤多、依赖关系复杂;而且运行出现异常时往往没有清晰报错,问题定位难度极大。DTK、DAS 等开发环境本身配置门槛也较高,环境变量、依赖库、版本兼容等问题频发,对刚从 NVIDIA 生态切换过来的开发者尤其不友好。很多刚上手的小白面对不直观的日志、不明确的报错信息,很难第一时间判断问题根源,也不知道从何处入手排查,整体上手成本明显偏高。内心其实非常愿意支持国产芯片,但也真心希望社区能多出一些详细易懂的配置教程,目前不少文档里的超链接不够醒目,新手很容易错过关键指引,学习和排错成本也因此进一步增加。
4/12
_
_mkdes4veql4w
7楼
【建言献策】一、部署
1.文档说明不全或者根本没讲清楚:
具体的例子就拿最近的千问3.5举例(https://developer.sourcefind.cn/modelzoo/list/qwen3.5_vllm/detail?post_id=46176b42-0c0b-11f1-a49f-0242ac150003)

①文档第一版镜像写到dtk26.04,但是第一版镜像那时候(3月10日左右)根本无法下载26.04(实际在3月27日才发布)。
当时我心中的疑问:我是否要DTK26.04?DTK26.04官网为何没法下载?
经论坛询问才得知可以不单独安装DTK26.04,直接用镜像就行。

②4月9日千问3.5文档更新,里面用到的镜像和GLM-5一致,但是我实际下载镜像后,运行报错。我在GLM-5的部署文档才知道:
如果出现ImportError: librocm_smi64.so.2: cannot open shaned object file: No such file or directory报错,系机器hyhal版本较低所致,请进行升级。
千问3.5页面里根本没写这句话。

官方在写文档时请注意和用户之间的信息差。

2.镜像使用麻烦:
仍然以千问3.5安装举例:
文档v1.1版本写到:下载了镜像后,还需要再替换安装transformers和numpy才能用。
该现象在其他模型也不同程度出现,后面能希望官方能多做一点,直接把镜像搞好(让用户可选择:是方便的通用镜像;还是针对模型特别适配的镜像),尽量不要让用户再去拉镜像→替换安装→再打包,因为很多时候是要离线部署的。

3.模型体验感差。后续官方发布模型适配时,还请充分测试并且写清楚(各驱动版本是否适配/是否能运行、运行速度、并发、输出等),避免“版本不一致导致跑不起来”和“只是能跑起来,但实际不可用”的情况。


【建言献策】二、网页体验问题
使用手机验证码登录时,输入验证码后按电脑的回车键,验证码输入弹框消失,并且没有提交验证码。(必须手动点“确定”才能提交验证码,不能回车)

衷心希望国产越来越好!

4/12
刘瑜兴
6楼
驱动、dtk安装层面:
1、驱动安装和dtk安装,建议分为在线版本和离线版本:在线版本支持命令一键执行,执行后自动下载和安装、补全依赖;离线版本可以保持原样,或者增加自动补包功能。
2、增加功能,升级内核也可以自动编译安装驱动回去,应该是有类似模块的。

网络优化:目前下载有些版本的dtk太慢了,会影响效率。

容器部署优化:
1、可以出一键优化脚本,有些环境不是8卡的,可能是2卡、4卡环境,这种都需要自己根据拓扑去修改numa绑定。
2、跨机通讯部署优化,目前部署跨机的大模型相对比较复杂,希望能有相关工具可以提供优化部署方案。

网页优化:
1、能全局搜索、联想搜索最好了。



4/10
网友6f7rQI
5楼
【献言献策】

驱动安装步骤优化:
(1)当前驱动安装包的方法太复杂了
现在选择包后,安装步骤还得退出1个文件夹,点开readme。
(2)既然readme内容是固定很久不变的,为什么不直接在驱动下载包的页面显示应该如何安装基础包;藏在readme 很多人找不到的;
(3)在驱动安装页面做出提示,内核版本变化对驱动的影响,考虑建议用户固定内核版本;

4/10
王文彬
4楼
【献言献策】

1. 首页顶部增加【全局实时搜索框】,支持搜索文档、工具、驱动、镜像、案例、FAQ等全站内容,并支持关键词联想与结果分类展示。

2. 所有深层页面统一增加【面包屑导航】,明确展示当前页面路径,方便用户快速返回上级或首页,减少操作迷路。

3. 优化移动端响应式布局,放大按钮可点击区域、调整文字行距,保证在手机上查看文档、下载资源、操作按钮无遮挡、不误触。

4. 免费算力申请页面新增【申请条件、审核时长、可用额度、使用规则、到期提醒方式】的详细说明模块,避免用户反复咨询。

5. DTK、驱动、镜像下载页增加【版本对比表格】,清晰标注各版本适配硬件型号、操作系统、更新内容与已知问题。

6. 平台提供【DCU开发环境一键部署脚本/安装包】,支持一键配置编译器、依赖库、驱动、环境变量,降低新手部署门槛。

7. 上线【GPU代码迁移兼容性检测工具】,上传CUDA代码可自动扫描不兼容API,并给出对应DCU替代函数与修改示例。

8. 实训平台内置【可直接运行的K100/K100-AI示例工程】,包含AI推理、训练、算子调用等场景,支持在线修改代码并快速验证。

9. 新增【在线技术工单系统】,用户可提交问题、上传日志截图,后台可实时回复,用户可查询工单进度与历史记录。

10. 完善个人中心,整合【我的算力资源、我的工单、下载记录、学习课程、收藏文档】,实现一站式管理。

11. 搭建【DCU兼容性查询中心】,支持按硬件、操作系统、深度学习框架、精度类型筛选,展示支持状态与适配说明。

12. 文档中心按【新手入门/开发进阶/专家调优【分层,为初学者提供最短路径教程,避免深层级目录导致查找困难。

13. 新增【行业落地案例专区】,按AI、工业仿真、气象、生命科学等分类,附带部署流程、关键代码与性能数据。

14. 上线系统化【DCU开发视频课程】,每节配套课件、代码素材与课后练习,支持进度记录与章节回看。

15. 所有资讯、版本公告、教程强制显示【发布时间与更新时间】,并对过时内容增加“已过期”提示,避免误导。

16. 建立【故障排查与错误码手册】,按编译报错、运行异常、驱动问题、算力调度失败分类,提供排查步骤与解决方案。

17. 产品中心增加【DCU硬件参数对比卡片】,直观展示算力、显存、功耗、接口、典型场景,方便选型对比。

18. 开设开发者问答社区,支持提问、回答、点赞、收藏、采纳最佳答案,并可@技术支持人员快速响应。

19. 建立开发者贡献激励体系,用户分享教程、案例、Bug修复可获得积分,用于兑换免费算力、周边礼品或认证证书。

20. 新增高校教学专区,提供实验手册、教学PPT、课程设计案例,支持教师申请实训资源与竞赛专用算力通道。


3/27
网友6f7rQI
3楼
驱动安装步骤优化:
(1)当前驱动安装包的方法太复杂了

现在选择包后,安装步骤还得退出2个文件夹,点开readme。

(2)既然readme内容是固定很久不变的,为什么不直接在驱动下载包的地址下显示?  精简下呢,是否可以参考别人怎么做的?

(3)内核版本变化,对驱动有影响,也应该在驱动安装页面做出提示,安装驱动之前禁止Linux内核更新

3/24
网友tdLWJP
2楼
【建言献策】
针对于镜像做到全量验证,标注稳定版本或者测试版本,方便客户用于实际生产环境,而不是现在的这种标注“若生产环境中使用,请提前做好相应测试”以及“该版本目前还不稳定,生产环境不推荐部署”
3/19
网友tdLWJP
1楼
【建言献策】
模型部署发布,也需要在K100系列、BW系列做好全方位验证再发布,像benchmark的压测,多并发请求测试等,避免客户使用中debug,造成极差的体验感。
3/19
没有更多内容了
--
楼主
0 帖子
楼主热帖
暂无数据