1
1
基础环境
DCU计算平台使用常见问题
2024-03-14 09:52:06
2004

DCU开发常见问题请见:juhua::https://forum.sourcefind.cn/thread/229

以计算服务平台昆山中心为例,罗列一些常见的平台使用问题,请各位参考。

1、可以在登录节点运行运行程序吗?

答:不可以,请千万不要在登录节点运行节点运行程序,登录节点是调度节点,且没有DCU卡。编译运行程序需在计算节点进行。

2、如何申请计算节点?

答:在登录节点命令行执行salloc -N 1 --gres=dcu:4  -p kshdtest,(这是申请了一个节点4张卡,可以根据实际需要更改参数),回车后显示申请的计算节点名称,如j17r3n04,执行ssh j17r3n04即可进入计算节点环境。slurm脚本方式示例https://developer.hpccube.com/wp-content/uploads/2021/07/SLURM%E4%BB%8B%E7%BB%8D%E4%B8%8E%E4%BD%9C%E4%B8%9A%E6%8F%90%E4%BA%A4.pdf

3、客户端密钥登录时,有时会提示指纹不对

答:切换登录节点试试,还不行的话反馈AC平台客服

4、计算平台需要python3.11版本

答:建议使用miniconda。方法如下:

步骤一、安装miniconda3

#使用wget安装

$ wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh

#添加权限并运行

$ chmod +x Miniconda3-py37_4.9.2-Linux-x86_64.sh

$ mkdir -p ~/miniconda3/

$ bash Miniconda3-py37_4.9.2-Linux-x86_64.sh -b -f -p

"~/miniconda3/"

$ rm -rf Miniconda3-py37_4.9.2-Linux-x86_64.sh

初始化 Conda 环境

$ ~/miniconda3/bin/conda init

& source ~/.bashrc

步骤二、创建conda env环境

conda create -n py3.11 python=3.11

5、提交作业后能申请资源,但卡住了

答:可以ssh到作业所在的计算节点,top命令或rocm-smi查看进程及DCU的运行状态。可能原因是有其它作业共享该节点资源,建议独占节点资源,可加#SBATCH --exclusive。

6、资源扩容、存储空间扩容、机时欠费问题

答:请联系光合基金秘书处,由秘书处对接智算平台优先处理。

7、个人账号目录内容在集群各节点是一样的吗?

答:是的,集群使用共享存储,个人账号下的目录内容在登录节点和计算节点显示内容是一样的。

8、可以在计算节点本地磁盘放置文件吗?

答:可以放置缓存文件,但不建议这样做。建议放到个人账号目录下,管理员会定期清理计算节点本地磁盘、释放空间。

9、购买DCU卡,使用时出现段错误问题

答:建议在配套服务器上使用DCU卡,如遇到此情况,请联系售后或者秘书处处理。

10、如何使用conda安装自己的包?

答:通过E-File上传安装包,如果是whl安装包,使用pip install ***.whl --user指令安装,如果是源码包,需指定安装路径。

11、如何得知dcu加速成功?

答:提交作业后ssh到节点,通过rocm-smi查看dcu情况。

12、使用rocm-smi为什么不显示dcu占用?

答:可能查询的频率低,利用watch命令提高监控命令查看;尝试调整batchsize,可利用更多dcu资源,加快计算。

13、python使用dcu是否要修改代码?

答:不需要,直接可以使用原有python代码。

14、昆山集群怎么远程SSH?

答:不建议使用ssh的方式登录昆山集群,没有开放IP端口,可以通过固定IP反向代理实现。

15、在DCU上运行数据量大时,报错内存溢出。

答:每个节点不超过90G,用slurm指定内存大小,--mem=90G 指定使用内存。

16、如何实现深度学习检测多进程高效并行?

答:不建议直接使用python的多线程进程池调度,建议使用openmpi分块提交多个任务,通过mpi启动并调度线程。

17、DCU软件多进程运行速度慢怎么办?

答:多进程用一个dcu可能会慢,最好一个进程独占一个dcu。

18、任务同时用到cpu和gpu,运算时调用1个cpu核心和调用32个cpu核心的区别?

答:需要根据程序来看,1)程序如果是包含更多cpu计算的,那32个核心的运算速度会快于1个核心的运算速度;2)看程序是否支持并行计算,若支持并行,使用cpu核心对程序加速不大。

19、我的服务--智能计算服务中的相关问题如何反馈?

答:可通过平台的工单提交进行反馈,会有工程师对接处理。

20、软件运行时卡住怎么处理?

答:ssh到计算节点,使用strace或gstack命令查看资源使用,可通过ps -ef查看进程号。

21、提交作业时报错partition如何解决?

答:确认是否有-p参数,-p后面的队列名是否正确。

22、提交作业如何设置节点数?

答:可以设置-N参数,如一个节点#SBATCH -N 1,两个节点#SBATCH -N 2。

23、shell窗口能否看到32核利用情况?

答:可以看到,提交作业后,ssh到计算节点,htop命令查看。

24、批处理作业sbatch提交和交互式提交在性能上有没有区别?

答:性能没有差异。

全部评论(0)
只看楼主
暂无数据
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据