DCU开发常见问题请见:juhua::https://forum.sourcefind.cn/thread/229
以计算服务平台昆山中心为例,罗列一些常见的平台使用问题,请各位参考。
1、可以在登录节点运行运行程序吗?
答:不可以,请千万不要在登录节点运行节点运行程序,登录节点是调度节点,且没有DCU卡。编译运行程序需在计算节点进行。
2、如何申请计算节点?
答:在登录节点命令行执行salloc -N 1 --gres=dcu:4 -p kshdtest,(这是申请了一个节点4张卡,可以根据实际需要更改参数),回车后显示申请的计算节点名称,如j17r3n04,执行ssh j17r3n04即可进入计算节点环境。slurm脚本方式示例https://developer.hpccube.com/wp-content/uploads/2021/07/SLURM%E4%BB%8B%E7%BB%8D%E4%B8%8E%E4%BD%9C%E4%B8%9A%E6%8F%90%E4%BA%A4.pdf
3、客户端密钥登录时,有时会提示指纹不对
答:切换登录节点试试,还不行的话反馈AC平台客服
4、计算平台需要python3.11版本
答:建议使用miniconda。方法如下:
步骤一、安装miniconda3
#使用wget安装
$ wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh
#添加权限并运行
$ chmod +x Miniconda3-py37_4.9.2-Linux-x86_64.sh
$ mkdir -p ~/miniconda3/
$ bash Miniconda3-py37_4.9.2-Linux-x86_64.sh -b -f -p
"~/miniconda3/"
$ rm -rf Miniconda3-py37_4.9.2-Linux-x86_64.sh
初始化 Conda 环境
$ ~/miniconda3/bin/conda init
& source ~/.bashrc
步骤二、创建conda env环境
conda create -n py3.11 python=3.11
5、提交作业后能申请资源,但卡住了
答:可以ssh到作业所在的计算节点,top命令或rocm-smi查看进程及DCU的运行状态。可能原因是有其它作业共享该节点资源,建议独占节点资源,可加#SBATCH --exclusive。
6、资源扩容、存储空间扩容、机时欠费问题
答:请联系光合基金秘书处,由秘书处对接智算平台优先处理。
7、个人账号目录内容在集群各节点是一样的吗?
答:是的,集群使用共享存储,个人账号下的目录内容在登录节点和计算节点显示内容是一样的。
8、可以在计算节点本地磁盘放置文件吗?
答:可以放置缓存文件,但不建议这样做。建议放到个人账号目录下,管理员会定期清理计算节点本地磁盘、释放空间。
9、购买DCU卡,使用时出现段错误问题
答:建议在配套服务器上使用DCU卡,如遇到此情况,请联系售后或者秘书处处理。
10、如何使用conda安装自己的包?
答:通过E-File上传安装包,如果是whl安装包,使用pip install ***.whl --user指令安装,如果是源码包,需指定安装路径。
11、如何得知dcu加速成功?
答:提交作业后ssh到节点,通过rocm-smi查看dcu情况。
12、使用rocm-smi为什么不显示dcu占用?
答:可能查询的频率低,利用watch命令提高监控命令查看;尝试调整batchsize,可利用更多dcu资源,加快计算。
13、python使用dcu是否要修改代码?
答:不需要,直接可以使用原有python代码。
14、昆山集群怎么远程SSH?
答:不建议使用ssh的方式登录昆山集群,没有开放IP端口,可以通过固定IP反向代理实现。
15、在DCU上运行数据量大时,报错内存溢出。
答:每个节点不超过90G,用slurm指定内存大小,--mem=90G 指定使用内存。
16、如何实现深度学习检测多进程高效并行?
答:不建议直接使用python的多线程进程池调度,建议使用openmpi分块提交多个任务,通过mpi启动并调度线程。
17、DCU软件多进程运行速度慢怎么办?
答:多进程用一个dcu可能会慢,最好一个进程独占一个dcu。
18、任务同时用到cpu和gpu,运算时调用1个cpu核心和调用32个cpu核心的区别?
答:需要根据程序来看,1)程序如果是包含更多cpu计算的,那32个核心的运算速度会快于1个核心的运算速度;2)看程序是否支持并行计算,若支持并行,使用cpu核心对程序加速不大。
19、我的服务--智能计算服务中的相关问题如何反馈?
答:可通过平台的工单提交进行反馈,会有工程师对接处理。
20、软件运行时卡住怎么处理?
答:ssh到计算节点,使用strace或gstack命令查看资源使用,可通过ps -ef查看进程号。
21、提交作业时报错partition如何解决?
答:确认是否有-p参数,-p后面的队列名是否正确。
22、提交作业如何设置节点数?
答:可以设置-N参数,如一个节点#SBATCH -N 1,两个节点#SBATCH -N 2。
23、shell窗口能否看到32核利用情况?
答:可以看到,提交作业后,ssh到计算节点,htop命令查看。
24、批处理作业sbatch提交和交互式提交在性能上有没有区别?
答:性能没有差异。
暂无数据
暂无数据