运行时
提问帖
有回复
新人贴
采购了8块k100ai显卡,运行大模型老是掉卡,急急急。
2026-01-06 10:53:12
426
采购了8块k100-ai 64g,安装在浪潮nf5468m6 8卡gpu服务器上。 安装ubuntu2204.2最新桌面系统 安装最新驱动,及dtk25.04.2-ubuntu 运行最新vllm0.9.2 及vllm0.11 镜像 加载官方脚本seedcoder 能够正常运行大模型。 问题: 1. 安装8卡gpu u的时候,没过多久,慢慢开始掉卡,从8张到6张,4张一张,最后全部掉光。必须得重启服务器才能重新认到显卡。 问题2.因为我这个是用在10安转16安的插线板上运行的,为了排除电源的问题,我只接了一张显卡。稳定性稍微会好一点,不运行大模型的时候显卡一直能够认到。但是多运行几次以后,显卡又掉线了。必须得重启服务器才能认到显卡。不论我是用 vllm或者用pytor都是一样的情况。
全部评论(23)
只看楼主
C
cjf
楼主
7楼
确实是风扇的问题,他这种计算卡是被动散热的,要把这个风扇给他调整一下,现在可以了。 但是又发现一个新问题,它的温度在空载状态。也比较高,然后功耗也很大。空载的状态下都是130多瓦,这台机子上我还装了两张4090作为对比,它的空载下只有十几瓦,温度只有二十几度,因为他自己带了一个涡扇风扇。为什么这个国产显卡空载一下功耗这么高啊,高了10多倍。
1/8
C
cjf
回复 @cjf
1/8
C
cjf
回复 @cjf
@liumg @renzhc@panhuiwen
1/8
L
liumg
6楼
hy-smi --setpoweroverdrive 300 把卡的功耗设置成300W试试
1/6
C
cjf
回复 @liumg
空载功耗大怎么解决,你看我上面的截图
1/8
C
cjf
楼主
5楼
开机没几分钟,显卡又掉了,我把日志的最后一页截图,大家看看什么问题啊?
1/6
C
cjf
楼主
4楼
修正一下问题二,感觉并不是一直能认到,有的时候可以坚持时间久一点,有的时候一会儿又掉了。
1/6
C
cjf
楼主
3楼
就说模型能推理出结果,但是呢就是非常不稳定不,不知道什么时候就停止输出,停止输出中断也就算了,它是整个卡掉了,后面就没办法再用了。必须得重启。
1/6
R
renzhc
2楼
麻烦提供下下面几个信息:
1. hy-smi --showdriverversion
2. hy-smi -v
3. lspci -nn | grep -i co-proc
4. dmesg -T > dmesg.log
1/6
C
cjf
回复 @renzhc
刚刚重启好,上一次我都还没有运行大模型,也就挂了一张显卡,刚开始hy-smi还能显示出这张显卡,过了一会他自己又掉了。现在是刚重启完,按你的指令,部分结果。
1/6
R
renzhc
回复 @cjf
看上去是超温导致掉卡了,可以联系下服务器供应商,确认下散热配置是否正常
1/6
C
cjf
回复 @renzhc
我看的时候都是七八十度啊,而且这个天气按理说温度也不算高。但是你说的我感觉有道理,他这个我手在后面感觉都不是感觉不到多少风。他这个显卡风扇要怎么设置吗?
1/6
全部7条回复
C
cjf
楼主
1楼
1/6
P
panhuiwen
回复 @cjf
看现象是超温掉卡了, 监控信息也反映了DCU的问题过高, 请确认下服务器的散热策略是否正常, 或者手动将风扇转速开到最大
1/6
C
cjf
回复 @panhuiwen
这个为什么要调服务器的风扇呢?不应该是显卡自己有风扇吗?
1/6
L
liumg
回复 @cjf
计算卡都是被动散热的,需要利用服务器的散热系统,如果服务器和卡没有做好适配的话,服务器的风扇转速可能无法随着卡的温度自动调控,需要服务器侧做适配,升级BMC。
1/6
全部6条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据