1
1
1
DeepSeek
4台K100-AI的8卡服务器,单卡显存64G,部署DeepSeek671B后,提问后出现DCU仅占用1%的问题
2025-04-12 23:02:01
107

一旦到达--gpu-memory-utilization 给定的阈值后,就会出现4台集群的显卡DCU仅占用1%,且再提问,也没有任何回复的
问题。

模型版本:DeepSeek R1 671B BF16
显卡:K100-AI,单卡64G显存,4台集群共32张卡

台数:4台。
图中是临近显存阈值时,偶尔也会出现图1中的只有web访问正常,没有模型回复的问题
图3是vllm执行的命令。

全部评论(2)
只看楼主
P
panhb
1楼
启动命令中--max-num-seqs 设为128,并且去掉--num-speculative-token --speculative-disable-by-batch-size试下呢
2025/4/14
网
网友BWYLuV
回复 @panhb
感谢大佬,我今天试了一下,可以了,我再观察观察:qiang:emoji
2025/4/15
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据