启动命令中--max-num-seqs 设为128,并且去掉--num-speculative-token --speculative-disable-by-batch-size试下呢
一旦到达--gpu-memory-utilization 给定的阈值后,就会出现4台集群的显卡DCU仅占用1%,且再提问,也没有任何回复的
问题。
模型版本:DeepSeek R1 671B BF16
显卡:K100-AI,单卡64G显存,4台集群共32张卡
台数:4台。
图中是临近显存阈值时,偶尔也会出现图1中的只有web访问正常,没有模型回复的问题
图3是vllm执行的命令。

暂无数据