2
DeepSeek
vllm启动报错，
2025-05-15 08:48:45
178

attachmentId-image.png

attachmentId-image.png

vllm serve /home/DeepSeek-R1-Distill-Qwen-1.5B/ --tensor-parallel-size 1 --max-model-len 32768 --enforce-eager

环境是K100-AI *1 卡

全部评论（11）
只看楼主
网
网友5NGqA7
3楼
显存不够，这个模型需要58G+显存，尝试指定下--gpu-memory-utilization 0.95，况且kv这么紧张， 32K的模型上下文也够呛不挂
2025/5/15
W
wangwei
2楼
上面的信息“HIP out of memory”是显存不够的意思
2025/5/15
龙
龙~~~
回复 @wangwei
谢谢你。 我这边是1张卡，跑1.5b也不行么？
2025/5/15
W
wangwei
回复 @wangwei
那不应该啊。。是不是以前的任务没清理干净（运行的时候显存占用不是0%）；另外如果是K100AI的话看图中的频率也不太对，建议运行一下：hy-smi --setsclk 10
2025/5/15
龙
龙~~~
回复 @wangwei
请问，如何清理任务呢？ 咱们常用的命令都有啥，谢谢
2025/5/15
全部8条回复
龙
龙~~~
楼主
1楼
中科可控X7340H0 ，2*7255 ，16*32G ，DCU K100_AI *1
2025/5/15
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据