0
4
0
0
【已解决】VLLM框架跑distill，32B的报错HIP out of memory，前期使用1.5B没问题。
2025-02-19 16:33:30
216
python -m vllm.entrypoints.openai.api_server --model ./DeepSeek-R1-Distill-Qwen-32B/ --dtype float16 --enforce-eager -tp 4 --served-model-name deepseek-r1-distill-qwen32b --max-model-len 32178 --trust-remote-code --port 3333
这个是命令 也export ROCR_VISIBLE_DEVICES=0,1,2,3,4,5,6,7了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据
排查过程：
watch -n1 hy-smi 发现卡0一直在被占用，后续发现是前期运行的1.5B服务没有停止。
kill pid 停掉之后按照上边的命令可以直接运行了