3
0
0
1
标题
2025-03-14 14:26:32
143
【求助帖】海光K100-AI，部署vllm进行推理DeepSeek-R1-32k模型，推理速度一开始正常，但有用了一会儿会变的很慢，好几秒才吐出一个字，有时候又会自己恢复正常，请问是怎么回事？可以从哪方面进行问题定位分析。
（上下文很长，例如几千字时，有时也是快的，有时也会变慢，好像不完全和上下文长度相关）
环境：
操作系统：NingOS
GPU型号：K100-AIk
卡数量：8
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据
请问用的是哪个镜像环境？可以换下面的镜像试试
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10