1
框架组件
提问帖
有回复
请问各位,vllm推理时 prefix cache hit rate一直是0这正常么
2026-03-04 16:10:02
91
应用场景需要处理一些较长的上下文,于是配置启动参数 ```bash --max-num-batched-tokens 8192 --enable-prefix-caching ``` 实测输入较短提示词时,推理速度尚可,但多轮对话等场景,随着上下文逐渐增长,推理速度大幅下降,观察日志发现Prefix cache hit rate始终为0,做为测试,用完全一致的提示词多次调用也依然是0: ```bash (APIServer pid=40) INFO 03-04 16:00:32 [loggers.py:257] Engine 000: Avg prompt throughput: 4228.4 tokens/s, Avg generation throughput: 1.5 tokens/s, Running: 1 reqs, Waiting: 0 reqs, GPU KV cache usage: 5.0%, Prefix cache hit rate: 0.0%, MM cache hit rate: 0.0% ... (APIServer pid=40) INFO 03-04 16:00:52 [loggers.py:257] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.3 tokens/s, Running: 1 reqs, Waiting: 0 reqs, GPU KV cache usage: 4.1%, Prefix cache hit rate: 0.0%, MM cache hit rate: 0.0% ... ``` 请问这是由于Prefix缓存不生效导致的长上下文性能问题么?
全部评论(2)
只看楼主
Y
yangzhong
1楼
请问您使用的vllm版本是哪个?理论上不会这样的,可以换最新版试试。docker pull harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.15.1-ubuntu22.04-dtk26.04-0130-py3.10-20260220
3/4
网
网友lQKnJd
回复 @yangzhong
vllm0.17版本有没有阿,感觉这个0.15.1版本在处理思考的时候好像有问题,思考内容吐在content里面去了。
3/18
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据