5
1
DeepSeek
DeepSeek-V4 (dsv4 backend) SGLang 前缀缓存是否已支持?何时会支持?
2026-08-19 14:19:41
186
使用ModelZoo提供镜像 sglang-ubuntu22.04-dtk26.04-deepseek-v4-0727+ DeepSeek-V4-Flash-0731-Channel-FP8部署测试。发现部署后前缀缓存(radix / chunked prefix cache)完全失效,cache_read_tokens 全为 0。即使重复相同前缀的请求,也完全不命中,每次都全量重算长上下文,吞吐明显受拖累。请问: 1. dsv4 backend 目前是否有计划支持前缀缓存(radix / chunked prefix cache)?预计在哪个版本/镜像 tag 落地? 2. 技术上主要卡点是不是稀疏压缩 KV 难以做标准 radix 匹配/回读?需要新增哪些 kernel? 3. 若短期不支持,官方是否有推荐方案减少长上下文全量重算(如 Anthropic ephemeral 语义、会话级多轮续算、PD 分离、HiCache 等)?
全部评论(1)
只看楼主
D
dp1
1楼
您是什么机型?预计月底发版新镜像,同时可关注https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/sglang/deepseek-v4.md
8/20
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据