看下具体的启动命令，可以参考下配置：https://github.com/HYGON-AI/dcu-inference-cookbook/blob/main/docs/model-deployment/vllm/qwen3.6.md
1
1
0
1
长上下文衰减特别厉害
2026-07-13 14:17:41
69
如果提示词很长，比如20k，吞吐就会下降到10t/s，甚至更低，而且会导致整个并发的性能都急剧下降，这个需要怎么处理
环境是
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm023-ubuntu22.04-dtk26.04-py3.10-20260617-qwen
以及
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.18.1-ubuntu22.04-dtk26.04-py3.10-20260510-2242
都测试了
全部评论（2）
只看楼主
M
7/14
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据