3
数学库
提问帖
有回复
新人贴
K100跑qwen3 是否有镜像能支持 --enable-chunked-prefill和--enable-prefix-caching,另外问下qwen3 量化模型有哪个镜像能跑
2026-05-19 10:33:47
160
K100跑qwen3 是否有镜像能支持 --enable-chunked-prefill和--enable-prefix-caching,目前试了vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250521-fixpy-rocblas0521-beta2 和 0.8.5-ubuntu22.04-dtk25.04.1-py3.10 都不支持; 另外问下qwen3 量化模型有哪个镜像能跑,vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250521-fixpy-rocblas0521-beta2这个跑不了,提示 ``` ValueError: AWQ currently only supports K100AI、BW and is not supported on Z100! ```
全部评论(1)
只看楼主
J
juyouhui
1楼
您好,由于K100上架构偏老,不支持高版本的vllm特性
8/4
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据