光合开发者社区-论坛

Qwen

新人贴

Qwen3.5各版本都无法正常使用

2026-03-20 22:46:09

473

分配2快K100-AI参照[ModelZoo / Qwen3.5\_vllm · GitLab](https://developer.sourcefind.cn/codes/modelzoo/qwen3.5_vllm)启动模型，不管是35B-A3B, 27B甚至2B，都存在以下问题： 1、首次响应时间特别长，vllm自己都报warning 说超过30秒没有收到响应什么的 2、长回复到后面必然混乱重复，一般输出个4、500字就开始出错 3、同时运行有超过1个请求必然混乱重复，两个请求同时发过去，内容不用多也两边都开始乱说了

_nado

4楼

我参照执行时可以启动模型，第一次响应时间确实非常长，其他问题没有遇到

但是我遇到的问题是如果reasoning_parser使用qwen3，他的思考过程是放在content中不是reasoning_content，所以思维链就不能正常显示了，要使用deepseek_r1；同时，如果不在启动的时候加上 --default-chat-template-kwargs '{"enable_thinking": false} 就怎么都关不掉思维模式，即使从客户端加参数关掉思维模式，正常content内容也是出现在reasoning_content中

3/23

网

网友B3ZN40

回复 @_nado

没有遇到生成重复无限循环的情况吗？

3/23

liumg

3楼

多谢反馈，这些问题我们会尽快处理

3/23

2楼

用CoPaw测试工具调用的效果，非常差！（感觉是在乱调用，而且经常语无伦次！）

我在4块RTX-3090上用CoPaw测试工具调用，用vLLM0.17.0，同样的大模型：27B-AWQ，调用效果就非常好

3/21

1楼

我也是同感，跑27B-AWQ进行大量测试。
经过全面排查和多项测试（GPU 频率、NUMA 绑定、张量并行度调整、vLLM 参数优化、CPU 使用率监控），性能瓶颈已定位为 vLLM 0.15.1 对海光 K100-AI 平台的优化不足。具体表现为：

GPU 利用率极低（大部分卡 <10%，最高 41%）

生成吞吐稳定在 20–25 tokens/s，远低于硬件预期

CPU 侧空闲率 >96%，无调度压力

改变张量并行度（2/4/8）未带来明显性能差异

所有常规优化手段均无效

根本原因：vLLM 内核（FlashAttention、AWQ Marlin 等）在海光 K100-AI上的效率可能受限于驱动或算子实现，导致 GPU 计算能力无法被充分利用。

3/21

回复 @aq

个人认为是vLLM的版本太低了，我在4块RTX-3090上测试27B-AWQ，vLLM用的是vLLM0.17.0，生成吞吐稳定在 85 tokens/s左右

3/21

回复 @aq

这绝望了。。不知道啥时候能优化好

3/21