Qwen
提问帖
有回复
qwen3.5(Qwen3.5-35B-A3B)镜像K100AI推理问题:think字段冗杂,中英文混用
2026-03-02 20:36:48
450
参考帖子:https://forum.sourcefind.cn/thread/a7e37c5b-15fe-11f1-a49f-0242ac150003 镜像:image.sourcefind.cn:5000/dcu/admin/base/custom:pytorch2.9.1-ubuntu22.04-dtk26.04-0130-py3.10-20260204-qwen3_5 bash 模型:Qwen3.5-35B-A3B 推理服务脚本: ![attachmentId-8c4772096b60ef7eea9a47a05608706c.jpg](/api-forum/file/Redirect?path=forum/luoyin500/1772454744984/8c4772096b60ef7eea9a47a05608706c.jpg) 请求体: ![attachmentId-e9ab2e2d7bf621be54a393ebdc014fdf.png](/api-forum/file/Redirect?path=forum/luoyin500/1772454793573/e9ab2e2d7bf621be54a393ebdc014fdf.png) 输出: ![attachmentId-微信图片_2026-03-02_203537_940.png](/api-forum/file/Redirect?path=forum/luoyin500/1772454977298/微信图片_2026-03-02_203537_940.png)
全部评论(4)
只看楼主
网
网友O51JUC
3楼
在BW上单卡启动 Qwen3.5-27B 也遇到了这个问题,只影响thinking部分,另外BW1000单卡单并发的吞吐只有 19tokens/s 这个性能正常吗?
3/5
Y
yangzhong
2楼
已复现,排查后进行回复解决
3/3
小
小罗
楼主
1楼
驱动为:6.3.13-v1.12.0a
3/2
网
网友lQKnJd
回复 @小罗
找到解决方案了,官方说是chat template的问题,https://github.com/QwenLM/Qwen3.5/issues/35
3/5
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据