Qwen
K100-AI使用VLLM运行Qwen3,如何开启和关闭思考模式
2025-12-01 08:51:04
323
如题,使用 `docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2` 运行Qwen-32B,思考模式无法关闭 ![1764550237418.png](/api-forum/file/Redirect?path=forum/haiguangkiz/1764550249171/1764550237418.png '1764550237418.png')
全部评论(7)
只看楼主
L
lim
2楼
使用这个 刚亲测有效 extra_body={ "chat_template_kwargs": {"enable_thinking": False} # ✅ 严格关闭思考 }
2025/12/1
D
DCUKiz
回复 @lim
确实支持,但是openai的接口会不支持
2025/12/1
L
lim
回复 @DCUKiz
请问您在GPU上试过能正常关闭思考吗
2025/12/1
L
lim
回复 @DCUKiz
我这边curl也可以
2025/12/1
全部4条回复
Hikafeng
1楼
根据响应,不是已经关闭思考模式了吗?:yiwen:emojiemoji
2025/12/1
D
DCUKiz
回复 @Hikafeng
content中存在标签,extrabody里设置 enablethinking 并没有起作用
2025/12/1
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据