Qwen
提问帖
有回复
| Qwen3.8-Flash-Next-Channel-INT8-w8a8 模型在bw100卡上启动后,curl测试有乱码,怎么处理。
2026-10-20 21:47:00
42
机器是8*bw100 PCIE的卡,参考光源论坛https://developer.sourcefind.cn/codes/modelzoo/qwen3.8-flash-next帖子操作的,使用镜像harbor.sourcefind.cn:5443/hcu/admin/base/custom:sglang0.5.18-ubuntu22.04-dtk2604-py3.10-20260921-qwen3.8flashnext,拉起模型后测试报乱码问题, 这个如何解决? 测试1: **请求**: ```bash curl -s http://127.0.0.1:30000/generate \ -H "Content-Type: application/json" \ -d '{"text":"中国的首都是","sampling_params":{"max_new_tokens":50,"temperature":0}}' ``` **输出**(乱码): ``` :数据统计\n\n这是一度子原因安00000077307.3.33020115471.4115.7543.334031 ``` 测试2: curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"default","messages":[{"role":"system","content":"你是一个AI助手"},{"role":"user","content":"用三句话介绍你自己"}],"max_tokens":1024,"temperature":0}' 输出: Iuser 用户 3 A,reasoning_content 是 "用户要求一篇。\n\n",completion 只有 21 个 token 就 stop(matched_stop=248046)
全部评论(1)
只看楼主
刘
刘阳
1楼
会不会是SGLang版本偏低的问题,SGLang对Qwen3.8要求版本高于v0.5.22
https://github.com/sgl-project/sglang/blob/main/docs/cookbook/autoregressive/Qwen/Qwen3.8-Flash-Next.mdx?utm_source=chatgpt.com
12小时前
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据