请问您是用几张K100_AI卡部署的啊，精度是FP16吗
0
0
0
0
在K100-AI卡vllm-0.8.5-ubuntu22.04中运行Qwen3-30B-A3B-Instruct-2507时模型回复乱码问题
2025-12-02 17:42:19
261
在同一台设备中（X7850H0服务器k100-AI卡）使用
vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-py3.10中运行xinference（运行重排序和嵌入式模型）
在vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250724中运行Qwen3-30B-A3B-Instruct-2507时，模型回复是乱码。偶然性出现，但显存占用过高时出现率较高。
可能得问题在哪里？有什么检测工具吗？尝试解决的方式有哪些？
返回示例：
全部评论（2）
只看楼主
Q
1/30
M
建议建议关闭fa试试，export VLLM_USE_FLASH_ATTN=0
2025/12/3
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据