1
数学库
提问帖
有回复
sglang运行缺失aiter包,但aiter不支持gfx928,如何解决?
2026-05-23 23:54:07
119
docker拉取sglang“harbor.sourcefind.cn:5443/dcu/admin/base/sglang:0.5.10rc0-ubuntu22.04-dtk26.04-py3.10-20260410镜像后。 运行蚂蚁·安诊儿医疗大模型量化版(链接“https://www.modelscope.cn/models/MedAIBase/AntAngelMed-INT4”) python3 -m sglang.launch\_server --model-path ./MedAIBase/AntAngelMed-INT4 --host 0.0.0.0 --port 30012 --trust-remote-code --attention-backend fa3 --mem-fraction-static 0.9 --tp-size 1 显示缺少“No module named 'aiter'”,但是aiter不支持海光的卡 RuntimeError: Get GPU arch from rocminfo failed "Unknown GPU architecture: gfx928. Supported architectures: ['native', 'gfx90a', 'gfx908', 'gfx940', 'gfx941', 'gfx942', 'gfx945', 'gfx1100', 'gfx950']
deepseek
全部评论(3)
只看楼主
L
liumg
1楼
928是K100-AI,你可以用这个镜像:docker pull harbor.sourcefind.cn:5443/dcu/admin/base/custom:sglang-0.5.10rc0-ubuntu22.04-dtk26.04-py3.10-20260410-k100ai
5/25
李
李泽文
回复 @liumg
这个镜像需要加入,启动命令加上 --attention-backend fa3 --page-size 64 可成功部署
6/2
L
lmw
回复 @liumg
请问下Z100L的卡,用什么镜像呢??我目前要部署qwen3.6-27b的模型,同样用harbor.sourcefind.cn:5443/dcu/admin/base/sglang:0.5.10rc0-ubuntu22.04-dtk26.04-py3.10-20260410镜像启动服务报错,提示aiter包缺失
6/11
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据