K100可以用ollama跑一些小模型的推理
0
3
0
0
k100 vllm支持的最高版本是哪个?
2026-03-17 12:25:50
138
想用vllm部署qwen3，镜像版本是vllm:0.9.2-ubuntu22.04-dtk26.04-0130-py3.10但是flash-attn不可以用
是不是k100这种23年的卡跑大模型推理直接就报废了啊
全部评论（2）
只看楼主
L
3/17
L
目前K100的可以跑一下dense的模型，像moe的模型由于架构问题，目前不支持
3/17
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据