2
2
运行时
提问帖
有回复
新人贴
Ollama 在 DCU K100 上的多卡调度策略
2025-12-23 15:24:48
233
环境信息: 硬件:8卡 DCU K100_AI (gfx928) 软件:Ollama (基于 llama.cpp),ROCm/DTK 24.04/25.04 模型:deepseek-r1:32b (约 20GB 显存) 启动参数:ROCR_VISIBLE_DEVICES=0,1...7 现象: 运行 32b 模型时,发现只有 GPU 0 有负载(显存占用约 20GB,功耗较高),其余 7 张卡处于空闲状态。 问题: 默认行为确认:当单张 K100 (32GB) 显存足以装下模型时,Ollama/llama.cpp 是否默认不进行 Tensor Parallelism (TP) 切分,而是优先单卡运行以保证性能? 强制多卡:如果我希望利用多卡算力加速推理(TP模式),是否有环境变量(如 LLAMA_SPLIT_MODE 或 OLLAMA_NUM_GPU)可以强制将模型切分到 8 张卡上运行? 高并发部署:如果我想利用 8 张卡提升并发能力(每张卡加载一个模型副本),Ollama 是否支持自动分配?还是需要我手动启动 8 个 Ollama 实例绑定不同的卡?
全部评论(1)
只看楼主
X
xingh
1楼
是的,这种现象是正常的。在 Ollama 框架中,如果模型能够完整加载到单张 GPU 显存中,推理将默认只在该 GPU 上运行,而不会自动拆分到多张 GPU 上进行计算。此外,Ollama 官方目前不支持手动配置多 GPU 并行推理(如 Tensor Parallel 或 Pipeline Parallel)。只有在单卡显存不足以容纳模型时,底层引擎才可能被动地将模型权重分布到多张 GPU 上,但这种方式仅用于显存/存储扩展,并不属于算力并行,通常也不会带来推理性能提升。
1/20
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据