可以通过设置HIP_VISIBLE_DEVICES来指定使用不同的加速卡。例如 服务A：export HIP_VISIBLE_DEVICES=0,1,2,3 服务B：export HIP_VISIBLE_DEVICES=4,5,6,7 这样A服务用前4张卡，B服务使用后四张
6
6
1
2
一台8卡k100ai可以拆分显卡部署不同的模型吗
2026-07-08 18:51:23
125
现在发现一台8卡k100ai跑qwen3.6太浪费能拆分几张显卡部署其他模型吗
Qwen3
vllm,llama,任意模型
全部评论（2）
只看楼主
H
7/21
网
可以的，可以参考部署指导 https://github.com/HYGON-AI/dcu-inference-cookbook/blob/main/docs/model-deployment/vllm/qwen3.6.md
7/20
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据