7
Qwen
提问帖
有回复
关于K100 AI使用8卡和4卡推理Qwen3.6-35B-A3B的速度区别为什么这么大？是与2个CPU NUMA的亲和性有关吗？
2026-05-08 00:29:52
441
问题描述：K100 AI 8卡服务器询问AI得到的配置介绍是：8张卡、2颗CPU，每4卡由1个CPU控制，那么是不是意味4块卡两组之间会存在通信延迟问题？ 做了一下测试推理Qwen3.6-35B-A3B，发现4张卡推理能有40-50 token/s，但是如果同样参数扩大到8张卡反而慢了许多，肯请哪位大神或者官方技术来讲解一下是不是因为2个CPU 各自控制不同4张卡这个结构引起的慢呢？🙏🙏🙏
全部评论（9）
只看楼主
A
Allan
3楼
按算力来说   A3B怎么也得200 token往上走，怎么才四五十，比400块的p100都差劲

6/8
L
liumg
回复 @Allan
单并发200tokens，估计得H200来了，需要显存带宽非常高、卡间通信非常好
6/8
H
huangyy
2楼
老师，请问下你是用什么 镜像和模型文件跑的？

5/11
一天一顿泡面
1楼
小模型TP太大会引入大量通信调度开销，这种小模型跑4卡足够了
5/8
K
kaiwong_mnt0vxc6icgq
回复 @一天一顿泡面
如果想单个服务能容纳更多并发的话，合理的方案是怎样的？请指点一下，🙏
5/8
一天一顿泡面
回复 @kaiwong_mnt0vxc6icgq
2卡或4卡跑一个服务，一台服务器跑4或2个服务，然后接入到nginx里做个反向代理，对外访问nginx的接口
5/9
K
kaiwong_mnt0vxc6icgq
回复 @一天一顿泡面
这个方案是可以用的，其实主要目的是想弄明白两组之间通信是不是真的有延时，我把 爱马仕或者龙虾装进 K100 AI 8卡服务器 里面，agent 报出来说是两组之间有较大延时，我就想确认AI agent 说的是不是真的。
5/27
全部5条回复
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据