0
3
0
0
K100_AI实际显存带宽、芯片算力到底是多少
2025-06-26 16:28:38
228
已知：
女大 3090 显存带宽 *936GB，
海光 K100_AI 显存带宽 *896GB
同等上下文：8000 Tokens 输入
FP16算力：192 TFLOPS**
实际运行时：
两张卡，都初始化后，相同模型、首轮执行、First Token输出：
3090 耗时：30s
K100_AI耗时：320s
:yiwen::yiwen::yiwen::yiwen::yiwen::yiwen:
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据
最近一次测试结果，如下：
```json
{
"model": "qwen2.5:32b",
"created_at": "2025-06-26T10:57:07.852627361Z",
"message": {
"role": "assistant",
"content": ""
},
"done_reason": "stop",
"done": true,
"total_duration": 403245188370,
"load_duration": 59457076,
"prompt_eval_count": 2048,
"prompt_eval_duration": 281971000000,
"eval_count": 305,
"eval_duration": 120591000000
}
```