7
DeepSeek
4卡z100l部署deepseek-r1:70b怎么提升速度?
2025-04-01 09:15:47
154

4卡z100l部署deepseek-r1:70b，速度6.5 tokens/s，怎么才能提升速度？已经export ROCR_VISIBLE_DEVICES=0,1,2,3了

全部评论（11）
只看楼主
AuroraUSTC
3楼
ollama感觉就是差不多这个速度，而且多请求的并发也不怎么好用。可以试下用vllm来部署看看速度正不正常
2025/4/7
网
网友pZKDfT
回复 @AuroraUSTC
ollama和vllm有什么区别呢
2025/4/7
AuroraUSTC
回复 @AuroraUSTC
我的直观感受就是vllm会比ollama快不少，而且好几个人同时和模型对话的时候，延迟、卡顿会低得多，要是模型非常大，vllm还可以用多节点部署。可以参考一下这个帖子：https://forum.sourcefind.cn/thread/855（Z100L可能需要用评论区的定制docker镜像）
2025/4/7
网
网友pZKDfT
回复 @AuroraUSTC
评论区我没有看到有z100l的定制镜像呢？
2025/4/7
全部6条回复
网
网友ee3aAl
2楼
请教一下，如何计算tokens/s
2025/4/5
网
网友pZKDfT
回复 @网友ee3aAl
ollama run --verbose 模型名（加上verbose选项即可）
2025/4/6
网
网友LbkaNA
1楼
比好 请教下 你用什么系统 部署的 我一直没成功
2025/4/1
网
网友pZKDfT
回复 @网友LbkaNA
使用官方镜像就可以，你是什么卡？
2025/4/6
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据