0
6
0
0
DeepSeek
单卡Token测试仅有10,双卡第二张卡未调用。
2025-03-10 11:31:00
117
操作
运行7b，单卡测试12tokens/s，双卡
设备：K100_AI *2
Qwen3
全部评论（4）
只看楼主
网
网
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友xN56tH
只看此人
2楼
DeepSeek-R1-Distill-xxxx模型建议使用vllm进行部署测试，性能好一些。根据测试的卡型可选择参考：https://forum.sourcefind.cn/thread/855或者https://forum.sourcefind.cn/thread/822
2025/3/10
赞
回复
@圈友
暂无数据
尚未选择
发送
网
网
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友r3wmjX
回复
@网友xN56tH
用的ollama，跑的deeepseek-r1 7b，14b,32b只有3点几tokens/s
2025/3/10
赞
回复
@圈友
暂无数据
尚未选择
发送
Y
Y
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
yangzhong
回复
@网友xN56tH
https://forum.sourcefind.cn/thread/816
建议参照这个教程更新一下ollama源码，重新编译后再启动服务，最近对ollama进行了更新优化
2025/3/12
赞
回复
@圈友
暂无数据
尚未选择
发送
网
网
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友xN56tH
只看此人
1楼
跑的是什么模型？
2025/3/10
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据
暂无数据 暂无数据 暂无数据 暂无数据
跑的是什么模型？