1
1
0
0
模型讨论区
z100l 部署deepseek-r1-distill-llama-70b报错
2025-02-18 17:57:21
417
操作
vllm0.5版本：
vllm0.6版本：
全部评论（9）
只看楼主
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
AuroraUSTC
只看此人
1楼
+1，K100（非K100-AI）碰到同样的问题。
2025/2/18
赞
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
cqh121
回复
@AuroraUSTC
这个是vllm0.5.0的原因，z100l上更新到0.5.4～0.6应该就可以了。他们官方只提供了vllm0.5.0的版本。我在启动vllm时添加了参数--rope-scaling='{"type": "dymanic", "factor": 8.0}'，可以启动。
2025/2/18
赞
1
回复
@圈友
暂无数据
尚未选择
发送
网
网
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友VOT4dR
回复
@AuroraUSTC
我在Z100卡上，加上这个参数，仍然会出现如图vllm0.6版本：版本的问题。
2025/2/19
赞
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
cqh121
回复
@AuroraUSTC
用0.5版本，0.6版本的vllm在z100系列上好像不大行
2025/2/19
赞
1
回复
@圈友
暂无数据
尚未选择
发送
全部8条回复
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据
暂无数据 暂无数据 暂无数据 暂无数据