1
2
2
AI人工智能
lmdeploy 0.2.6 修改 session_len超过8192 报runtime error
2024-06-04 10:39:16
115

1、Z100L
2、使用lmedeploy1.0-dtk23.10-torch1.13-py38 基础镜像+lmdeploy-dtk23.10-v0.2.6本地编译安装
3、修改 session_len超过8192 报runtime error

全部评论(3)
只看楼主
姚
姚传良
2楼
工时完成需要多少
1/7
网
网友BKSDio
1楼
输入+输出长度不能超过模型规定的上下文长度(8192)
2024/6/5
网
网友ijiqk2
回复 @网友BKSDio
模型限制是32k,这个说的是lmdeploy貌似只适配到8k,超过就报错了
2024/6/5
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据