1
1
1
数学库
标题
2024-11-05 11:50:35
102

环境信息:

  1. 操作系统版本:kylin-sp2-x86-40G-20240407jiagu
  2. DCU: Z100L
  3. 驱动版本:rock-5.7.1-6.2.18-1.ky10.x86_64
  4. DTK版本:DTK24.04.1镜像+outlines 0.0.46版本的依赖
  5. AI环境包:使用DTK24.04.1中的torch、vllm环境包,另外卸载了老版本的flash_attn
    安装了这个flash_attn-2.0.4_abi1_torch2.1_dtk24.04.1-cp310-cp310-linux_x86_64.whl

使用vllm进行qwen-7b模型服务部署时报错,另一台服务器相同配置,可以正常运行

docker镜像
image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.
04-dtk24.04.1-py3.10

全部评论(1)
只看楼主
D
dcu_fae_zhangxp
1楼
这个问题是后边的dtk需要修改bios开启AtomicOp Requester Enable Advanced -> PCI Subsystem Settings -> PCI Express GEN * Settings -> AtomicOp Requester Enable 选择enabled
2024/11/5
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据