2
模型应用
Z100L推理Deepseek-OCR报错
2025-10-28 20:25:18
131
使用的镜像:image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250705 使用vllm推理时,运行命令python run_dpsk_ocr_image.py会报错,error: unsupported target: 'gfx906' 使用transformers推理也会报错,ImportError: cannot import name 'LlamaFlashAttention2' from 'transformers.models.llama.modeling_llama'
全部评论(1)
只看楼主
Z
zc
1楼
目前Z100L上使用vllm仅能支持dense模型,并且torch在Z100L上dynamo的特性支持的不完全,所以图优化的都不能支持
2025/10/29
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据