1
1
DeepSeek
Vllm部署DeepSeek-V3报错
2025-07-15 19:22:33
181

参考K100-AI基于VLLM推理框架的DeepSeek部署链接中的方法使用Vllm多机多卡部署DeeSeek-V3,运行时加载完模型后报错如下:

运行指令为:
vllm serve /home/deepseek/model/deepseek_v3
--served-model-name DeepSeek-V3
--host 0.0.0.0
--port 8000
--tensor-parallel-size 8
--pipeline-parallel-size 4
--distributed-executor-backend ray
--dtype float16
--trust-remote-code
--gpu-memory-utilization 0.8

attachmentId-image.png

 

全部评论(6)
只看楼主
C
changhl
3楼

是的,需要bf16的模型,目前dcu上不支持fp8模型直接推理。

模型转换可以参考这两个适配项目的readme:

https://sourcefind.cn/#/model-zoo/1885898926080524290

https://sourcefind.cn/#/model-zoo/1885958664579317762

2025/7/16
网
网友lw8uNw
回复 @changhl
请问这个仓库里的代码是针对DCU做了适配吗,因为我用官方github中的fp8_cast_bf16.py进行转换还是会报同样的错误。
2025/7/16
C
changhl
回复 @changhl

经核对:和github官方代码一致,只是少了一些注释。

方案2:如果自行转换存在问题,可以直接拉取modelscope或者huggingface社区上开源的转换后的模型。
2025/7/16
网
网友lw8uNw
回复 @changhl
好的,谢谢,我直接下载bf版本的模型吧
2025/7/16
网
网友lw8uNw
楼主
2楼
是因为K100-AI不支持官方fp8版本的模型吗,要使用bf16的模型?
2025/7/15
网
网友lw8uNw
楼主
1楼
是因为K100-AI不支持官方fp8版本的模型吗,要使用bf16的模型?
2025/7/15
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据