参考K100-AI基于VLLM推理框架的DeepSeek部署链接中的方法使用Vllm多机多卡部署DeeSeek-V3,运行时加载完模型后报错如下:
运行指令为:
vllm serve /home/deepseek/model/deepseek_v3
--served-model-name DeepSeek-V3
--host 0.0.0.0
--port 8000
--tensor-parallel-size 8
--pipeline-parallel-size 4
--distributed-executor-backend ray
--dtype float16
--trust-remote-code
--gpu-memory-utilization 0.8


暂无数据
是的,需要bf16的模型,目前dcu上不支持fp8模型直接推理。
模型转换可以参考这两个适配项目的readme:
https://sourcefind.cn/#/model-zoo/1885898926080524290
https://sourcefind.cn/#/model-zoo/1885958664579317762