1
3
1
DeepSeek
标题
2025-06-12 15:08:24
71

启动vllm时报

attachmentId-image.png

命令是python -m vllm.entrypoints.openai.api_server --model /deepseek-ai --dtype auto --trust-remote-code --gpu-memory-utilization 0.92 --tensor-parallel-size 4 --max-num-seqs 32 --max-model-len 20000 --port 8000 --enforce-eage请问下怎么解决

全部评论(2)
只看楼主
Z
zc
1楼
请问是什么卡?用的vllm、DTK版本是多少?
2025/6/12
网
网友k0RZ5I
回复 @zc
命令的问题,已经解决了,感谢!
2025/6/13
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据