您好。可以使用这个镜像试一下。docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-zk-v1
0
7
0
2
z100l部署qwen2.5推理生成混乱回答
2024-11-07 10:44:50
159
4卡z100l分别尝试7b、14b、32b
推理服务启动命令：python -m vllm.entrypoints.openai.api_server --model /qwenfile/Qwen2___5-1___5B-Instruct --served-model-name Qwen2.5-1.5B --max-model-len=1024
全部评论（1）
只看楼主
Z
2024/11/8
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据