1
DeepSeek
Z100L*8部署DeepSeek70B咨询
2025-10-20 11:05:51
221
容器镜像:image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250724 容器创建:docker run -it --shm-size=500G --network host -v /mnt/:/home/ -v /opt/hyhal:/opt/hyhal:ro --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name ds {image} bash 启动:vllm serve /home/DeepSeek-R1-Distill-Llama-70B/ --tensor-parallel-size 8 --max-model-len 32768 --dtype float16 --served-model-name dpsk --gpu-memory-utilization 0.85 --enforce-eager --port 8000 提问:curl -H "Authorization: Bearer hyxino123" http://192.168.110.192:8000/v1/completions -H "Content-Type: application/json" -d '{ "model": "dpsk", "prompt": "甲乙两班共有学生98人,甲班比乙班多6人,求两班各有多少人?", "max_tokens": 2048, "temperature": 0 }' 回复如下:![attachmentId-image.png](/api-forum/file/Redirect?path=forum/acsh17nu6k/1760929454314/image.png) 回复乱码问题有相应的解决方法吗?急用!!!
vllm包单独下载
vllm下载
全部评论(3)
只看楼主
Z
zhufzh1
1楼
您好,目前使用的20250724的镜像精度存在一些问题。可以先使用image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250711这个镜像来进行推理。验证了下您给的例子,是可以正常推理的。后续可以关注使用我们更新的vllm092的镜像。
2025/10/20
J
Jerry
回复 @zhufzh1
截图打不开呀
2025/10/20
Z
zhufzh1
回复 @Jerry
私信发您了
2025/10/20
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据