1
1
DeepSeek
DeepSeek-distill-qwen-32B在K100-AI的性能提升
2025-06-03 21:41:36
155

DeepSeek-distill-qwen-32B在K100-AI的性能, 4卡部署, 我测试只有100并发,vllm推理,100并发,每个任务平均输出只有6个tokens, 首tokens时间3秒左右, 这是我的推理参数:python -m vllm.entrypoints.openai.api_server --model /models/DeepSeek-R1-Distill-Qwen-14B --served-model-name DeepSeek-R1-Distill-Qwen-32B --dtype float16 --max-model-len 32768 --enforce-eager --trust-remote-code --tensor-parallel-size 4 --port 8561, 容器为:image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6, rock版本: rock-5.7.1-6.2.18-1.x86_64, dtk版本为:24.04.3 , 请问如何提升性能呢, 目标位:4卡32b 100并发,每个任务平均输出10个tokens,首tokens耗时小于1秒

全部评论(3)
只看楼主
网
网友fpDYjJ
2楼
最终解决了吗?
2025/7/21
Z
zhufzh1
1楼
您好,可以试试用这个镜像有没有性能提升 docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.7.2-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250510-fixpy 主要是升级了dtk的版本及对vllm做了优化
2025/6/5
网
网友iPzjBx
回复 @zhufzh1
对于推理参数有什么建议吗, 比如 --dtype float16 还是 --dtype bfloat16, 我的推理参数针对性能还有什么提升的地方, 还有其它要增加的参数吗
2025/6/6
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据