1
1
性能优化
求一个提升推理速度的方法
2025-03-19 15:07:16
336

操作系统版本：Ubuntu 22.04.5
DTK版本：dtk-25.04
驱动版本：/
DCU类型：K100_ai *2卡
模型:qwq_32b
vllm:pytorch2.4.1-ubuntu22.04-dtk25.04-rc4-vllm0.6.6-py3.10.tar.gz
推理问题token数：809
推理耗时 107.69168257713318
下面是推理时的资源占用情况

attachmentId-image.png

全部评论（7）
只看楼主
R
renzhc
2楼
把启动方式，输入输出长度的信息都贴一下吧
2025/3/19
网
网友DVHXch
回复 @renzhc

输入tokens:802

输出tokens：2878(含推理部分:1056)

平均推理时长大概120秒

使用指令：vllm serve ./model/QwQ_32B --tensor-parallel-size 2 --trust-remote-code --max-model-len 32768 --enforce-eager --host localhost --port 8000
2025/3/19
R
renzhc
回复 @renzhc

意思是生成1056个token用时120秒吗？这样的话有点慢。

1. 可以试试用最新的稳定版镜像https://sourcefind.cn/#/image/dcu/pytorch

2. 去掉--enforece-eager选项试试看

3. 添加下面几个环境变量

export HSA_FORCE_FINE_GRAIN_PCIE=1

export NCCL_MAX_NCHANNELS=16

export NCCL_MIN_NCHANNELS=16

export NCCL_P2P_LEVEL=SYS

export NCCL_LAUNCH_MODE=GROUP

export ALLREDUCE_STREAM_WITH_COMPUTE=1
2025/3/19
网
网友DVHXch
回复 @renzhc
OK我去试一下
2025/3/19
全部4条回复
T
tianlh
1楼
当前推理速度是多少？预期提升到多少呢？
2025/3/19
网
网友DVHXch
回复 @tianlh

输入tokens:802

输出tokens：2878(含推理部分:1056)

平均推理时长大概120秒

一分钟以内
2025/3/19
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据