最终解决了吗?
DeepSeek-distill-qwen-32B在K100-AI的性能, 4卡部署, 我测试只有100并发,vllm推理,100并发,每个任务平均输出只有6个tokens, 首tokens时间3秒左右, 这是我的推理参数:python -m vllm.entrypoints.openai.api_server --model /models/DeepSeek-R1-Distill-Qwen-14B --served-model-name DeepSeek-R1-Distill-Qwen-32B --dtype float16 --max-model-len 32768 --enforce-eager --trust-remote-code --tensor-parallel-size 4 --port 8561, 容器为:image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6, rock版本: rock-5.7.1-6.2.18-1.x86_64, dtk版本为:24.04.3 , 请问如何提升性能呢, 目标位:4卡32b 100并发,每个任务平均输出10个tokens,首tokens耗时小于1秒

暂无数据