使用英伟达A40、K100和BW1000单张卡部署Qwen3-0.6B模型，进行benchmark性能测试，设置单卡且1个并发 部署命令： ``` vllm serve /root/Qwen3-0.6B --served-model-name Qwen3-0.6B --trust-remote-code --tensor-parallel-size 1 --dtype float16 --max-model-len 13000 --gpu-memory-utilization 0.9 --enable-prefix-caching ``` 测试命令： ``` python benchmark_serving.py --dataset-name random --tokenizer ./Qwen3-0.6B --model Qwen3-0.6B --random-input-len 256 --random-output-len 512 --num-prompts 256 --ignore-eos --max_concurrency 1 ``` 测试结果如下： | **显卡类型(数量1)** | **prompt数量** | **TTFT(ms)** | **TPOT(ms)** | **latency(ms)** | | -------------------------- | -------------------- | ------------------ | ------------------ | --------------------- | | **K100\_AI（64GB）** | **256** | **34.07** | **20.96** | **20.96** | | **A40(46GB)** | **256** | **29.22** | **6.06** | **6.07** | | **BW 1000(64GB)** | **256** | **13.90** | **6.97** | **6.97** | 这个测试结果有点不尽人意啊，在信息介绍中K100的显存和带宽都要高于A40，但是PD阶段的指标都不理解，虽说VLLM与cuda完美适配，但也不至于差这么多吧，还是我的测试过程有问题，求解答