目前使用的镜像是image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2,启动命令为:
```SQL
vllm serve /data/qwen3-32b --served-model-name qwen3-32b --max-model-len 32768 -tp 2 --gpu-memory-utilization 0.9 --dtype=float16
```
使用两张k100_ai卡部署,请求后,vllm日志显示15.7tokens/s,请问这个正常吗,还是有能优化的空间呢
