## 使用vllmplayground 测试 稳定 36t/s 测试参数 ： ``config = {"total_requests": 50,"request_rate": 10,"prompt_tokens": 1000,"output_tokens": 1000}``  ## 系统信息 操作系统版本信息：uname -a Linux localhost.localdomain 4.19.90-89.34.v2401.ky10.x86_64 #1 SMP Fri May 8 09:25:49 UTC 2026 x86_64 x86_64 x86_64 GNU/Linux **驱动**：```rock-6.3.30-V1.4.1a.run``` docker 版本 docker -v Docker version 25.0.5, build 5dc9bcc 镜像名称： ```harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-qwen3.6-20260423``` ```harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413``` 两个都可以 模型下载： ```modelscope download --model cyankiwi/Qwen3.5-35B-A3B-AWQ-4bit --local_dir /data/ai-deploy/models/Qwen3.5-35b-awq-4``` ## 部署过程 ### 1. 容器启动命令： ```base docker run -dit --name vllm-bash \ --network=host \ --privileged \ -v /data/ai-deploy:/data/ai-deploy \ -v /opt/hyhal:/opt/hyhal \ --device=/dev/kfd \ --device=/dev/dri \ --ipc=host \ --shm-size 64g \ --group-add video \ --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined \ harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413 \ bash ``` 踩坑点 docker run 命令参数不对的话就导致vllm 无法启动 ### 2 进入容器内启动vllm推理 `docker exec -it vllm-bash bash` 启动vllm 命令 ```base env HIP_VISIBLE_DEVICES=0,1 vllm serve /data/ai-deploy/models/Qwen3.5-35b-awq-4/ \ --served-model-name qwen3.5-35b-awq-4 \ --tensor-parallel-size 2 \ --max-model-len 65536 \ --enable-prefix-caching \ --gpu-memory-utilization 0.85 \ --max-num-batched-tokens 8192 \ --max-num-seqs 64 \ --generation-config vllm \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --enable-auto-tool-choice \ --port 18000 \ --default-chat-template-kwargs '{"enable_thinking": false}' ``` 单卡和双卡区别就是 双卡```HIP_VISIBLE_DEVICES=0,1 ``` 和 ```--tensor-parallel-size 2``` 单卡```HIP_VISIBLE_DEVICES=0 ``` 不加 --tensor-parallel-size 参数 关闭思考可以提高速度和减少等待时间 ```--default-chat-template-kwargs '{"enable_thinking": false}'``` 部署成功可以通过 curl 命令验证或者 hy-smi 查看显卡状态 ```curl http://127.0.0.1:18001/v1/models``` 比如这样看到显卡内存占用VRAM% 大于0 就是 在运行了 hy-smi ================================= System Management Interface ================================== ================================================================================================ HCU Temp AvgPwr Perf PwrCap VRAM% HCU% Mode 0 46.0C 112.0W auto 400.0W 83% 0.0% Normal 1 49.0C 107.0W auto 400.0W 83% 0.0% Normal =============================================================================================================================================================================================================================== ======================================== End of SMI Log ======================================== ### 3 脚本化 docker 容器内启动vllm 后台运行可以写个sh脚本启动 然后通过 docker exec -d 启动 自动就放后台了 ```docker exec -d vllm-bash bash -lc 'cd /data/ai-deploy && nohup ./start_vllm.sh > vllm.log 2>&1 < /dev/null &' ``` ```base #!/usr/bin/env bash set -euo pipefail exec env HIP_VISIBLE_DEVICES=0,1 vllm serve /data/ai-deploy/models/Qwen3.5-35b-awq-4/ --served-model-name qwen3.5-35b-awq-4 --tensor-parallel-size 2 --max-model-len 65536 --enable-prefix-caching --gpu-memory-utilization 0.85 --max-num-batched-tokens 8192 --max-num-seqs 64 --generation-config vllm --reasoning-parser qwen3 --tool-call-parser qwen3_coder --enable-auto-tool-choice --port 18000 --default-chat-template-kwargs '{"enable_thinking": false}' ```