光合开发者社区-论坛

其他

k100_AI VLLM流式输出部署方案

2025-07-30 12:14:37

134

操作系统版本：kylinv10 sp3
容器版本：Docker version 24.0.9, build 2936816
DTK版本：dtk25.04.1
驱动版本：rock-5.7.1-6.2.26-1.ky10.x86_64
DCU类型：例K00AI
异常描述：（查阅网上的资料，提示环境无法满足）
详细问题描述：咱们有k100_AI VLLM流式输出部署方案吗？是否有完整版本的安装文档？

docker run -dit \ --restart always \ --workdir=/workspace \ --name=qwen3-14b \ -v /opt/hyhal:/opt/hyhal:ro \ -v /mnt/data1/Qwen:/workspace/Qwen \ --ipc=host \ -p 30095:8000 \ --device=/dev/mkfd \ --device=/dev/dri \ --shm-size=512G \ --privileged \ --group-add video \ --cap-add=SYS_PTRACE \ -u root \ --security-opt seccomp=unconfined \ docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250429-dev-qwen3-only \ vllm serve Qwen/Qwen3-14B \ --enforce-eager \ --host 0.0.0.0 \ --port 8000 \ --enable-auto-tool-choice \ --tool-call-parser hermes \ --enable-chunked-prefill \ --enable-prefix-caching \ --trust-remote-code \ --api-key token-xxx \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.9 \ --served-model-name qwen3-14b