6
Qwen
新人贴
K100_AI VLLM 流式部署 DeepSeek-R1-Distill-Qwen-32B
2026-01-15 09:49:56
184
现状:成功通过开发者社区教程部署DeepSeek-R1-Distill-Qwen-32B模型 ![1768441166555.png](/api-forum/file/Redirect?path=forum/gin/1768441197736/1768441166555.png '1768441166555.png') 问题: 1. 如何部署流式输出 2. http://localhost:8000/v1/completions 报文格式能否调整 环境: + 操作系统:kylinV10SP3 + 显卡:K100_AI * 2 + 镜像:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-py3.10 + 模型:DeepSeek-R1-Distill-Qwen-32B + 推理部署:vllm serve DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager
全部评论(2)
只看楼主
C
changhl
1楼
1.curl 验证流式输出,在上图的-d指定的 json body 中加上"stream": true 即可。
2.vllm后端+前端框架,调用的是该接口:/v1/chat/completions

1/15
王
王晶
回复 @changhl
感谢回复。
1/22
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据