同问，慢怎么解决
0
1
0
0
Qwen3.8-27B更新对K100-AI的支持
2026-08-27 10:49:58
420
[光合开发者社区](https://developer.sourcefind.cn/modelzoo) 速来体验
全部评论（3）
只看楼主
Y
8/27
P
2 卡，10 token /s ，这个怎么解决
CUDA_VISIBLE_DEVICES=0,1 vllm serve /models/Qwen/Qwen3.8-27B \
--host 0.0.0.0 \
--port 8801 \
--dtype float16 \
--tensor-parallel-size 2 \
--max-model-len 33792 \
--max-num-seqs 16 \
--gpu-memory-utilization 0.95 \
--block-size 64
8/27
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据