2
DeepSeek
k100-AI 部署DeepSeek-R1-Distill-Qwen-32B,很久才会响应回来,怎么优化?
2025-07-21 18:56:31
215

试过把8卡部署一个实例,也试过4卡2实例,2卡4实例,响应都很慢,同并发下反而2卡4实例效率更高?
与之前用的910B差太远了。有没有好的优化方案呢?
启动的脚本:

services:
  deepseek_32b_1:
  # image.sourcefind.cn:5000/dcu/admin/base/custom           vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250429-dev-qwen3-only 
    image: 6e12a1c4ae4d
    container_name: deepseek_32b_1
    network_mode: bridge
    command: >
      vllm serve /llm/DeepSeek-R1-Distill-Qwen-32B/ --served_model_name DeepSeek-R1-Distill-Qwen-32B  --tensor-parallel-size 8 --max-model-len 32768  --enforce-eager
    ports:
      - "8468:8000"
    privileged: true
    restart: always
    devices:
      - /dev/kfd:/dev/kfd
      - /dev/dri:/dev/dri
    ipc: host
    user: root
    shm_size: 64G
    group_add:
      - video
    security_opt:
      - seccomp:unconfined
    volumes:
      - /opt/hyhal:/opt/hyhal:ro
      - /mnt/llm:/llm
    environment:
      - HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
全部评论(5)
只看楼主
网
网友56s8vc
3楼
启动命令去掉:--enforce-eager 参数,不然多卡生成速度和单卡没太大区别
2025/8/13
一天一顿泡面
2楼
BIOS里的IOMMU有没有关闭
2025/7/31
W
wangwei
1楼
换最新的vllm085镜像再试试呢:docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250711
2025/7/22
网
网友RbTX60
回复 @wangwei
一样的慢
2025/7/24
网
网友FaQ81U
回复 @wangwei
:yun:emoji:wozuimei:emoji:wozuimei:emoji:hexie:emoji:hanxiao:emoji:zhemo:emoji:jingxi:emoji:hanxiao:emoji:hanxiao:emoji
2025/7/25
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据