#!/bin/bash -x
export HIP_VISIBLE_DEVICES=4
#export VLLM_LOGGING_LEVEL=DEBUG


export VLLM_SPEC_DECODE_EAGER=1
export VLLM_MLA_DISABLE=0
export VLLM_USE_FLASH_MLA=1
export VLLM_RPC_TIMEOUT=1800000


export VLLM_NUMA_BIND=1
export VLLM_RANK0_NUMA=0
export VLLM_RANK1_NUMA=1
export VLLM_RANK2_NUMA=2
export VLLM_RANK3_NUMA=3
export VLLM_RANK4_NUMA=4
export VLLM_RANK5_NUMA=5
export VLLM_RANK6_NUMA=6
export VLLM_RANK7_NUMA=7

vllm serve /root/models/Qwen3.5-27B-GGUF/Qwen3.5-27B-Q8_0.gguf \
  --tokenizer /root/models/Qwen3.5-27B \
  --served-model-name Qwen3.5-27B-gguf \
  --quantization gguf \
  --max-model-len 8192 \
  --reasoning-parser qwen3 \
  --no-enable-prefix-caching \
  --gpu-memory-utilization 0.9 \
  --port 9102

Qwen3.5-27B-Q8_0.gguf 用image.sourcefind.cn:5000/dcu/admin/base/custom:pytorch2.9.1-ubuntu22.04-dtk26.04-0130-py3.10-20260204-qwen3_5 这个镜像部署报错

加日志定位

其一是gguf包里没top_level.txt文件，会有以下报错：

原因应该是找不到

/usr/local/lib/python3.10/dist-packages/gguf-0.17.1.dist-info/top_level.txt文件

手动增加这个文件后，top_level.txt文件内容为gguf。然后报下面的错：

看着感觉确实还没支持