docker使用了光合社区上的vllm镜像、下载了modelscope上的模型后，一般要指定一些export 的环境变量/调优参数，然后用vllm serve起服务。

之前是东拼西凑引了一些环境变量，然后大概调到能跑的程度，测了一下vllm bench serve发现有些模型效率较低，或者一些新的量化方式使用报错等等。

看了下社区资源的教程有些是关于deepseek的部署，但似乎没找到通用的官方说明，即：【对于modelscope上的任意一个模型/量化版本，对于某一款设备（比如K100AI），需要指定哪些环境变量/调优参数/vllm参数能够在这个设备上做到性能最优，环境变量/调优参数的全集和使用说明是什么，怎么确定社区的哪个vllm镜像版本能够支持部署推理】，除了看modelscope上模型本身的介绍以外，有推荐的文档吗？有的话可以避免大家做一些盲目的尝试。

当前感知到的有（有些参数网上没搜到，似乎不是vllm通用的参数）：

export HIP_VISIBLE_DEVICES=0

export VLLM_NUMA_BIND=1
export VLLM_RANK0_NUMA=0
export VLLM_RANK1_NUMA=1
export VLLM_RANK2_NUMA=2
export VLLM_RANK3_NUMA=3
export VLLM_RANK4_NUMA=4
export VLLM_RANK5_NUMA=5
export VLLM_RANK6_NUMA=6
export VLLM_RANK7_NUMA=7
#VLLM_USE_V1=0

export NCCL_MIN_NCHANNELS=16
export NCCL_MAX_NCHANNELS=16
export NCCL_MIN_P2P_NCHANNELS=4
export NCCL_MAX_P2P_NCHANNELS=4
export NCCL_NCHANNELS_PER_PEER=4
export NCCL_RINGS="0 1 3 2 4 6 5 7"
export NCCL_P2P_NVL_CHUNKSIZE=131072

export HSA_FORCE_FINE_GRAIN_PCIE=1 #K100AI需要
export NCCL_P2P_LEVEL=SYS
export NCCL_LAUNCH_MODE=GROUP
export ALLREDUCE_STREAM_WITH_COMPUTE=1
#export W4A16_MOE_CUDA=1
#export VLLM_FUSED_MOE_CHUNK_SIZE=8192
export LMSLIM_USE_LIGHTOP=0
export VLLM_RPC_TIMEOUT=1800000
export VLLM_WORKER_MULTIPROC_METHOD=spawn
export VLLM_ZERO_OVERHEAD=1 # zero

export HIP_USE_GRAPH_QUEUE_POOL=1
export VLLM_USE_GLOBAL_CACHE13=1
export VLLM_USE_TRITON_AWQ=1 
export VLLM_USE_NN=0
export TRITON_MOVE_LOAD_TOFRONT_DOT=0

vllm serve /xxx模型 \
  --trust-remote-code \
  --served-model-name xxx \
  --max-model-len 4096 \
  --tensor-parallel-size 1 \
  --gpu-memory-utilization 0.92 \
  --max-num-seqs 64 \
  --block-size 64 \
  --no-enable-chunked-prefill \
  --max-num-batched-tokens 4096 \
  --no-enable-prefix-caching \
  --port xxxx