- 模型是平头哥出品，优化的相当不错。 - 视觉能力，远超 qwen3.6-27b 这种重推理轻视觉模型。 - 用INT8量化模型，是因为K100-AI硬件不支持其他量化格式+老板抠门的一匹只给一张卡。 - 单卡运行超长上下文可行， 8K以下的context大约在 30~50 token/s ， 超长上下文>=16 token/s， 生产上跑后台任务可用。（哪位大神还能优化速度，请不吝赐教） ### 先看效果：  ### 部署方式 > 我把模型用modelscope download下载到了/data/AI/tensors下，所以我的部署命令参考： ```bash docker run -it \ --network=host \ --ipc=host \ --shm-size=16G \ --device=/dev/kfd \ --device=/dev/mkfd \ --device=/dev/dri \ -v /opt/hyhal:/opt/hyhal \ -v /data/AI:/data/AI \ --group-add video \ --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined \ harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10 \ /bin/bash cd /data/AI/tensors export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0 export VLLM_HCU_USE_CUSTOM_OPS=0 export HIP_VISIBLE_DEVICES=3 vllm serve ./Qwen3-VL-30B-A3B-Instruct-W8A8-INT8 --port 18001 -tp 1 --max-model-len 165000 --trust-remote-code ``` ### 注意事项： 这俩参数至关重要，一定不要忘记，否则部署成功之后，输出全是 ！！！！！！！！！ （海光的生态还是差了点，这种加速的不得不关闭，希望官方努力优化） export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0 export VLLM_HCU_USE_CUSTOM_OPS=0