4台服务器 每台4卡 部署Qwen3.5-397B-wa8a-int8，网卡是Qlogic qedr的25G的，服务器麒麟V10 sp3，现在通过nccl 跑不起来，NCCL_IB_DISABLE=0 跑不起来，NCCL_IB_DISABLE=1才行。根据这个文档部署的。 目前使用海光K100AI部署Qwen3.5遇到一些问题。 1、部署到4台服务器即tp=4,pp=4，启动Qwen3.5-397-int-wa8a,只成功启动过一次，请求接口服务就崩了。 2、部署到2台服务器即tp=4,pp=2,能启动成功，但是速率只有 13 tokens/s，此时 hcu占用并不高。 3、在一台服务器上启动Qwen3.5-27B(fp16),能启动成功但是速率只有17 tokens/s，此时1~2个hcu占用100%，其他hcu占用不高。 4、不管是27B还是397B 思考过程在并不正常，中英文混杂。 5、网络是25G交换机和25G网卡 6、目前设置NCCL_IB_DISABLE=0,并行是不成功的。但是为单服务器4卡K100AI 不是Qwen3.5-27B(Fp16),也只有17 tokens/s. 服务器麒麟V10 sp3。vllm ray 均为docker,镜像： `docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10` 参考文档： https://download.sourcefind.cn:65024/6/main/dtk-26.04%E9%A9%B1%E5%8A%A8 https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/vllm/qwen3.5.md#qwen35-397b-a17b-w8a8-int8-ifb-k100_ai-8x-vllm-018 [https://github.com/HYGON-AI/dcu-inference-cookbook/blob/main/docs/model-deployment/vllm/qwen3.5.md](https://github.com/HYGON-AI/dcu-inference-cookbook/blob/main/docs/model-deployment/vllm/qwen3.5.md) https://developer.sourcefind.cn/modelzoo/list/qwen3.5_vllm/detail?post_id=46176b42-0c0b-11f1-a49f-0242ac150003