月之暗面（Moonshot AI）于2026年6月12日正式发布并开源了 Kimi K2.7 Code，这是一款以代码能力为核心的智能体模型。相比前代 K2.6，K2.7 Code 在多项基准测试中实现双位数提升，同时推理 token 使用量减少约 30%，直接降低了生产环境的推理成本。 ## 模型架构速览 Kimi K2.7 Code 基于 K2.6 构建，采用混合专家（MoE）架构，核心参数如下： | 参数项 | 数值 | | ----------------- | ------------------------ | | 架构类型 | Mixture-of-Experts (MoE) | | 总参数量 | 1T（万亿） | | 激活参数量 | 32B | | 层数 | 61层（含1个Dense层） | | 注意力维度 | 7168 | | 专家数量 | 384 | | 每token选择专家数 | 8 | | 共享专家数 | 1 | | 词表大小 | 160K | | 上下文长度 | 256K | | 注意力机制 | MLA | | 激活函数 | SwiGLU | | 视觉编码器 | MoonViT（400M参数） | 这种设计使得模型在保持万亿参数容量的同时，仅激活 32B 参数完成推理，在性能和效率之间实现了良好平衡。 ## 性能提升数据 K2.7 Code 相比 K2.6 的提升主要体现在以下几个方面： * **Kimi Code Bench v2**：从 50.9 提升至 62.0，提升幅度 **+21.8%** * **Program Bench**：提升 **+11%** * **MLS Bench Lite**（多语言代码）：提升 **+31.5%** * **推理 token 使用量**：减少约 **30%**，直接降低推理成本 在真实场景测试中，K2.7 Code 在长周期编码任务上表现尤为突出，能够更高效地完成复杂软件工程工作流中的端到端任务。 ## 支持的海光DCU型号与权重 | 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数 | | -------------- | -------- | -------- | ------------- | -------- | | Kimi-K2.7-Code | 1T | INT4 | BW1000 | 16 | | Kimi-K2.7-Code | 1T | INT4 | BW1100 | 8 | **注意事项**：FP8 模型仅在 BW1100/BW1101 上支持，其他型号请勿使用。模型权重可从 Hugging Face 下载：https://huggingface.co/moonshotai/Kimi-K2.7-Code ## 环境准备 ### 软件依赖 | 软件 | 版本 | | ------------ | -------------------------------- | | DTK | 26.04 | | Python | 3.10.12 | | Transformers | 4.57.6 | | vLLM | 0.15.1+das.opt1.alpha.dtk2604 | | SGLang | 0.5.10rc0+das.opt2.alpha.dtk2604 | ### 推荐Docker镜像 **vLLM推理镜像：** harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.15.1-ubuntu22.04-dtk26.04-0130-py3.10-20260220 **SGLang推理镜像：** harbor.sourcefind.cn:5443/dcu/admin/base/custom:sglang0.5.10rc0-ubuntu22.04-dtk26.04-py3.10-20260428 ### 容器启动命令 ``` docker run -it \ --shm-size 200g \ --network=host \ --name Kimi-K2.7-Code \ --privileged \ --device=/dev/kfd \ --device=/dev/dri \ --device=/dev/mkfd \ --group-add video \ --cap-add=SYS\_PTRACE \ --security-opt seccomp=unconfined \ -u root \ -v /opt/hyhal/:/opt/hyhal/:ro \ -v /path/your\_code\_data/:/path/your\_code\_data/ \ harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.15.1-ubuntu22.04-dtk26.04-0130-py3.10-20260220 bash ``` **参数说明：** * `--shm-size 200g`：设置共享内存大小，MoE 模型需要较大共享内存用于专家通信 * `--device=/dev/kfd`、`--device=/dev/dri`、`--device=/dev/mkfd`：挂载海光 DCU 设备节点 * `--group-add video`：添加 video 组权限，访问 GPU 设备 * `-v /opt/hyhal/:/opt/hyhal/:ro`：挂载海光 HAL 库（只读） 更多镜像可前往光源下载使用。 安装额外依赖： pip install pycountry ## 部署方式一：vLLM 推理 ### 单机推理 **启动 vLLM Server：** ``` vllm serve moonshotai/Kimi-K2.7-Code \ -tp 8 \ --gpu-memory-utilization 0.95 \ --mm-encoder-tp-mode data \ --trust-remote-code \ --tool-call-parser kimi\_k2 \ --reasoning-parser kimi\_k2 ``` **关键参数说明：** * `-tp 8`：张量并行度，单机 8 卡设置为 8 * `--gpu-memory-utilization 0.95`：GPU 显存利用率，设为 95% 以最大化吞吐 * `--mm-encoder-tp-mode data`：多模态编码器数据并行模式 * `--tool-call-parser kimi_k2`：启用 Kimi K2 工具调用解析 * `--reasoning-parser kimi_k2`：启用 Kimi K2 推理链解析 **客户端调用：** ``` curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "moonshotai/Kimi-K2.7-Code", "messages": [ {"role": "user", "content": "which one is bigger, 9.11 or 9.9? think carefully"} ], "temperature": 0.6 }' ``` ### 多机推理（16卡部署） 对于 BW1000 型号需要 16 卡部署，需配置多机环境。 **第一步：配置环境变量** 每个节点创建 `.sh` 文件并 source 执行： export ALLREDUCE\_STREAM\_WITH\_COMPUTE=1 export VLLM\_HOST\_IP=x.x.x.x export NCCL\_SOCKET\_IFNAME=ibxxxx export GLOO\_SOCKET\_IFNAME=ibxxxx export NCCL\_IB\_HCA=mlx5\_0:1 unset NCCL\_ALGO export NCCL\_MIN\_NCHANNELS=16 export NCCL\_MAX\_NCHANNELS=16 export NCCL\_NET\_GDR\_READ=1 export HIP\_VISIBLE\_DEVICES=0,1,2,3,4,5,6,7 export VLLM\_SPEC\_DECODE\_EAGER=1 export VLLM\_MLA\_DISABLE=0 export VLLM\_USE\_FLASH\_MLA=1 export VLLM\_RPC\_TIMEOUT=1800000 export VLLM\_NUMA\_BIND=1 export VLLM\_RANK0\_NUMA=0 export VLLM\_RANK1\_NUMA=1 export VLLM\_RANK2\_NUMA=2 export VLLM\_RANK3\_NUMA=3 export VLLM\_RANK4\_NUMA=4 export VLLM\_RANK5\_NUMA=5 export VLLM\_RANK6\_NUMA=6 export VLLM\_RANK7\_NUMA=7 **注意事项：** * `VLLM_HOST_IP`：节点本地通信 IP，优先选择 IB 网卡 IP，避免 RCCL 超时 * `NCCL_SOCKET_IFNAME` 和 `GLOO_SOCKET_IFNAME`：通信网口名称，通过 `ifconfig` 查询 * IB 口状态需通过 `ibstat` 确认为 active 状态 **第二步：启动 Ray 集群** # head 节点执行 ray start --head --node-ip-address=x.x.x.x --port=6379 --num-gpus=8 --num-cpus=32 # worker 节点执行 ray start --address='x.x.x.x:6379' --num-gpus=8 --num-cpus=32 **第三步：启动 vLLM Server** ``` vllm serve moonshotai/Kimi-K2.7-Code \ -tp 16 \ --distributed-executor-backend ray \ --gpu-memory-utilization 0.95 \ --mm-encoder-tp-mode data \ --trust-remote-code \ --tool-call-parser kimi\_k2 \ --reasoning-parser kimi\_k2 ``` ## 部署方式二：SGLang 推理 ### 单机推理 **启动 SGLang Server：** export HIP\_VISIBLE\_DEVICES=0,1,2,3,4,5,6,7 export SGLANG\_USE\_LIGHTOP=1 export SGLANG\_USE\_OPT\_CAT=1 export USE\_DCU\_CUSTOM\_ALLREDUCE=1 export SGL\_CHUNKED\_PREFIX\_CACHE\_THRESHOLD=0 export SGLANG\_DISAGGREGATION\_BOOTSTRAP\_TIMEOUT=1200 export GLIBC\_TUNABLES=glibc.rtld.optional\_static\_tls=0x40000 export HIP\_GRAPH\_ACCUMULATE\_DISPATCH=0 export SGLANG\_TORCH\_PROFILER\_DIR=/workspace/profiling export SGLANG\_KVALLOC\_KERNEL=1 export SGLANG\_CREATE\_EXTEND\_AFTER\_DECODE\_SPEC\_INFO=1 export SGLANG\_ASSIGN\_EXTEND\_CACHE\_LOCS=1 export SGLANG\_ASSIGN\_REQ\_TO\_TOKEN\_POOL=\*\*\* SGLANG\_GET\_LAST\_LOC=1 export SGLANG\_CREATE\_FLASHMLA\_KV\_INDICES\_TRITON=1 export SGLANG\_CREATE\_CHUNKED\_PREFIX\_CACHE\_KV\_INDICES=1 export NCCL\_MAX\_NCHANNELS=16 export NCCL\_MIN\_NCHANNELS=16 export ALLREDUCE\_STREAM\_WITH\_COMPUTE=1 python3 -m sglang.launch\_server \\ --model-path /path/to/model/Kimi-K2.7-Code \\ --kv-cache-dtype fp8\_e4m3 \\ --host \$(hostname -I | awk '{print \$1}') \\ --port 30000 \\ --trust-remote-code \\ --page-size 64 \\ --dist-init-addr \$(hostname -I | awk '{print \$1}'):5001 \\ --reasoning-parser kimi\_k2 \\ --tool-call-parser kimi\_k2 \\ --nnodes 1 \\ --node-rank 0 \\ --dtype bfloat16 \\ --tp-size 8 \\ --pp-size 1 \\ --mem-fraction-static 0.98 \\ --attention-backend dcu\_mla \\ --enable-torch-compile \\ --numa-node 0 0 0 0 1 1 1 1 \\ --chunked-prefill-size -1 \\ --max-running-requests 512 \\ --context-length 65536 **关键参数说明：** * `--kv-cache-dtype fp8_e4m3`：使用 FP8 量化 KV 缓存，节省显存 * `--attention-backend dcu_mla`：启用海光 DCU 专属 MLA 注意力后端 * `--enable-torch-compile`：启用 Torch 编译优化 * `--numa-node 0 0 0 0 1 1 1 1`：NUMA 绑定，优化跨节点通信 * `--context-length 65536`：上下文长度设置为 64K **客户端调用：** ``` curl http://localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/path/to/model/Kimi-K2.7-Code", "messages": [ {"role": "user", "content": "你好，请用一句话介绍你自己。"} ], "max\_tokens": 128, "temperature": 0.6 }' ``` ## 精度验证 官方测试表明，Kimi K2.7 Code 在海光 DCU 上的推理精度与 GPU 完全一致。推理框架支持 vLLM 和 SGLang，均可获得相同的输出质量。 ## 实际应用场景 Kimi K2.7 Code 的核心优势在于代码智能体场景： * **长周期编码任务**：能够处理复杂的软件工程工作流，完成端到端的代码生成和重构 * **工具调用**：内置 `kimi_k2` 工具调用解析器，支持 Agent 场景下的多轮工具交互 * **推理链展示**：支持 `reasoning-parser`，可展示模型的思维过程 * **多语言支持**：MLS Bench Lite 多语言代码能力提升 31.5% * **视觉理解**：集成 MoonViT 视觉编码器，支持截图输入和视觉编程 ## 写在最后 Kimi K2.7 Code 的发布标志着国产代码大模型在效率和能力上的双重突破。30% 的推理 token 减少意味着在相同硬件条件下可以处理更多请求，这对于生产环境的部署成本控制具有重要意义。 海光 DCU 已完成对该模型的全面适配，BW1100 型号仅需 8 卡即可运行，配合 vLLM 和 SGLang 推理框架，可以快速构建高性能的代码智能体服务。 **相关资源：** * 模型下载： https://huggingface.co/moonshotai/Kimi-K2.7-Code * 项目仓库： https://developer.sourcefind.cn/codes/modelzoo/kimi-k2.7-code * 镜像下载： https://sourcefind.cn/#/service-list