# 海光K100-AI DCU部署全流程 海光K100-AI DCU AI服务器，从硬件认知到业务落地全流程覆盖，新手也能快速跑通。 --- ## 一、DCU基础认知 DCU全称Deep Computing Unit（深度计算单元），是海光信息推出的国产GPGPU架构AI加速芯片，定位对标英伟达GPU，核心优势是**自主可控+类CUDA生态兼容**。 和英伟达的CUDA生态不同，DCU基于AMD ROCm架构深度定制，配套自研的DTK软件栈，开发者原有的PyTorch/TensorFlow代码只需要极少改动就能迁移到DCU平台，不需要重新学习一套开发体系，迁移成本极低。 --- ## 二、海光K100-AI硬件核心特性 K100-AI是海光深算二号系列的主力AI加速卡，专门针对大模型训推场景优化，核心参数如下： | 参数项 | 规格 | 场景适配说明 | | ------------- | ------------ | --------------------------------------------------------------------------- | | 显存 | 64GB HBM2 | 单卡可直接跑27B及以下参数的模型，无需多卡拼接，完全覆盖海关常见业务模型需求 | | FP16/BF16算力 | 192 TFLOPS | 满足大模型推理、图像识别等高并发计算需求 | | INT8算力 | 393 TOPS | 适合量化后的推理场景，功耗更低、吞吐更高 | | 显存带宽 | 896GB/s | 大模型推理时token生成速度更快，响应延迟更低 | | 接口 | PCIe 4.0×16 | 适配主流2U/4U信创服务器，单台服务器可插4-8张卡扩展算力 | | 功耗 | 300W | 比同算力进口卡功耗低20%，机房散热压力更小 | --- ## 三、软件生态：DTK开发工具包 DTK（DCU Toolkit）是海光为DCU打造的配套软件栈，角色对标英伟达的CUDA Toolkit，是DCU运行所有AI应用的基础。 ### 核心能力 - 完全兼容HIP编程模型，支持CUDA代码低成本迁移 - 适配主流AI框架：PyTorch、TensorFlow、PaddlePaddle、vLLM、SGLang等 - 提供完整的算子库、调试工具、性能分析工具，覆盖开发全流程 - 当前推荐稳定版本为DTK 25.04/24.04.3，对应PyTorch 2.3.0/2.4.0版本 ### 获取渠道 所有DTK安装包、适配框架、预置镜像都可以在海光光合开发者社区（www.sourcefind.cn）免费下载，内网环境也可以提前下载离线包导入。 --- ## 四、环境与驱动安装全流程 以常用的麒麟V10/Ubuntu22.04系统为例，完整安装步骤如下： ### 1. 前置检查 ```bash # 确认系统内核版本（需为x86_64架构） uname -a # 确认DCU硬件被系统识别 lspci | grep -i "Hygon\|DCU" # 期望输出包含类似：Display controller: Hygon DCU K100-AI ``` ### 2. 安装DCU驱动 从光合开发者社区下载对应系统版本的驱动包（.run格式），执行安装： ```bash # 安装依赖 sudo apt-get install -y cmake gcc g++ linux-kernel-headers # 安装驱动（以6.3.16版本为例） sudo bash rock-6.3.16-V1.1.0.run # 安装完成后重启系统 sudo reboot ``` **验证驱动安装成功**： ```bash hy-smi # 输出显示DCU设备信息、显存、温度、功耗即为正常 ``` ### 3. 安装DTK工具包 同样从光合社区下载对应版本的DTK安装包： ```bash # 解压到/opt目录 sudo tar -xzvf DTK-25.04-KylinV10-x86_64.tar.gz -C /opt/ # 创建软链接 sudo ln -s /opt/DTK-25.04 /opt/dtk # 配置环境变量 cat >> ~/.bashrc << 'EOF' export DTK_ROOT=/opt/dtk export PATH=$DTK_ROOT/bin:$PATH export LD_LIBRARY_PATH=$DTK_ROOT/lib:$LD_LIBRARY_PATH export ROCM_PATH=$DTK_ROOT EOF source ~/.bashrc ``` **验证DTK安装成功**： ```bash hipcc --version # 输出显示HIP版本与DTK版本一致即为正常 ``` ### 4. 容器化环境部署（推荐） 业务场景建议用容器部署，避免环境污染，直接用官方预置镜像即可： ```bash docker run -it --network=host --name=dcu-dev --privileged \ --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=64G \ --group-add video --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined -u root \ -v /opt/hyhal:/opt/hyhal:ro \ -v /data/models:/models \ image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04-py3.10 bash ``` 进入容器后执行 `rocm-smi`确认设备识别正常即可开始开发。 ### 避坑提示 - 驱动和DTK版本必须严格对应，不要混用不同版本的组件 - 不要用pip直接装原版PyTorch，必须用光合社区提供的DCU适配版本 - 容器启动时必须映射 `/dev/kfd`、`/dev/dri`设备，给足共享内存（--shm-size≥32G） - 双路服务器的话，建议做NUMA绑核，避免跨节点通信损耗 --- ## 六、入门案例：部署Qwen3-8B做报关单智能问答 以常用的Qwen3-8B模型为例，演示如何用vLLM部署推理服务，实现报关单相关的智能问答。 ### 1. 下载模型权重 ```bash # 从魔搭社区下载Qwen3-8B模型 pip install modelscope modelscope download --model Qwen/Qwen3-8B --local_dir /models/Qwen3-8B ``` ### 2. 启动推理服务 ```bash vllm serve /models/Qwen3-8B \ --port 8000 \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --enforce-eager ``` 等待服务启动完成，看到 `Uvicorn running on http://0.0.0.0:8000`提示即为成功。 ### 3. 测试验证 ```bash curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/models/Qwen3-8B", "messages": [ {"role": "user", "content": "机电产品进口报关需要提供哪些单证？"} ], "max_tokens": 200 }' ``` 返回结果会包含完整的报关单证说明，响应速度可达40+ tokens/s，完全满足业务需求。