深圳河套学院联合智子芯元、昇腾AI、深圳市大数据研究院通过Agent驱动的一体化流水线，实现模型迁移百倍效率提升、性能精准优化，为国产算力的多行业规模化应用按下“加速键”。

当前国产算力正进入规模化落地阶段，面对多行业、多任务的应用场景，一个关键挑战是：

全球前沿模型能否在国产AI芯片上实现快速配置、高效运行？

在国产算力上，模型迁移通常需要跨过两道关：
1）让模型快速跑起来：兼容硬件环境、Pytorch模型、国产芯片已有算子等；
2）让模型跑得更快：定位推理链路中的瓶颈，并进行系统性优化。

传统流程往往依赖人工经验与反复试错，难以支撑多模型版本、持续迭代的交付节奏。为此，我们将“规模化适配 + 端到端优化”贯通为一条可复现、可验证的交付链路，把迁移从经验驱动的试错过程，转为可复制的工程流程。目前工作重点面向昇腾平台展开，同时，核心流程也已在其他国产芯片平台上完成初步可行性验证。

从“一次能跑”到“长期可交付、可提速”

01

简介：

从“适配靠经验”到“交付靠系统”

传统跨平台迁移往往呈现两类典型痛点：

• 环境碎片化：每个模型维护一套镜像，依赖冲突频发，迁移全靠手工试错。

• 性能不可控：即使“能跑”，端到端吞吐常被预处理、解码循环、算子选择等因素隐性瓶颈拖慢。

我们用Agent化的一体化方案把“适配—优化”串成一条链路。两个方案的对比如下：

02

国产算力上的规模化模型适配

我们将复杂的硬件适配经验固化为可执行的智能体Skill工作流模块（注：SKill工作流指的是让AI学会执行某项具体任务的专门能力或“技术指南”）。这套面向AI智能体的“工程指南 + 工具集”，使智能体能够自动识别 NPU 驱动并通过多次试错中的经验，自主完成环境同步任务。交付效率与覆盖成果如下：

• 小时级极速适配：对一些主流模型，10 分钟内完成从环境配置到推理 Demo 运行；对绝大多数模型，1 小时内也可完成适配。

• 500+ 模型覆盖：我们采用“深度精修”与“规模自动化”结合，完成了对 ChemDFM、ESM2、DINOv3 等科学计算与前沿视觉标杆模型的深度适配；此外，依托多智能体协作机制，实现了 500+ 模型的自动适配。需注意，自动库侧重于规模化可行性验证，代码质量可能受模型复杂度影响存在波动，后续将结合 CI 机制进行长效自愈。

以下是部分主流模型的适配时间实测：

03

模型适配后的自动优化提速

在稳定运行模型后，下一个问题是：模型性能如何进一步提升？我们开发了一个更全面的智能体工具，可实现自动优化：以端到端视角自动定位性能瓶颈，并通过自定义解码循环、快速预处理管线等手段，自动生成并应用优化方案，实现性能提升。

我们比较了初步适配过的模型和自动优化后的模型，在7个代表性模型上完成系统验证：系统响应时间(用P50延迟来衡量)平均降低18.4%，最高降低38.0%；模型吞吐平均提升 23.3%（最高 64.6%）。下文是详细的对比：

名词解释：延迟（latency）指一次请求从发起到返回结果的端到端耗时；“P50 延迟”为延迟分布的 50% 分位点（中位数），反映典型请求的响应时间。

推理提速效果对比

注：初步适配后的模型与自动优化后的版本对齐了预热策略、测试数据与参数配置。

在一些典型案例上，我们找到的自动加速方案和效果如下：

• DINOv3：轻量模型的真实瓶颈常在预处理。以自定义快速预处理管线替代通用 ImageProcessor，使端到端 P50 降低 38.0%，吞吐提升 64.6%。

• GLM-OCR：通过 NPU ACL 算子级优化与推理路径精简（避免不必要的 I/O），P50 降低 34.1%。

• BioGPT / ChemDFM：用自定义贪心解码循环替代通用 generate()，配合 KV Cache 管理与 ACL 高性能算子策略，实现 10%~15% 的端到端加速。

• GROVER：引入 SDPA 融合注意力并扩展预热覆盖序列长度，消除尾部延迟毛刺，实现 10.5% 的 P50 加速。

04

开发者行动：

在河套，共筑AI生态未来

目前自动适配工具SLAI-AscendBridge已开源；自动提速优化工具KernelCAT已开启内测，以申请制形式开放试用，欢迎开发者、科研机构与产业伙伴共同完善国产算力的模型交付与性能工程能力。

● 开源项目（AscendBridge｜自动适配）：https://gitcode.com/AI4Science/SLAI-AscendBridge（点击“阅读原文”即可跳转）

沉淀“人 + AI”深度适配经验，聚焦科学计算与前沿标杆模型的高质量交付。

https://chongweiliu.github.io/slai-ascend-auto-adapt/dashboard/

实时展示通过多智能体协作实现的 500+ 模型全自动适配成果与运行状态。

● 性能优化能力（KernelCat｜自动提速）：当前以内测API形式开放，面向合作伙伴提供接入与联合优化支持（欢迎申请内测）。

版权声明：本文转载自深圳河套学院官网，仅用于行业资讯交流与技术分享，不代表本公司立场，不用于商业用途。版权归原作者及原出处所有，如有侵权，请联系我们及时删除。