7月20日，AI基础设施创业公司中科加禾，正式发布了其第一代异构原生AI算力工具。中国工程院院士孙凝晖在发布会上指出，"通过系统优化软件的帮助，开发的门槛会被降低，各种不同硬件会得到统一，让技术生态得到发展。这对于当前智能生态的进步有重要的意义。" 他进一步强调了系统软件优化在推动国内生态发展中的关键作用。

      中科加禾创始人兼CEO崔慧敏在发布会上介绍，「加禾异构原生 AI 算力工具」已经在国产算力的 AI 基础设施上发挥了重要作用。该工具兼容多种国产 AI 芯片，提供了一个屏蔽芯片差异的高性能统一接口。在异构原生平台的基础上，AI 算力集群在大模型推理上的时延可以降低 3-74 倍，吞吐率提升 1.4-2.1 倍，能效比提升 1.46 倍，支持高达340B参数量的稠密大模型以及640B的MoE大模型。

      中科加禾提出的方案，目标是实现 AI 大模型应用在不同芯片上的零成本迁移，零损耗使用，零延迟部署的高效使用。这套软件工具包括异构原生大模型推理引擎「SigInfer」、异构原生微调引擎「SigFT」以及算子自动生成、转译工具「SigTrans」。其中，SigInfer不仅支持服务器级 AI 加速卡，还支持消费级 GPU，能够部署于数据中心并为端侧设备实现加速。

      作为异构计算的技术底座，通过 SigInfer 接入的不同 AI 算力可以实现调用接口统一，平滑迁移业务应用。SigInfer 在调用多种不同算力的同时进行多层次深度优化，充分挖掘芯片算力的潜能。它具备现代大模型推理引擎所具备的各种特征，包括 API Serving、请求调度、Batch 管理、KV Cache 优化、张量并行、流水线并行、专家并行、甚至多机流水并行等能力。

      中科加禾的技术路线是围绕编译技术展开的。编译层在计算机中的作用是「翻译」，将高级编程语言内容转化为机器能执行的语言，并在此过程中进行优化以提高机器代码的运行效率。中科加禾提供的异构计算与加速，正是基于这样的编译技术优化。

      中科加禾的成立使命是「聚芯片之合力，筑国产之生态」，致力于提供通用化、低成本、高性能的算力资源。公司的核心团队拥有超过20年的编译器研发经验，曾参与多款国产芯片的编译器研发工作。目前，中科加禾已收获了多轮共计近亿元融资，并正在打造支持异构算力的 AI 大模型推理引擎、大模型微调框架、以及 AI 编译工具套件等系列产品。