成立于2019年、总部位于加利福尼亚州圣克拉拉的初创公司D-Matrix，正在开发更适合生成式AI推理的芯片。

      d-Matrix的创始人兼首席执行官Sid Sheth表示，“目前90%的AI工作负载涉及模型训练，而大约10%涉及推理。但这个情况正在改变，五到十年后，将是90%的推理，10%的训练。”这种转变促使d-Matrix构建了一个高效的推理计算平台，专门针对transformer加速进行优化。

      d-Matrix关注于小语言模型的需求，这些模型可以针对企业数据进行微调和训练，以满足特定的业务需求。市场上已经出现了一些更小的模型，它们在参数数量上虽然不及大型模型，但在能力上却可与一些领先的模型相媲美。这些较小的模型在计算能力和成本效益方面具有明显优势。Sheth认为，对于大多数企业和个人用户而言，使用参数不超过100亿的模型进行推理将更为实用。

      d-Matrix专为推理生成式AI模型设计的旗舰产品：Corsair，在成本效益上与GPU相比具有明显优势。据称，在推理速度上可以达到英伟达H100 GPU的9倍，同时在功率效率、延迟以及成本上具有显著优势。d-Matrix的创新不仅仅局限于硬件，其Aviator软件堆栈可以为客户提供从机器学习工具链到推理服务器软件等一系列生产部署支持，且大部分软件堆栈基于广泛采用的开源软件构建。

      d-Matrix是开发数字内存计算（DIMC）引擎的先驱之一。这种引擎将内存和计算集成到一个单一的阵列中，模型直接存储在内存中，计算也在同一位置发生。基于这种方法，d-Matrix开发了名为Jayhawk II的芯片，为其旗舰产品Corsair提供支持。Jayhawk II平台在性能和成本效益上相较于高端GPU有显著提升。d-Matrix的设计理念是设计小型的芯片组并将其连接成灵活的架构，而不是创建非常大的单一芯片。这种方法允许根据模型的大小灵活调整计算资源，从而实现计算能力的伸缩。

      Corsair计算卡预计将在11月正式推出，并在2025年开始生产。d-Matrix的技术理念得到了资本市场的认可，该公司在B轮融资中获得了1.1亿美元的投资，这笔资金将用于加速Corsair平台的商业化进程和人才招募。投资者包括微软的M12风险基金等知名机构。