基于语言模型的智能体正在迅猛发展，它们在回答问题、数据分析、代码生成等领域都能发挥重要作用。当把多个这样的智能体组合到一起形成多智能体系统时，它们展现出的能力更强大。不过，构建这些多智能体系统并不容易。以前的一些系统，像CAMEL、AutoGen和MetaGPT，都得靠人工仔细地去设计提示词、设定每个智能体的特点、搭建智能体之间的交流通道等等，使得这些系统很难快速适应各种各样不同的领域和应用场景。

后来，研究人员开始想办法让多智能体系统的设计实现自动化。像专注于自动优化提示词；优化智能体之间的交流；让智能体的配置能够自我进化。还有一些方法拓宽了设计搜索的范围，通过不同的搜索方式，比如启发式搜索、蒙特卡罗树搜索和进化算法，来找到一个适合给定数据集的最优智能体工作流程。

但这些方法都有个问题，它们往往只是去寻找一个固定的、复杂的、“一刀切”的系统。这些系统在处理不同难度、不同领域的问题时，没办法灵活地分配推理资源。比如说，在做数学题的时候，简单的算术题其实用一个简单的零样本I/O就能解决，但复杂的数学问题可能就需要一个复杂的、消耗大量资源的系统。如果用一个固定的系统去应对所有数学题，就会造成资源的浪费，而且，在面对多个不同任务领域的基准测试时，这种“一刀切”的系统也很难做到在所有任务上都表现出色。

为了解决这些问题，研究人员提出了一种称为多智能体架构搜索（Multi-agent Architecture Search，简称MaAS）新的方法。MaAS不再去寻找那个可能根本不存在的单一最优解，而是换了个思路，基于代理超网的概念去生成多智能体系统的分布。代理超网是一种概率性、连续性的智能体架构分布，里面包含了大量可能的多智能体候选方案。可以把代理超网想象成一个多层的工作流程，它有很多不同的智能体操作符，像思维链（CoT）、多智能体辩论（Multi-agent Debate）、反应式行动（ReAct）等等，而且每一层的操作符都有相应的概率分布。

在训练MaAS的时候，会用到一个控制器网络。这个控制器会根据输入的查询，从代理超网中采样出合适的多智能体架构。采样的过程就像是在很多候选方案里，根据查询的特点挑选出最适合的方案。然后，MaAS会根据环境反馈，同时更新代理超网的分布参数和智能体操作符。更新分布参数的时候，用的是经验贝叶斯蒙特卡罗方法来估计梯度；更新操作符的时候，因为操作符里包含黑盒工具的使用和自然语言提示，没办法直接用普通的梯度更新方法，所以就利用基于智能体的文本梯度来近似反向传播。

在实验部分，研究人员在七个常用的基准测试上对MaAS进行了全面评估，这些基准测试涵盖了代码生成、数学推理和工具使用等不同领域。实验结果显示，MaAS表现得非常出色。

首先，它的性能很高，在所有任务领域的表现都超过了现有的手工设计或自动化的多智能体系统。在数学推理和代码生成任务上，MaAS的平均得分能达到83.59%，同时，在资源利用方面也很高效。和其他方法相比，它用最少的训练令牌消耗达到了最高的准确率，在推理的时候，也能用很低的API成本达到很高的准确率。比如，在MATH基准测试上，MaAS的训练成本只有AFlow的六分之一左右，推理成本只有四分之一左右。而且，MaAS还能根据查询的难度和领域，动态地分配资源。遇到简单的查询，它可能在第二层就选择早期退出算子结束采样；遇到复杂的查询，就会采样更多的层。另外，MaAS还具有很好的转移性，在不同的数据集和骨干模型上都能表现得不错，并且对没见过的智能体操作符也有一定的归纳能力。

MaAS提出了一种全新的多智能体系统设计范式，从优化单一系统转变为优化智能体架构的分布。它能够根据不同领域和不同难度的用户查询，动态地采样出性能好、资源利用效率高的多智能体系统。这为实现完全自动化、自组织和自进化的集体智能开辟了新的道路。

参考资料：https://arxiv.org/abs/2502.04180