
前沿资讯
1733308613更新
0
斯坦福大学语言学教授克里斯托弗·波茨(Christopher Potts)在网络研讨会中发表了主题为“大语言模型受到热捧,但复合系统才是人工智能未来”的演讲,在演讲中,波茨强调了从单一大语言模型转向复合AI系统的重要性,并预测未来的AI进步将来自于这些系统的扩展和复杂性增加。他提倡系统级思考,认为这将带来更大的工作成效和AI技术的进步。
波茨在演讲中提到,虽然大语言模型吸引了大量的关注和讨论,但无论是现在还是未来,真正的发展和创新都将集中在复合系统上。这些复合系统是由多个组件和流程构成的复杂网络,它们共同工作以实现更高级的功能和性能。他指出,无论是在工作、学习还是娱乐中,我们实际上是在与这些复合系统互动,我们所依赖的技术背后,都是由多个相互作用的系统所支撑。
然而,这种现象往往被大众忽视,人们倾向于将所有的注意力和赞誉都集中在单个模型上,而忽视了背后支撑这些模型运行的复杂系统。这种对单一模型的关注可能会导致我们对技术的理解出现偏差,因为实际上,任何一个模型,无论其规模有多大,都无法独立完成所有任务,它们需要被嵌入到一个更大的系统中,通过与系统的其他部分相互作用,才能发挥出真正的潜力。
他继续讲到,这些模型,尽管在设计上非常复杂和强大,但它们并不具备自主行动的能力,它们需要外部的指令来启动,这些指令就是我们所说的提示(prompting)。提示是与模型交互的桥梁,它告诉模型我们希望它执行什么样的任务,以及我们期望它如何表现,这就像是给模型一个明确的命令或者一个启动的信号,让它从静止的状态中活跃起来。
模型的性能其实很大程度上依赖于我们如何构建和格式化我们的提示。一个精心设计的提示可以显著提高模型的性能,而一个不恰当的提示则可能导致模型表现不佳,但这个过程并不总是直观的,即使是微小的变化,比如在提示中加入或省略冒号,都可能导致模型性能的巨大差异。他进一步解释说,这种敏感性意味着我们应该考虑模型与特定提示策略的组合,不同的提示可以引导模型以不同的方式表现,从而产生截然不同的结果。
除了提示之外,还有一个重要的概念是采样方法(sampling method)。采样方法决定了模型生成响应的机制,即便是同一个模型,不同的采样方法可能会导致完全不同的结果,例如,采样方法中的贪婪解码,是一种直接选择概率最高的下一个词的方法,这种方法简单直接,但在某些情况下可能不是最佳选择;Top P采样则允许从模型预测的顶部概率词汇中进行选择,这种方式可以增加生成结果的多样性;而束搜索则是一种更为复杂的方法,它通过探索多个可能的词序列来寻找最佳答案,这种方法在处理复杂任务时尤其有用。
将提示和采样方法与模型结合起来,我们就有了一个完整的系统。这个系统的表现并不单纯依赖于模型的规模或者复杂度,而是依赖于这三个部分如何协调一致地工作。就像一个交响乐团,每个乐手都扮演着重要的角色,但是只有当他们和谐地演奏时,才能创造出美妙的音乐,同样,一个AI系统的表现取决于模型、提示和采样方法如何协同工作,以实现最佳的效果。因此,当我们设计和评估AI系统时,我们不能仅仅关注模型本身,而是需要考虑到整个系统的设计,包括如何通过精心设计的提示来引导模型,以及如何选择合适的采样方法来优化输出。只有这样,我们才能确保系统能够以最有效的方式运行,满足我们的需求和期望。
这种系统级的思考方式,将帮助我们更好地理解和利用AI技术,无论是在提高工作效率、增强决策能力,还是在创造新的用户体验方面。波茨强调,系统级的思考不仅是一种理论上的转变,它实际上已经成为了AI发展的未来趋势。这种思考方式鼓励研究人员和开发者超越模型本身的限制,探索如何将模型与其他工具和技术相结合,以创造出能够解决更复杂问题的复合系统,这种系统化的方法不仅能够提升AI的性能,还能够在成本、延迟、安全性和隐私等方面提供更多的保障。
波茨还强调了数据驱动优化的重要性,这是一种依赖于大量数据和算法来寻找最优解的方法,可以让开发者从实际的数据中学习,而不是仅仅依赖于理论上的假设。为了促成这一技术的应用,波茨提出了DSP库,DSP库可以让开发者以一种更抽象、更模块化的方式来构建AI系统,从而减少对特定模型的依赖,并提高系统的灵活性和可扩展性。通过DSP,开发者可以更容易地表达他们的系统设计意图,并且能够利用数据驱动的优化来找到最佳的提示策略和模型组合,这种方法不仅可以提高开发效率,还使系统能够更好地适应不断变化的需求和环境。
在探讨未来人工智能发展方向时候,波茨强调了系统扩展的重要性。他认为,单一的语言模型在处理复杂任务时往往显得力不从心,而将这些模型与多种工具结合,能够显著提升其整体能力。这样的系统可以整合计算器、数据库、编程环境以及网络API等多种工具,形成一个协同工作的生态,在这种新兴的系统架构中,语言模型的作用不仅限于生成文本或回答问题,它们能够与外部工具进行交互,获取实时信息,从而增强决策能力和响应速度。
波茨认为,系统化的思维方式不仅适用于技术开发,也应当渗透到AI的应用和管理中。随着技术的进步,未来的AI系统将会变得越来越复杂,涉及的组件也将更加多样化,企业和开发者需要重新审视他们的设计理念,关注如何将不同的技术元素有效整合,以实现更高的效能和更广泛的应用场景。