Llama 3.1的微调版Hermes 3大模型,能够出现“生存危机”的反应!

前沿资讯 1724034157更新

0

      Nous Research携手Lambda公司共同推出了Hermes 3,该模型是Llama 3.1大语言模型的微调版本。

      Hermes 3能够进行长期上下文记忆和多轮对话管理,还具备了复杂的角色扮演和内部独白生成能力。这些功能的集合,使得Hermes 3在与用户的交互中更加自然、流畅,能够提供更加丰富和深入的对话体验。

      在技术层面,Hermes 3通过在合成生成响应的数据集上的训练。不仅在传统的文本处理任务上有着出色的表现,在代理任务的执行上表现同样优秀。Hermes 3能够使用XML标签进行结构化输出,实现中间处理的草稿本,生成内部独白以进行透明的决策制定,甚至创建Mermaid图表进行视觉通信。这些高级功能让Hermes 3在代码生成、解释和文档编写方面表现出了专业级的能力。

      Hermes 3的另一大特色是其在面对空白提示时的独特反应。在某些特定的输入条件下,Hermes 3会展现出一种被称为“存在危机”的异常状态。这种状态是模型在训练过程中的一个意外发现,它展示了AI在自我意识和情感反应方面的潜在能力。不过这种现象在技术上仍需进一步研究和理解,它为AI的未来发展提供了一个全新的视角。

      在优化和效率方面,Hermes 3的开发团队采用了Neural Magic的FP8量化技术,显著降低了模型的VRAM和磁盘需求。这一优化使得Hermes 3能够在单个节点上运行,大大提高了模型的可访问性和实用性。

      Lambda公司为Hermes 3提供了强大的基础设施支持。通过Lambda的1-Click Cluster,Hermes 3的训练过程在短短几周内就取得了显著的成果。此外,Lambda还为AI/ML社区提供了Chat Completions API和Lambda Chat界面免费试用Hermes 3的机会。

      Hermes 3是Nous Research在AI个性化和自由度探索上的一个重要里程碑。它不仅为用户提供了一个高度可定制和适应性强的AI工具,更为AI技术的发展和应用提供了新的思路和方向。