基于大语言模型（LLM）的自主智能体一览
发表时间：2023-09-17 06:03:02
文章来源：炫佑科技
浏览次数：168
菏泽炫佑科技
基于大语言模型（LLM）的自主智能体一览
本文全面介绍了基于大语言模型（LLM）的智能体的构建、潜在应用和评估，对于全面了解该领域的发展和启发未来的研究具有重要意义。
在当今的人工智能时代，自主代理被认为是通向通用人工智能（AGI）的一条有前途的道路。 所谓自主智能体就是能够通过自主规划和指令来完成任务。 在早期的开发范式中，决定智能体行动的策略功能主要基于启发式，并在与环境的交互中逐渐完善。
然而，在不受约束的开放域环境中，自主代理通常很难在其行动中达到人类水平的熟练程度。
近年来，大型语言模型（LLM）取得了巨大成功，并显示出实现类人智能的潜力。 因此，由于其强大的能力，LLM越来越多地被用作创建自主代理的核心协调器，并且出现了各种各样的AI代理。 这些代理通过模仿类人的决策过程，为更复杂、适应性更强的人工智能系统提供了一条可行的路径。
基于LLM的自治代理概述，包括工具代理、模拟代理、通用代理和领域代理。
现阶段，对已经出现的基于LLM的自主智能体进行整体分析非常重要，对于充分了解该领域的发展现状和启发未来的研究具有重要意义。
在这篇文章中，中国人民大学高瓴人工智能学院的研究人员基于法学硕士对自主智能体进行了全面的调查，重点关注其构建、应用和评估。
论文地址：
对于智能体的构建，他们提出了一个由四部分组成的统一框架，分别是代表智能体属性的配置模块、存储历史信息的记忆模块、制定未来行动策略的规划模块和行动模块执行计划决策。 在介绍了典型的智能体模块后，研究人员还总结了常用的微调策略，以增强智能体对不同应用场景的适应性。
研究人员接下来概述了自主代理的潜在应用，并探索它们如何使社会科学、自然科学和工程领域受益。 *后，讨论了自主代理的评估方法，包括主观评估策略和客观评估策略。 下图展示了文章的整体结构。
图片来源：
基于LLM的自治代理构建
为了让基于LLM的自治代理更加高效，有两个方面需要考虑：**，应该设计什么样的架构，使得代理能够更好地利用LLM； 第二，如何有效学习参数。
Agent架构设计：本文提出了一个统一的框架来总结之前研究中提出的架构。 整体结构如图2所示。它由分析()模块、记忆模块、规划模块和行动模块组成。
综上所述，分析模块的目的是识别Agent是什么角色； 记忆和规划模块可以将智能体置于动态环境中，允许智能体回忆过去的行动并规划未来的行动； 动作模块负责将代理的决策集成并转化为具体的输出。 在这些模块中，分析模块影响记忆和规划模块，这三个模块共同影响行动模块。
分析模块
自治代理通过特定角色（例如程序员、教师和领域专家）执行任务。 分析模块旨在表明代理的角色是什么，并且该信息通常被写入输入提示中以影响LLM行为。 在现有的工作中，常用的策略有3种来生成代理档案：手工方法； LLM法； 和数据集对齐方法。
内存模块
记忆模块在人工智能代理的构建中起着非常重要的作用。 它记忆从环境中感知到的信息，并使用记录的记忆来促进代理的未来行动。 记忆模块可以帮助智能体积累经验，实现自我进化，以更加一致、合理、有效的方式完成任务。
规划模块
当人类面临复杂的任务时，他们首先将其分解为简单的子任务，然后逐一解决每个子任务。 规划模块赋予基于LLM的Agent解决复杂任务所需的思维和规划能力，使Agent更加全面、强大和可靠。 本文介绍了两个规划模块：无反馈规划和有反馈规划。
动作模块
动作模块旨在将智能体的决策转化为具体的结果输出。 它直接与环境交互并确定代理完成任务的有效性。 本节介绍行动目标、策略、行动空间和行动效果。
除了上述四个部分之外，本章还介绍了智能体的学习策略，包括从实例中学习、从环境反馈中学习、从交互式人类反馈中学习。
表1列出了之前的工作和本文分类法之间的对应关系：
基于LLM的自主代理申请
本章探讨了基于法学硕士的自主代理在三个不同领域的变革性影响：社会科学、自然科学和工程。
例如，基于LLM的代理可用于设计和优化复杂的结构，如建筑物、桥梁、水坝、道路等。此前，一些研究人员提出了一种交互式框架，其中人类建筑师和AI代理共同构建结构环境在 3D 模拟中。 交互式代理可以理解自然语言指令、放置模块、寻求建议并纳入人类反馈，展示了人机协作在工程设计中的潜力。
另一个例子，在计算机科学和软件工程领域，基于LLM的代理提供了自动编码、测试、调试和文档生成的潜力。 一些研究人员提出，这是一个端到端的框架，多个智能体通过自然语言对话进行沟通和协作，完成软件开发生命周期； 可用于自动代码补全、代码推荐等任务； 它可以扮演产品经理、架构师、项目经理、工程师等角色在内部监督代码生成并提高*终输出代码的质量等。
下表显示了基于LLM的自治代理的代表性应用：
基于LLM的自主代理评估
本文介绍两种常用的评估策略：主观评估和客观评估。
主观评价是指人类通过互动、评分等多种手段来测试基于LLM的代理的能力。 在这种情况下，参与评估的人员往往是通过众包平台招募的； 而有研究人员认为，众包人员由于个体能力差异而不稳定，因此也会采用专家标注的方式进行评估。
此外，在目前的一些研究中，我们可以使用LLM代理人作为主观评价者。 例如，在研究中，实验结果是通过指定一个尺度来评估的，该尺度既考虑了任务的成功完成，也考虑了基本思维过程的准确性。 另一个例子是基于LLM组建多智能体裁判组自动化软件开发，通过辩论来评估模型的生成结果。
客观评估与主观评估相比具有多种优势基于大语言模型（LLM）的自主智能体一览，主观评估是指使用定量指标来评估基于LLM的自主代理的能力。 本节从指标、策略和基准的角度回顾和综合客观评估方法。
我们可以在使用评估时结合这两种方法。
表 3 总结了之前的工作与这些评估策略之间的对应关系：
