Reflection：模型自我评估与完善的3种框架
输入“/”快速插入内容
Reflection：模型自我评估与完善的3种框架
Reflection：模型自我评估与完善的3种框架
用户8174用户77422024年4月20日修改
🌲
翻译整理：小七姐
“Reflection（反思）”是吴恩达教授提出的AI Agent工作流中的一个关键设计模式，它在人工智能的发展中扮演着至关重要的角色。这种设计模式的核心思想是让AI模型能够自动地对自己的输出进行批判性思考和改进，而不是仅仅生成一次性的最终结果。
在传统的AI模型中，如ChatGPT或Gemini，用户提出问题或任务后，模型会生成一个答案或输出。然而，这个输出可能并不总是令人满意。在“反思”模式下，AI模型被赋予了一种能力，即在生成初步输出后，能够自我审视和评估这个输出的质量，识别其中的不足，并据此进行改进。
以编写代码为例，AI模型首先会根据给定的任务生成一段代码。然后，模型会被提示对自己的代码进行反思，检查代码的正确性、风格和效率，并给出建设性的批评。这个过程可能会使模型发现问题并提出改进建议。接下来，模型会根据这些反馈重新编写代码，从而得到一个更好的结果。通过重复批评和重写的过程，可以进一步优化输出。
此外，“反思”模式还可以通过给AI模型提供工具来加强，这些工具可以帮助评估模型的输出。例如，可以让模型将其生成的代码运行一些单元测试，以检查代码在测试用例上的正确性，或者通过搜索网络来核实文本输出的准确性。然后，模型可以根据发现的错误进行反思，并提出进一步的改进措施。
更进一步，可以通过多智能体框架来实现“反思”。吴恩达教授提到，可以创建两个不同的智能体，一个负责生成好的输出，另一个负责对第一个智能体的输出给出建设性的批评。这两个智能体之间的讨论将有助于提升响应的质量。
总的来说，“反思”是一种基础但极为有效的AI Agent工作流设计模式。它通过自我批评和自我改进的过程，显著提高了AI模型在各种任务上的表现，包括编写代码、撰写文本和回答问题等。
《SELF-REFINE: Iterative Refinement with Self-Feedback(自我完善：通过自我反馈进行迭代精炼)》、《Reflexion: language agents with verbal reinforcement learning(反思：语言驱动型智能体的言语强化学习)》、《CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing(批评者：大型语言模型可以通过工具交互批评进行自我纠正)》是其中较为经典的三篇论文。分别介绍了三种不同的AI Agent Reflection框架。
SELF-REFINE框架
摘要
这篇论文介绍了一种名为 SELF-REFINE 的框架，它可以通过自我反馈和迭代改进来提高语言模型（LLM）的初始输出质量。该框架首先使用 LLM 生成一个输出，然后让同一个模型对其输出提供多方面的反馈，最后根据反馈来改进之前生成的输出。与以前的工作不同，这种迭代改进框架不需要监督训练数据或强化学习，且只需使用一个 LLM。在 7 种不同的任务中进行了实验，从评论重写到数学推理，证明该方法优于直接生成。在所有任务中，使用 SELF-REFINE 生成的输出都被人类和自动化指标认为是优于使用 GPT-3.5 和 GPT-4 直接生成的输出，平均改进幅度为 20%。
SELF-REFINE框架，通过交替执行生成（Generate）、反馈（Feedback）和细化（Refine）步骤来迭代改善输出。
该框架包含两个组件：FEEDBACK和REFINE,它们协同工作来生成高质量的输出。
•
FEEDBACK模块负责对初始输出进行评估，并提供如何改进的反馈。
•
REFINE模块根据收到的反馈和之前生成的输出对输出进行改进。
•
FEEDBACK和REFINE都通过少量提示(few-shot prompting)实现，使用预训练的语言模型。
内容结构：
1.
初始输出生成
使用大型语言模型（如GPT-4）和特定的生成提示（pgen）来生成任务的初始输出。
2.
反馈生成
将初始输出传递回同一个模型，并使用“特定的反馈提示（pfb）”来生成对该输出的反馈。这个反馈应该是具体的、可操作的，指出初始输出的不足之处和可能的改进方向。
“特定的反馈提示（specific feedback prompt, pfb）”是指用于引导LLM生成反馈的输入文本。这个提示是设计来让模型评估并提供对其先前生成输出的批评和建议，以便进行下一步的细化改进。
特定的反馈提示通常包含以下元素：
•
任务描述：清晰地说明模型需要提供的反馈类型，例如，在代码优化任务中，提示可能会要求模型提供关于代码效率的反馈。
•
输入输出示例：提供一些输入输出对的示例，这些示例展示了期望的反馈格式和内容，帮助模型理解应该如何生成反馈。
•
反馈标准：明确指出反馈应该关注的关键方面，如代码的可读性、效率、错误处理等。
•
指导性问题：可能包括一些指导性问题，引导模型思考并指出初始输出的潜在问题和改进空间。
•
反馈格式：指定模型生成反馈的格式，例如，是否需要生成具体的改进建议，或者仅仅是指出问题所在。
3.
输出细化
根据生成的反馈，使用“细化提示（prefine）”来指导模型生成改进后的输出。这个过程可能涉及对输出的具体修改，以解决反馈中指出的问题。
“细化提示（prefine）”是指用于指导大型语言模型（LLM）根据先前生成的反馈来改进和细化其初始输出的输入文本。这个提示是设计来让模型理解如何根据反馈进行具体的修改，以提高输出的质量。