思维树（TOT）提示
输入“/”快速插入内容
思维树（TOT）提示
思维树（TOT）提示
飞书用户77422024年7月26日修改
📍
作者：小七姐
本文为论文《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》的中文精校解读
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
思维树：使用大型语言模型深思熟虑地解决问题
摘要
语言模型越来越多地被用于各种任务的通用问题解决，但在推理过程中仍然受限于标记级别的、从左到右的决策过程。这意味着在需要探索、战略前瞻或初始决策起关键作用的任务中，语言模型可能会出现不足。为了克服这些挑战，我们引入了一种新的语言模型推理框架，名为“思维树”（Tree of Thoughts，ToT），它对流行的“思维链”方法进行了泛化，允许在作为问题解决中间步骤的连贯文本单元（“思维”）上进行探索。ToT允许LM通过考虑多个不同的推理路径和自我评估选择来进行深思熟虑的决策，以决定下一步的行动，同时在需要时进行前瞻或回溯以进行全局选择。我们的实验表明，ToT 能显著提高语言模型在三项需要非繁琐规划或搜索的新任务中解决问题的能力： 24点游戏、创意写作和迷你填字游戏。例如，在24点游戏 中，使用思维链提示的 GPT-4 仅解决了 4% 的任务，而我们的方法则达到了 74% 的成功率。包含所有提示的代码库：https://github.com/ysymyth/tree-of-thought-llm.
1.
引言
原先设计用以生成文本的语言模型(LM)，像GPT [22,23,1,20] 和 PaLM [5]等版本,已经被证明具有越来越强的完成各种需要数学、符号、常识和知识推理的任务的能力。令人惊讶的是，所有这些进步的基础仍然是最初的自动回归机制，它逐词地、从左到右顺序地做出决策。这样一个简单的机制是否足以使一个LM成为一个通用的问题解决者?如果不够，会有哪些问题挑战当前的范式？应该有哪些替代机制？
关于人类认知的文献提供了一些线索来回答这些问题。“双重过程”模型的研究表明，人们在做决策时有两种模式——一种是快速、自动、无意识的模式(“系统1”),一种是缓慢、深思熟虑、有意识的模式(“系统2”) [27,28,13,12]。这两种模式之前已经与机器学习中使用的各种数学模型联系起来。例如，关于人类和其他动物的强化学习研究已经探索了它们何时参与联想“模型无关”的学习或更深思熟虑的“模型相关”的规划 [6]。LM逐词的简单联想选择也类似于“系统1”，因此可能会从一种更深思熟虑的“系统2”规划过程中获益，该过程(1)维护和探索当前选择的各种可选方案，而不仅仅挑选一个，(2)评估其当前状态，并主动展望或回溯以做出更全局的决定。
图 1：说明使用 LLM 解决问题的各种方法的示意图。每个矩形框代表一个思想，这是一个连贯的语言序列，作为解决问题的中间步骤。请参阅图 2、4、6 中有关如何生成、评估和搜索想法的具体示例。
注释：
(a) 输入输出提示(IO):这是最简单直接的方法,直接给出一个输入,提示语言模型根据这个输入直接生成对应的输出。
(b) 思维链提示(CoT):相比IO,CoT认为从输入到输出的映射可能很复杂,所以引入了一系列的思维链来连接输入和输出。比如从数学题输入到算式输出,CoT会提示语言模型先生成若干中间步骤的算式,这些算式组成思维链,最后再生成最终输出算式。
(c) 思维链自洽(CoT-SC):这是在CoT的基础上进一步改进,进行多次独立采样,生成多个思维链和对应的输出,最后通过投票等方式选择最稳定最好的输出。因为同一个问题往往有多个思路,CoT-SC通过探索更多思维链,可以产生更可靠的输出。
为了设计这样的规划过程,我们返回到人工智能(和认知科学)的起源,汲取新奥尔、肖和西蒙于20世纪50年代开始探索的规划过程的启发[18,19]。新奥尔等人将问题求解[18]表征为通过组合问题空间进行搜索,表示为一棵树。因此,我们提出了思维树(ToT)框架,用于语言模型的通用问题求解。如图1所示,当现有方法(详见下文)对问题求解采样连续语言序列时,ToT主动维护一个思维树,其中每个思维都是一段连贯的语言序列,作为问题求解的中间步骤(表1)。这样一个高级语义单元使得LM能够通过一种也以语言实现的深思熟虑的推理过程来自我评估不同中间思维对解决问题的进展(图2、4、6)。通过LM的自我评估和深思熟虑来实现搜索启发式的做法是全新 的,因为以前的搜索启发式要么是编程实现的,要么是学习来的。最后,我们将这种基于语言的生成和评估多种思维的能力与搜索算法(如广度优先搜索BFS或深度优先搜索DFS)相结合,从而可以系统地探索思维树,具有展望和回溯功能。
从经验上来说,我们提出了三个新的问题,即使对于目前最先进的语言模型GPT-4[20]来说也具有挑战性:24点游戏、创意写作和填字游戏(表1)。这些任务需要演绎、数学、常识、词汇推理能力,以及一种系统规划或搜索的方式。我们发现,通过支持不同层次的思维、生成和评估思维的不同方式以及适应不同问题本质的不同搜索算法,ToT能够在所有三个任务上获得优异的结果。我们还通过系统的消融实验分析了这些选择如何影响模型性能,并讨论了进一步训练和使用LM的未来方向。
2.
背景
我们首先形式化一些利用大规模语言模型进行问题求解的现有方法，我们的方法受到这些方法的启发并与之进行了比较。我们使用pθ表示一个预训练的语言模型及其参数θ,使用小写字母x,y,z,s,...表示一个语言序列，即
，其中每个x[i]是一个词元，所以
。我们使用大写字母S,...表示一系列语言序列。
输入输出(IO)提示是用语言模型将问题输入x转化为输出y的最常见方法:
，其中
在输入x周围包裹任务说明和/或几个输入输出例子。为简单起见,我们记
这样IO提示可以表示为
。
思维链(CoT)提示[35]是为了解决从输入x到输出y的映射非平凡的情况而提出的(例如,当x是一个数学问题而y是最终的数值答案)。其关键思想是引入一系列思维链
, · · · ,
来桥接x和y,其中每个思维链都是连贯的语言序列,作为有意义的中间步骤来解决问题(例如,
可以是数学问答的中间方程)。为了用 CoT 求解问题,每个思维链
∼
都是顺序采样的,然后输出
。在实践中,
作为一个连续的语言序列进行采样,思维链的分解(例如每个
是一个词组、一个句子还是段落)保持模棱两可。
自洽思维链(CoT-SC)[33]是一种集成方法,它对思维链进行k次独立采样:
然后返回最常见的输出:arg maxy#
。CoT-SC改进了CoT,因为对于同一个问题通常有不同的思维链(例如,证明同一定理的不同方法),通过探索更丰富的思维链,输出决策可以更加准确。然而,在每个链内没有对不同思维步骤的局部探索,“最常见”启发式只适用于输出空间有限的情况(例如,多项选择问答)。
3.
思维树：语言模型进行深思熟虑的问题解决
一个真正的问题解决过程涉及到反复利用可用信息来启动探索，依次揭示更多信息，直到最终发现达到解决方案的方法。—— Newell等人[18]
关于人类问题求解的研究表明,人们在一个组合问题空间中进行搜索——一棵树,其节点表示部分解决方案,分支对应修改它们的运算符[18,19]。要取哪个分支取决于导航问题空间并引导问题求解者走向解决方案的启发式方法。这一视角凸显了目前使用语言模型求解一般问题的方法存在的两个关键缺陷:1)在局部上,它们没有在一个思维过程中探索不同的延续——树的分支。2)在全局上,它们没有结合任何类型的规划、展望或回溯来帮助评估这些不同的选择——这似乎是人类问题求解的特点的启发式引导搜索。
为了解决这些缺陷,我们提出了思维树(ToT),一种允许语言模型在思维上探索多种推理路径的范式(图1(c))。ToT将任何问题框定为在一棵树上搜索,其中每个节点是一个状态
,表示到目前为止输入和思维序列的部分解决方案。ToT的一个具体实例化涉及回答四个问题:
1.思维分解。虽然CoT连贯地对思维进行采样而没有显式分解,但ToT利用问题特性设计和分解中间思维步骤。如表1所示,根据不同的问题,一个思维可以是几个词(填字游戏),一行等式(24点游戏),或一段写作计划(创意写作)。一般来说,一个思维应该“足够小”,以便语言模型可以生成有前途和不同的样本(例如,生成一本完整的书通常太“大”而无法连贯),但也“足够大”,以便语言模型可以评估其对问题求解的前景(例如,生成一个词元通常太“小”而无法评估)。
2.思维生成器G(pθ,s,k)。给定树状态
,我们考虑两种策略来生成下一个思维步骤的k个候选项:
a.
从CoT提示中独立采样思维(创意写作,图4):
。当思维空间丰富时这更有效(例如,每个思维是一个段落),独立同分布的采样导致多样性
b.
使用“提议提示”顺序提议思维(24点游戏,图2;填字游戏,图6):
。当思维空间更受约束时这更有效(例如,每个思维只是一个词或一行),因此在同一上下文中提出不同的思维可以避免重复。