12家研究机构、160页、参考了650篇论文：基础模型推理综述 Part1

这两天，十几个科研机构一起发布了160页的综述《A Survey of Reasoning with Foundation Models》对基础模型推理进行了全面的综述，写的非常详尽（参考了650篇论文）。

论文地址：A Survey of Reasoning with Foundation Models

添加图片注释，不超过 140 字（可选）

相关文章即模型整理：https://github.com/reasoning-survey/Awesome-Reasoning-Foundation-Models

添加图片注释，不超过 140 字（可选）

以下为译文，因为文章太长，会分几部分进行翻译。全部内容：

北方的郎：12家研究机构、160页、参考了650篇论文：基础模型推理最全综述 Part1

北方的郎：12家研究机构、160页、参考了650篇论文：基础模型推理最全综述 Part2

北方的郎：12家研究机构、160页、参考了650篇论文：基础模型推理最全综述 Part3

北方的郎：12家研究机构、160页、参考了650篇论文：基础模型推理最全综述 Part4

北方的郎：12家研究机构、160页、参考了650篇论文：基础模型推理最全综述 Part5

推理是复杂问题解决中至关重要的能力，在谈判、医学诊断和犯罪调查等各种实际场景中起着关键作用。它在人工通用智能（AGI）领域中作为一种基本方法论发挥着重要作用。随着基础模型的不断发展，人们对于探索它们在推理任务中的能力越来越感兴趣。本文介绍了已经提出或可适应推理的重要基础模型，并重点介绍了各种推理任务、方法和基准的最新进展。然后，我们深入探讨了基础模型中推理能力出现的潜在未来方向。我们还讨论了多模态学习、自主代理和超级对齐在推理背景下的相关性。通过讨论这些未来的研究方向，我们希望激发研究者在这一领域的探索，促进基础模型（如大型语言模型）在推理中的进一步发展，并为AGI的发展做出贡献。

“人类一直在进行非单调推理,但严格得出给定结论的单调推理，理应得到更多的尊重和钦佩。”

约翰·麦卡锡（2004年）

推理是人工智能的一个重要方面，其应用涵盖了各个领域，如问题解决、定理证明、决策和机器人技术(Manning, 2022)。《思考，快与慢》 (Daniel, 2017)揭示了人类思维的双系统框架， 包括“系统1” 和“系统2” 两种思维模式。“系统1”操作迅速，依赖本能、情感、直觉和无意识过程。相反，“系统2”操作较慢，涉及到意识的思考，如算法推理、逻辑分析和数学能力。推理作为“系统2”的主要功能之一发挥着关键的作用 (Bengio, 2017; Weston and Sukhbaatar, 2023)。推理可以分为两种广义类别：形式语言推理和自然语言推理 (Reiter, 1975; Berzonsky, 1978; Teig and Scherer, 2016; Yu et al., 2023a; Zhao et al., 2023b; Li et al., 2023u)。一方面，如图 1所示，形式语言推理通常用于形式化验证软件和硬件系统、定理证明和自动推理等领域 (Reiter, 1975; Berzonsky, 1978)。另一方面，自然语言推理实现了更直观的人机交互，并支持任务如问答 (Shao et al., 2023; Jiang et al., 2021c)、信息检索(Zhu et al., 2023d; Ai et al., 2023)、文本摘要(Liu et al., 2023n)和情感分析 (Yu et al., 2023a; Araci, 2019; Barbieri et al., 2021)。

自从创立以来，基础模型(Bommasani et al., 2021) 在自然语言处理(Qiao et al., 2022)、计算机视觉 (Wang et al., 2023h)和多模态任务 (Li, 2023)等各个领域展示了显著的效果。然而，对于通用人工智能的兴趣日益增长，引发了有关基础模型能否展现出类人推理能力的激烈争论。因此，人们对于研究基础模型的推理能力产生了浓厚的兴趣。尽管先前的调研从不同的角度探索了基础模型的应用潜力 (Gu et al., 2023a; Wang et al., 2023h; Yin et al., 2023b; Zong et al., 2023; Lou et al., 2023; Charalambous et al., 2023; Wang et al., 2023v,y,j)，但仍然需要一份针对近期在多模态和交互式推理方面的最新进展的系统而全面的调研，这种调研更加接近人类推理方式。图 2给出了本文将讨论的与任务和技术有关的推理的概览。

添加图片注释，不超过 140 字（可选）

基础模型通常由数十亿个参数组成，并使用自监督学习 (Jain et al., 2023)在大规模数据集 (Bommasani et al., 2021)上进行预训练和微调。一旦（预）训练完成， 基础模型可以通过任务特定的微调、线性探测或提示工程来适应解决众多下游任务，展现出卓越的泛化能力和出色的准确性 (Bommasani et al., 2021; Qiu et al., 2023a)。相比传统Transformer中使用的软注意力机制，“系统2”注意力（S2A）利用大型语言模型（LLMs）的能力来促进语言推理。这种方法提高了长文本内容生成的准确性和客观性。通过将逻辑规则和原则整合到学习过程中 (Mao et al., 2023b)，这些模型可以执行复杂的任务，如演绎和推理。这使得它们能够基于明确的知识 (Mao et al., 2023b)和逻辑推理做出决策，而不仅仅依靠统计模式 (Yang et al., 2023f)。作为人工智能研究中快速发展的领域，基于基础模型的推理旨在开发具有类人理解和复杂信息交互能力的模型。这些模型以逻辑推理和知识表示为基础，使其能够对抽象概念进行推理，并基于逻辑规则做出决策。首先，使用基础模型进行推理可以应用先前的知识和领域专业知识。逻辑规则可以从专家知识中推导出来，或者从现有本体论或知识图谱中形式化出来。通过利用这些先前的知识，模型可以更好地理解问题领域并做出更明智的决策。其次，使用基础模型进行推理可以增强鲁棒性和泛化能力。通过整合大量数据中的信息，模型可以更好地处理面临有限数据或在部署过程中遇到的未知情况。这使得模型更可靠、稳健，适用于真实世界中的鲁棒使用。

与目前主要关注基础模型特定方面的调查不同，如提示(Qiao et al., 2022)、幻象(Rawte et al., 2023)、 演绎推理(Huang and Chang, 2022)、 逻辑推理(Friedman, 2023a; Yang et al., 2023f)、因果推理(K?c?man et al., 2023; Stolfo et al., 2022)、健康信息学(Qiu et al., 2023a)或AI代理(Xi et al., 2023)，本文从更广泛的视角出发，旨在以一种连贯有序的方式连接该领域的各种研究工作。

添加图片注释，不超过 140 字（可选）

如图 2所示，我们提供了各种推理任务的简洁概述，其中包括常识推理、数学推理、逻辑推理、因果推理、视觉推理、音频推理、多模态推理、具身推理、缺陷推理等。通过这样做，我们提供了一种全面的概述，突出了领域内不同方面之间的相互关联和关系，以激励更多的研究工作积极参与和推动基于基础模型的推理的进展。

总之，我们对基础模型的超过650篇论文进行了调查，主要关注过去两年的研究。我们讨论了这些模型中使用的不同任务、方法、技术和基准。我们还探讨了可以从基础模型推理中受益的各种应用领域，如问答、自动推理和知识表示。我们还讨论了当前基础模型推理面临的挑战和限制，以及未来研究的潜在方向。通过了解该领域的进展和挑战，研究人员可以探索开发更加人性化和可解释的智能系统的新途径。总的来说，本文旨在全面了解使用基础模型进行推理的情况及其未来可能性。

本节介绍了推理的基础模型的背景知识。我们将深入探讨诸如推理的定义、一般基础模型的最新进展、基础模型的架构设计、所采用的训练方法以及使其应用于推理任务的迁移学习范式等关键方面。通过阐明这些基础方面，我们希望读者能够理解推理基础模型背后的原理和技术，为随后在这个领域中对最新进展和方法的探索奠定基础。

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

当提到“推理”这个术语时，往往人们对其确切含义不清楚。为了澄清，让我们首先确立一个明确的推理定义。“推理”是一个广泛而多面的概念，表现在各种不同的情境中。它包括用于分析信息、推断、得出结论和制定连贯论证的认知过程和逻辑思维。推理可以在科学探究、问题解决、决策制定和日常对话等不同领域中观察到。它的基本目的是使个体能够连接信息、评估关系并得出明智的判断或解决方案。通过探索推理的不同方面和维度，我们可以全面了解其重要性，并探索用于阐明和增强人类认知这一基本方面的数学形式和技术。

除了其广泛的概念性质外，“推理”一词在各个领域中具有特定的定义。让我们简要介绍一下哲学、逻辑和自然语言处理（NLP） 领域中关于推理的定义 (Clark et al., 2020; Huang and Chang, 2022; Yang et al., 2022c; Young et al., 2022; Yu et al., 2023a)。

添加图片注释，不超过 140 字（可选）

哲学：

Definition 1. （认知推理）。认知推理是指模拟人类能力，在知识不完整和不一致的情况下能够得出有意义的结论， 其中包括知识的表示， 从获取和更新知识到得出结论的所有过程都必须能够在适当的硬件上实施和执行 (Furbach et al., 2019)。

逻辑：

Definition 2. （逻辑推理）逻辑推理涉及一种思维过程，根据前提和前提之间的关系，以确保结论在逻辑上隐含或必然地由它们得出 （Nunes, 2012）。

NLP：

Definition 3. （自然语言推理）。自然语言推理是将多种知识（如百科全书知识和常识知识）整合起来，推导出关于（现实或假设的）世界的一些新结论的过程。知识可以来自明确和隐含的来源。结论是被认为在世界中为真的断言或事件，或是实际行动 (Yu et al., 2023a)。

我们还可以通过从不同的角度进行分类， 来更好地理解推理， 如下一节所示。

在深入讨论最近的发展之前，首先让我们回顾一下传统的推理观点，将其分为三种主要类型：归纳推理、演绎推理和适应推理。这种分类已经被长期认可，并提供了一个理解不同推理方式的框架。通过研究每种类型，我们可以更好地理解它们的独特特征和应用。因此，我们来更仔细地看一下这些传统分类，以增强我们对推理过程的理解。

表格 3 分别提供了一个解释这三种推理类型的示例。演绎推理是一种从一般原则或前提中推演出具体结论的逻辑过程。它采用自上而下的方法，从一般原则开始，应用逻辑规则达到具体结论。演绎推理旨在提供逻辑上有效和确凿的结果。

归纳推理涉及根据具体观察或证据得出一般结论或模式。它从具体实例推广到更广泛的概括。归纳推理不能保证绝对的确定性，但可以根据可用证据提供可能的结论 (Wang et al., 2023o)。

适应推理是根据观察到的事实或数据提出合理的解释或假设的过程。它涉及根据不完整或有限信息推断出最佳可能解释。适应推理通常用于问题解决和假设生成。

在常用的推理术语中， 对于非谬误的论证（由前提和结论组成的论证） (Flach and Kakas, 2000)，当前提能够对结论提供确凿支持时，演绎论证被归类为此类推理。换句话说，如果论证的所有前提都是真实的，那么结论不可能是假的。另一方面，归纳论证的特点是前提只能对结论提供部分支持 (Salmon et al., 1989)。在归纳论证的情况下，结论扩展或超过了前提中包含的信息 (Salmon et al., 1989)。与提供确凿证明的演绎论证或提供部分支持的归纳论证不同，适应论证旨在为给定情况提供最合理的解释，即使它可能不是唯一可能的解释。

通常， 推理类型三合一中， 包括演绎、适应和归纳， 研究最为广泛和深入的是演绎，而对适应和归纳的研究相对有限且未被充分开发 (Flach and Kakas, 2000; Yang et al., 2023f)。令人鼓舞的是，近年来在归纳推理领域取得了进展。 Sinha et al. (2019)提出了使用自然语言理解（NLU）对短篇小说中的亲属关系进行分类的CLUTRR数据集。归纳关系归纳 (Yang et al., 2022c)研究涉及未见实体的关系的预测。Misra et al. (2022)专注于使用神经网络对综合语言句子进行分类，而Yang and Deng (2021)则研究了使用准自然语言（符号语言而不是自然语言）进行规则归纳。

推理任务的其他分类包括：

1. 形式推理 vs. 非正式推理（Evans, 2004; Teig, 2016）：此分类基于推理过程的性质或形式性。形式推理需要遵循严格的规则、逻辑框架或形式系统来得出结论，并通常依赖数学或演绎推理。另一方面，非正式推理则缺乏结构，更加直觉，依赖个人的经验、常识和启发式方法。
2. 神经推理 vs. 符号推理 vs. 神经符号推理 (Garcez et al., 2008, 2015, 2022)：这个分类基于推理所使用的底层计算框架。神经推理指的是利用神经网络或深度学习模型进行推理任务的方法。符号推理涉及使用符号表示、基于逻辑的推理规则或符号操作进行推理。神经符号推理结合了神经网络和符号推理的元素，旨在整合它们各自的优势。
3. 向后推理与向前推理 (Al-Ajlan, 2015)：该分类法基于推理过程的方向。向后推理从一个目标或期望的结果开始，通过应用规则或证据向后工作，确定达到该目标所需的必要条件或步骤。向前推理从初始前提或证据开始，并逐步推进，推导出新的结论或达到最终结果。
4. 单步推理 vs 多步推理(Song et al., 2018; Yu et al., 2023a)：这个分类基于推理过程中的复杂性或步骤数量。多步推理指的是需要多个连续或相互关联的步骤来得出解决方案或结论的任务。它涉及将中间步骤或推断串联起来以达到最终结果。
5. 演绎推理与可推翻推理 (Yu et al., 2023a; Koons, 2005; Pollock, 1987, 1991):对于这种推理类型的分类标准是基于推理过程的性质以及对例外情况或冲突信息的处理。可推翻推理涉及到在不确定性或不完全信息下的推理，其中结论可以被新的证据或例外事实推翻或否定。它允许基于额外的信息或情境对结论进行修订或重新评估。
6. 单模态推理 vs. 多模态推理(Sowa, 2003; Oberlander et al., 1996)：这个分类是基于推理过程中所使用的输入模态。单模态推理指的是涉及单一信息或输入模态的推理任务，例如，仅基于语言信息进行的推理任务。而多模态推理则涉及同时整合和推理多个信息模态。这可能包括将视觉、语言、文本、听觉或其他类型的输入结合起来进行推理过程。

除了上述提到的分类方式外，还有其他几种分类或归类信息和推理的方法，包括事实推理 (Byrne and Tasso, 1999)、反事实推理 (Bottou et al., 2013)、可行（可推翻）推理(Collins and Michalski, 1989)、默认推理(Brewka, 2012)和抽象推理 (Yu et al., 2021)。

通过承认上述多样化的定义和观点，我们更全面地理解推理作为一个多方面的概念，它涵盖了哲学探究、形式逻辑以及在诸如自然语言处理等领域的实际应用。在本节中，我们将探讨这些领域中推理的共同特征和独特特点，并研究推进我们对推理过程理解和实现的数学方法。

以下是用不同数学框架来说明推理的示例：

命题逻辑

逻辑命题：设p和q是逻辑命题。我们可以用p∧q表示它们的合取（AND）。直觉推理：如果p → q和p都为真，那么我们可以得出q的结论。这可以表示为(p → q) ∧ p → q。

谓词逻辑

量词和谓词：设P (x)是表示“x是素数”的谓词。存在量词（∃）可以用来表示素数的存在，例如∃xP (x)。全称量词：设Q(x)是表示“x是偶数”的谓词。全称量词（∀）可以用来表示所有数都是偶数，例如∀xQ(x)。

集合论

集合交：设A和B是集合。A和B的交集称为A ∩ B。集合补：设A是一个集合。A的补集称为A′。

图论

图的表示：设G = (V, E)是一个图，其中V 表示节点的集合，E表示边的集合。最短路径：设d(u, v)表示图中节点u和v之间的最短路径。最短路径问题可以表述为找出所有节点对d(u, v)的最小值。

条件概率

设P (A)表示事件A的概率，P (B)表示事件B的概率。在给定B的条件下，事件A的条件概率用P (A|B)表示，可以使用贝叶斯定理计算。

形式系统

公理系统：设S是一个具有一组公理和一组推理规则的公理系统。系统内的形式证明可以表示为一个语句序列，其中每个语句要么是公理，要么是使用推理规则推导出来的。

这些数学表达式展示了推理在不同框架中如何以数学方式表示。然而，需要注意的是，推理问题的复杂性通常需要更详细的数学表达和形式化。

尽管存在这些传统的分类和严格的数学表示，随着基础模型的出现，研究人员越来越多地摒弃对这些限制的严格遵守。相反，他们采用了一种更灵活的推理方法，考虑了其在不同场景中的各种形式和应用。

在当代研究中，推理已经发展成为涵盖广泛任务和背景的广泛范畴。例如，常识推理已经成为研究的一个重要领域，旨在赋予AI系统理解和推理日常情境的能力，融入常识和语境理解。表 1展示了一个说明常识推理的例子。

类似地，数学推理引起了广泛关注，特别是在基础模型的背景下。研究人员正在探索增强模型的数学推理能力，包括解决数学问题。表 2展示了一个展示数学推理的例子，具体是一个数学应用问题。

这些例子突出了推理在不同应用领域中的多样化表现。重点已经从严格分类转向解决具体的推理挑战，并设计能够有效处理这些挑战的模型。通过采用这种更灵活和应用驱动的观点，研究人员旨在拓宽推理的范围，推进AI系统在各种任务和背景下展示人类推理能力的发展。

添加图片注释，不超过 140 字（可选）

近年来，人工智能领域见证了基础模型快速发展的局面。基础模型已经在包括但不限于计算机视觉、自然语言处理和语音识别等多个领域引起了革命性变革。接下来，我们将介绍基础模型的三个主要分类及其代表性工作，总结如图3。

基础模型，如GPT-3（Brown等，2020），首先为自然语言理解和生成任务带来了突破。这些模型展示了理解和生成连贯、上下文适当的自然语言回复的能力，并在各种语言相关任务中取得了重大进展，包括文本补全、翻译、对话、总结、问题回答等等。

最近， 随着研究和训练方法的改进， 各种先进的大规模语言模型（Zhao等，2023）已经出现。其中引人注目的是GPT-4（OpenAI，2023），它支持ChatGPT，以及PaLM（Chowdhery等，2022），这是Bard的一个重要组成部分。此外， LLaMA（Touvron等， 2023） 和Llama 2 （Touvron等， 2023） 作为一系列开源大规模语言模型也变得越来越受欢迎，参数范围从7B到65B不等。多语言支持也成为基础建模研究的一个关键领域。例如，PanGu-α（曾等，2021），在11TB的中文数据上进行预训练，并具有2000亿个参数，展示了强大的语言建模能力。更进一步，PanGu-Σ（任等，2023）利用随机路由专家（RRE）和专家计算与存储分离（ECSS）等技术，开发了一个能训练万亿参数语言模型的系统，从而通过异构计算显著提高了训练吞吐量，增加了6.3倍。

在语言领域基础模型的卓越成功之后，它的影响也扩展到了视觉领域。Vision Transformer (ViT) (Dosovitskiy et al., 2021) 将 Transformer 框架应用于计算机视觉任务，在分类和检索任务中利用自注意力机制取得了令人印象深刻的性能。 Swin Transformer (Liu et al., 2021b) 引入了具有位移窗口的分层结构，提高了处理高分辨率图像的效率。它在图像分类、目标检测和语义分割等各种计算机视觉任务中表现出强大的性能。 MAE (He et al., 2022)、BEIT (Bao et al., 2021) 和 CAE (Chen et al., 2023i) 等方法提出了掩码建模作为一种高效的自监督学习策略来学习通用的视觉表示。 VideoMAE V2 (Wang et al., 2023i) 是 VideoMAE (Tong et al., 2022) 的增强版，拥有十亿个参数，专为视频理解任务设计。它利用自监督学习来学习时空依赖关系，在动作分类和动作检测等任务上表现出色。作为多任务视觉基础模型，Florence (Yuan et al., 2021) 和 Florence-2 (Ding et al., 2022; Xiao et al., 2023a) 可以轻松适应各种计算机视觉任务，例如分类、检索、目标检测、视觉问答(VQA)、图像描述、视频检索和动作识别等。 Segment Anything Model (SAM) (Kirillov et al., 2023) 擅长从局部掩码、点或框等输入提示中生成对象掩码。它能够为图像中的所有对象生成掩码。 SAM 是在包含 1100 万张图像和 110 亿个掩码的大规模数据集上训练的。值得注意的是，

SAM 在广泛的分割任务中表现出了零样本性能。作为一种零样本异常分割方法， Segment Any Anomaly (SAA ) (Cao et al., 2023) 引入了混合提示规则化，利用目标图像的领域专业知识和上下文信息增强了基础模型的适应性。通过将这些元素融入到规则化提示中，SAA 增强了提示的鲁棒性，能够更精确地识别异常区域。此外，Wang et al. (2023c) 还揭示了在解决复杂场景中的分割挑战时，将领域专家知识作为先验支持融入的潜力。

模型融合:通过组合增强视觉任务

在计算机视觉领域，近年来出现了一种新趋势，即将不同的预训练视觉基础模型结合起来，每个模型专注于特定任务，以更有效地解决复杂的视觉任务。这些方法利用了这些基础模型不断增强的能力和多样性，利用它们各自的优势在具有挑战性的视觉任务中实现更优越的性能。

Inpaint Anything (Yu et al., 2023c) 在图像修复中提供了三种基本功能，即 Remove Anything、Fill Anything 和 Replace Anything，通过多个基础模型的协同组合实现。它利用点击提示进行自动分割，利用像 LaMa (Suvorov et al., 2021)和 Stable Diffusion (Rombach et al., 2022) 这样的最先进的修复模型对掩码区域进行填充，并利用带有文本提示的 AI 模型来生成填充或替换空白区域的特定内容。

Edit Everything (Xie et al., 2023a) 是一个生成式系统，结合了 SAM (Kirillov et al., 2023)、CLIP (Radford et al., 2021) 和 Stable Diffusion (Rombach et al., 2022)，实现了由图像和文本输入引导的图像编辑。 Edit Everything (Xie et al., 2023a) 首先利用 SAM 将原始图像分割成多个片段。随后，图像编辑的过程由文本提示引导， 从而使源图像调整为与目标图像在给定的文本提示中描述的相对应的变换。SAM-Track (Cheng et al., 2023)引入了一个视频分割框架， 整合了Grounding-DINO (Liu et al., 2023j)，DeAOT (Yang and Yang, 2022)和SAM (Kirillov et al., 2023)，以促进跨多种模态的交互式和自动化物体跟踪和分割。该框架允许在视频的初始帧中使用交互提示，包括点击提示、框选提示和文本提示，来指导SAM的分割过程。Explain Any Concept (EAC) (Sun et al., 2023a)提出了一种概念解释的方法，利用SAM进行初始分割，并引入替代模型来提高解释过程的效率。

鉴于基础模型在独立的语言和图像模态上表现出色，自然而然地引发了一个问题：这些模型能否有效处理多模态数据？这个问题的提出源于认识到真实世界的场景通常涉及多种模态，如文本、图像和音频，这些模态共同提供了对数据更全面、更细致的理解。

Text2Seg(Zhang et al., 2023d)引入了一种视觉-语言模型，利用文本提示作为输入生成分割掩模。该模型通过使用文本提示生成边界框，并借助Grounding DINO(Liu et al., 2023j)指导SAM生成分割掩模。 CLIP(Radford et al., 2021)学习了图像和文本的联合表示。它通过对视觉和文本信息进行对齐实现，实现了跨模态理解，并在各种视觉和语言任务中展现出了令人印象深刻的能力。同样，方法(Chen et al., 2020b; Li et al., 2020; Zhang et al., 2021; Zhai et al., 2022; Yao et al., 2021; Jia et al., 2021; Huo et al., 2021; Fei et al., 2022)，如ALIGN(Jia et al., 2021)和WenLan(Huo et al., 2021)，通过学习一个共同的特征空间来对齐图像和文本表示。 CoOp（Context Optimization）(Zhou et al., 2022b)提出了一种简单的技术，用于定制下游任务中类似CLIP的视觉-语言模型。CoOp利用可学习向量来表示提示中的上下文词，同时将预训练参数保持为固定状态。 GALIP

（Generative Adversarial CLIPs）(Tao et al., 2023)是另一种专为文本到图像生成任务开发的先进模型。在CLIP Surgery(Li et al., 2023t)中，首先基于文本提示生成热图。然后，在这些热图中采样出点提示，并将其输入到SAM(Kirillov et al., 2023)中进行进一步处理。随后，利用CLIP(Radford et al., 2021)的相似度算法生成最终的分割图。 SAMText(He et al., 2023)提出了一种灵活的方法，用于生成适用于场景文本的分割掩模。该方法首先从现有的场景文本检测模型中提取边界框坐标。然后，这些坐标激发了SAM生成掩模。Caption Anything(Wang et al., 2023p)提出了一个基于强化模型的图像字幕生成框架，使得可以从视觉和语言两个方面进行交互式多模态控制。通过将SAM(Kirillov et al., 2023)与ChatGPT相结合，在交互过程中可以使用各种提示，包括点提示或边界框提示，从而灵活地处理图像。该框架还利用大型语言模型（LLM）来优化指令，确保其准确反映用户的意图并与其意图保持一致。 GPT-4V(ision)赋予用户解释和分析用户提供的图像输入的能力(OpenAI, 2023b)。

基础模型在多模态任务（文本到图像、文本到代码和语音到文本）中的潜力在各个领域中打开了令人激动的可能性。通过无缝整合和处理来自不同模态的信息，这些模型可以增强图像字幕生成、视觉问答和视听场景理解等任务的能力。此外， 多模态基础模型在需要基于多种信息源进行推理和决策的应用中具有潜力。通过利用多模态数据的威力，这些模型有潜力在机器人技术(Firoozi et al., 2023)、医疗保健(Qiu et al., 2023a)、自动驾驶车辆(Zhou et al., 2023c)和多媒体分析等广泛领域中实现新的理解水平、上下文感知能力和性能提升。

添加图片注释，不超过 140 字（可选）

推理基础模型是一个新兴领域。最近， 出现了大量试图将基础模型应用于推理任务的研究， 取得了令人鼓舞的结果。统计数据请见图 4。 Laban et al. (2023)指出了用大型语言模型（LLMs）评估复杂任务时的挑战，并强调了改善评估基准的需求。Shi et al. (2023)证明了多语言语言模型可以超越语言，以词语在上下文中进行常识推理和语义判断等任务。语言模型作为多语言推理者，采用思维链的过程。Self-Taught Reasoner (STaR) (Zelikman et al., 2022)通过迭代生成解释并根据正确答案进行微调，增强了模型的推理能力。 MWP-BERT (Liang et al., 2022b)利用BERT (Kenton and Toutanova, 2019)（1.1亿） 和RoBERTa (Liu et al., 2019)（1.23亿）的预训练，解决了数学解题问题。与此同时，Minerva (Lewkowycz et al., 2022)基于PaLM (Chowdhery et al., 2022)预训练语言模型，参数规模可达540B。Minerva在化学、生物学、经济学、物理学等各个学科中准确地回答了超过200个本科水平的问题，并展现出强大的性能，这些问题涉及定量推理等科学问题。 Zero-shot-CoT (Kojima et al., 2022)展示了在一系列推理任务中的出色表现，包括算术挑战，比如MultiArith (Patel et al., 2021)、GSM8K (Cobbe et al., 2021)、AQUA-RAT (Ling et al., 2017)、SVAMP (Patel et al., 2021)、符号推理以及Date Understanding (Srivastava et al., 2023)、Tracking Shuffled Objects (Srivastava et al., 2023)等逻辑推理任务，而无需手工制定的少样本示例。仅仅使用一个提示模板，这种方法显示了零样本潜力和LLMs的高层多任务认知能力，并强调了该领域中进一步研究的重要前景。然而，仍然需要能够进行更复杂形式推理的智能系统，而不仅仅是简单的模式识别。