使用大语言模型实现知识图谱自动化构建

图片由 Google Gemini 生成，2024 年 3 月 25 日。

知识图谱是以图形格式表示数据的网络。知识图谱的美妙之处在于它们将概念、事件和实体表示为节点，并将它们之间的关系表示为边。这些关系决定了节点的上下文，因此可以更好地理解单词的语义并区分其多种可能的含义。例如，谷歌的知识图谱支持谷歌搜索，可以区分品牌“苹果”和水果“苹果”。知识图谱适用于一系列领域和应用，包括零售中的产品推荐、搜索引擎优化、反洗钱举措和医疗保健。

然而，知识图谱的利用因其困难、昂贵且耗时的构建过程而受到阻碍。这一挑战激发了探索自动知识图谱构建的新研究浪潮。特别是，由于 GPT-4 等大语言模型 (LLM) 卓越的语言处理能力，人们越来越有兴趣将其集成到构建过程中。在本文中，我们将首先简要研究与知识图谱构建相关的困难。然后，我们将比较知识图谱和LLM作为知识库。最后，我们将回顾利用LLM的自动知识图构建的现有方法。

以往的知识图谱构建方法都是基于众包或者文本挖掘。流行的基于众包的知识图谱（例如WordNet和ConceptNet）是通过大量人力构建的，但仅限于预定义的关系集。同时，基于文本挖掘的方法从文档中提取知识，但仅限于提取文本中明确表述的关系。这种方法还涉及许多步骤，例如共指解析、命名实体识别等。

为每个领域或应用构建不同的知识图，使困难变得更加复杂。鉴于每个领域使用的不同概念和术语，没有通用的方法来创建知识图谱。特定领域也提出了自己的挑战。例如，知识图谱在服务计算社区中非常有用，因为它们有助于资源管理、个性化推荐和客户理解。然而，这种背景下的知识图谱需要来自不同领域的知识和概念，并且构建知识图谱所需的数据高度分散且大部分未经注释。这些因素显著增加了生成知识图谱所需的时间、精力和成本。

知识图谱和LLM都可以通过查询来检索知识。下图中，知识图谱通过查找相关连接节点来定位答案，而法学硕士则被提示填写 [MASK] 标记来完成句子。像 GPT-4 和 BERT 这样的LLM最近因其令人印象深刻的语言理解能力而受到了广泛关注。众所周知，LLM的规模每年都在不断扩大，并接受大量数据的培训，使他们能够拥有大量的知识。许多人可能会转向 ChatGPT 来提问，而不是在 Google 上搜索。当然，研究界的下一个问题是探索LLM（如 GPT）是否可以取代知识图谱（如谷歌知识图谱）作为主要知识来源。

从知识图谱（左）和大语言模型（右）中检索知识。资料来源：Yang 等人，2023 https://doi.org/10.48550/ARXIV.2306.11489

进一步的研究表明，尽管LLM拥有更基础的世界知识，但他们仍难以回忆相关事实并推断出行为和事件之间的关系。尽管拥有众多优势，LLM也面临着以下挑战：

• 幻觉：LLM偶尔会产生令人信服但不正确的信息。相反，知识图谱提供基于事实数据源的结构化和明确的知识。
• 推理能力有限：LLM很难理解和使用支持证据来得出结论，特别是在数值计算或符号推理方面。知识图谱中捕获的关系可以提供更好的推理能力。
• 缺乏领域知识：虽然LLM接受了大量一般数据的培训，但他们缺乏特定领域数据的知识，例如具有特定技术术语的医学或科学报告。同时，可以针对特定领域构建知识图谱。
• 知识过时：LLM的培训费用昂贵，而且不定期更新，导致他们的知识随着时间的推移而过时。另一方面，知识图谱具有更直接的更新过程，不需要重新训练。
• 偏见、隐私和毒性：LLM可能会给出有偏见或令人反感的回应，而知识图谱通常是根据没有这些偏见的可靠数据源构建的。

知识图谱不会遇到这些相同的问题，并且表现出更好的一致性、推理能力和可解释性，尽管它们确实有自己的局限性。除了前面讨论的内容之外，知识图谱还缺乏LLM在无监督培训过程中所享有的灵活性。

因此，有大量的研究工作旨在合并LLM和知识图谱。虽然知识图谱具有引导LLM提高准确性的能力，但LLM可以在构建过程中协助知识图谱进行知识提取，提高知识图谱的质量。有几种方法可以合并这两个概念：

• 使用LLM帮助自动知识图构建：LLM可以从数据中提取知识以填充知识图谱。关于该方法的更多细节将在下面讨论。
• 教LLM从知识图谱中搜索知识：如下图所示，知识图谱可以增强LLM的推理过程，使LLM能够得到更准确的答案。
• 将它们组合成知识图谱增强型预训练语言模型（KGPLM）：这些方法旨在将知识图谱合并到LLM训练过程中。

(a) 仅有LLM可能还不够。 (b) 通过知识图谱，可以增强LLM的推理过程。资料来源：Feng 等人，2023 https://doi.org/10.48550/arXiv.2309.03118

2019 年提出的早期方法之一是 COMET（或 COMmonsEnse Transformers），它使用微调的生成 LLM（本例中为 GPT），通过给定头实体和关系生成尾实体来构建知识图谱。鉴于下图中的“种子”和“关系”，COMET 生成“完成”响应，由人类对其进行评估，以评估响应的合理性。然后可以使用这些种子关系完成三元组来形成知识图谱。例如，“piece”和“machine”可以形成通过“PartOf”关系连接的两个节点。

“完成”列中的响应由 COMET 在给定“种子”和“关系”的情况下生成。资料来源：Bosselut 等人，2019 https://doi.org/10.48550/ARXIV.1906.05317

专门为服务领域构建的知识图谱（名为 BEAR）是使用 ChatGPT 开发的，以避免与手动数据注释相关的工作量和成本。为此，创建了特定于该领域的本体，它作为知识图谱的基础，并确定了稍后应填充知识图谱的概念和特征。然后，系统会提示 ChatGPT 从非结构化文本数据中提取相关内容和关系，如下图所示。自动提取的信息随后被合并到知识图谱中以构建它。

ChatGPT 用于从 BEAR 模型中的文本数据中提取信息。资料来源：Yu 等人，2023 https://doi.org/10.1007/978-3-031-48421-6_23

Kommineni 等人再次使用 ChatGPT 作为信息提取器。最近提出在其知识图谱构建方法中使用 ChatGPT-3.5，由人类领域专家分两个阶段验证结果，如下图所示。这种方法与前一种方法的区别在于LLM在这里发挥了更积极的作用。从特定数据集开始，ChatGPT 被提示生成能力问题 (CQ)，这是关于数据的抽象级问题。通过从 CQ 中提取概念和关系（同样是通过提示 ChatGPT）来创建本体。从数据中检索 CQ 的答案并将其提供给 ChatGPT，ChatGPT 被指示提取关键实体、关系和概念，并将它们映射到本体上以构建知识图谱。

一种使用法的半自动知识图谱构建方法。资料来源：Kommineni 等人，2024 年https://doi.org/10.48550/ARXIV.2403.08345

本文讨论的最终方法旨在直接从LLM本身提取信息。有人认识到LLM在最初的训练中储存了大量可以派上用场的知识。下图显示了收获LLM知识的步骤。该过程从初始提示和至少两个示例实体对开始。采用文本释义模型来释义提示并从原始提示中导出修改后的提示。随后，在LLM中搜索与这组提示相对应的实体对。使用搜索和重新评分方法，提取最相关的对以形成知识图谱，其中的实体作为节点，提示作为关系。

这种方法可以在生成的知识图谱中提供更好的关系质量，因为派生关系具有传统构建的知识图谱中看不到的几个特征：

1. 关系可能很复杂，例如，“A 有能力，但不擅长 B”。
2. 关系可能涉及两个以上的实体，例如“A 可以在 C 处做 B”。

有趣的是，使用LLM形成知识图谱还提供了一种可视化和量化LLM中捕获的知识的新方法。

BertNet中自动构建知识图谱的过程。资料来源：Hao 等人，2022 https://doi.org/10.48550/ARXIV.2206.14268

总之，我们讨论了知识图谱和大语言模型（LLM）作为知识库的潜力。知识图谱擅长捕捉关系并具有更强的推理能力，但构建起来困难且成本高昂。另一方面，LLM包含广泛的知识，但容易出现偏见、幻觉和其他问题。微调或适应特定领域的计算成本也很高。为了利用这两种方法的优势，可以通过多种方式将知识图谱和LLM集成在一起。

在本文中，我们重点讨论使用LLM来协助自动知识图谱构建。我们特别回顾了四个例子，包括早期的 COMET 模型、使用 ChatGPT 作为 BEAR 中的信息提取器以及直接从 LLM 中获取知识。这些方法代表了结合知识图谱和LLM的优势以增强知识表示的一条有前途的道路。