以ChatGPT为代表的大模型，是全新一代知识表示和调用方式，相比以往知识图谱的方式，更加高效智能可扩展等，开启通用人工智能之门。但符号化的知识图谱过时了吗？并非如此，知识图谱和大模型可以进行很好的结合，互相促进，提升知识利用的效果。来自澳大利亚格里菲斯大学（Griffith University）等学者《统一大型语言模型和知识图谱:路线图》，29页pdf详述最全指南，值得关注！
大型语言模型（LLMs），如ChatGPT和GPT4，由于其新兴能力和通用性，正在自然语言处理和人工智能领域掀起新浪潮。然而，LLMs是黑箱模型，常常难以捕获和获取事实知识。相比之下，知识图谱（KGs），例如维基百科和华普，是结构化知识模型，明确存储丰富的事实知识。知识图谱可以通过提供外部知识以推理和解释，从而增强LLMs。同时，知识图谱难以构建并且具有不断演变的特性，这对知识图谱中生成新事实和表示未见知识的现有方法提出了挑战。因此，将LLMs和知识图谱统一起来并同时利用它们的优势是互补的。在这篇文章中，我们提出了一个前瞻性的LLMs和知识图谱统一的路线图。我们的路线图包括三个总体框架，即1) 知识图谱增强的LLMs，它在LLMs的预训练和推理阶段，或为了增强对LLMs所学知识的理解，将知识图谱纳入其中；2) LLM增强的知识图谱，利用LLMs进行不同的知识图谱任务，如嵌入，完成，构建，图到文本生成和问答；以及 3)协同的LLMs + 知识图谱，在其中LLMs和知识图谱扮演着平等的角色，并以互利的方式工作，以增强LLMs和知识图谱对由数据和知识驱动的双向推理。我们在路线图中回顾和总结了这三个框架内的现有努力，并指出了它们的未来研究方向。
1. 引言
大型语言模型（LLMs）（例如，BERT [1]，RoBERTA [2]和T5 [3]），在大规模语料库上预训练，已经在各种自然语言处理（NLP）任务中展现出了优异的表现，如问题回答[4]，机器翻译[5]和文本生成[6]。最近，模型规模的急剧增加进一步赋予了LLMs新兴的能力[7]，为将LLMs作为人工通用智能（AGI）的应用铺平了道路。像ChatGPT和PaLM2这样的高级LLMs，拥有数十亿的参数，在许多复杂的实际任务中展现出了巨大的潜力，如教育[8]，代码生成[9]和推荐[10]。
尽管LLMs在许多应用中取得了成功，但它们因缺乏事实知识而受到批评。具体来说，LLMs记住了训练语料库中包含的事实和知识[14]。然而，进一步的研究揭示，LLMs无法回忆起事实，而且经常会产生幻觉，生成事实上不正确的声明[15]，[28]。例如，当被问到“爱因斯坦在什么时候发现了重力？”时，LLMs可能会说“爱因斯坦在1687年发现了重力”，这与艾萨克·牛顿制定了引力理论的事实相矛盾。这个问题严重损害了LLMs的可信度。
作为黑箱模型，LLMs也因其缺乏可解释性而受到批评。LLMs隐含地在它们的参数中表示知识。解释或验证LLMs获取的知识很困难。此外，LLMs通过概率模型执行推理，这是一个不确定的过程[16]。LLMs用于得出预测或决策的特定模式和功能对人类来说并不直接可访问或可解释[17]。尽管一些LLMs通过应用思维链[29]来解释它们的预测，但它们的推理解释也受到了幻觉问题的影响[30]。这严重影响了LLMs在高风险场景中的应用，如医疗诊断和法律判断。例如，在一个医疗诊断场景中，LLMs可能会错误地诊断疾病，并提供与医学常识相矛盾的解释。这引发了另一个问题，即在一般语料库上训练的LLMs可能无法很好地泛化到特定领域或新知识，因为缺乏领域特定的知识或新的训练数据[18]。
为解决上述问题，一个可能的解决方案是将知识图谱（KGs）融入到LLMs中。知识图谱（KGs），以三元组（头实体，关系，尾实体）的方式存储大量事实，是一种结构化且决定性的知识表示方式（例如，Wikidata [20]，YAGO [31]，和 NELL [32]）。KGs对于各种应用至关重要，因为它们提供了准确的显式知识[19]。此外，它们因其象征性推理能力[22]而著名，该能力可以生成可解释的结果。KGs也可以随着新知识的不断加入而积极演化[24]。此外，专家可以构建特定领域的KGs，以提供精确且可靠的特定领域知识[23]。然而，KGs难以构建[33]，而当前在KGs中的方法[25]，[27]，[34]在处理真实世界KGs的不完整和动态变化性质方面是不足够的。这些方法未能有效地模拟未见实体和表示新事实。此外，它们经常忽视KGs中的丰富文本信息。此外，KGs中的现有方法通常针对特定的KGs或任务定制，不够通用。因此，利用LLMs来解决KGs面临的挑战也是必要的。我们分别在图1中总结了LLMs和KGs的优缺点。
最近，将LLMs与KGs统一起来的可能性越来越受到研究人员和从业人员的关注。LLMs和KGs本质上是互相关联的，可以相互增强。在KG增强的LLMs中，KGs不仅可以被整合到LLMs的预训练和推理阶段，以提供外部知识[35]-[37]，而且还可以用于分析LLMs并提供可解释性[14]，[38]，[39]。在LLM增强的KGs中，LLMs已经被用于各种与KG相关的任务，例如KG嵌入[40]，KG完成[26]，KG构建[41]，KG-to-text生成[42]，和KGQA[43]，以提高KGs的性能并促进KGs的应用。在协同作用的LLM + KG中，研究人员将LLMs和KGs的优点结合起来，相互提高在知识表示[44]和推理[45]，[46]方面的性能。虽然有一些关于知识增强LLMs的调查[47]-[49]，主要关注使用KGs作为外部知识来增强LLMs，但它们忽视了其他整合KGs的可能性，以及LLMs在KG应用中的潜在角色。
在这篇文章中，我们提出了一个展望未来的路线图，用于统一LLMs和KGs，利用它们各自的优势并克服各种方法的限制，以适应各种下游任务。我们提出了详细的分类，进行了全面的回顾，并指出了这些快速发展领域的新兴方向。我们的主要贡献如下：
路线图。我们提出了一个展望未来的路线图，用于整合LLMs和KGs。我们的路线图包括三个通用框架来统一LLMs和KGs，即，KG增强的LLMs，LLM增强的KGs，以及协同作用的LLM + KGs，为这两种不同但互补的技术的统一提供了指导。
分类和回顾。对于我们路线图的每一个整合框架，我们都提出了详细的分类和统一LLMs和KGs研究的新颖分类法。在每个类别中，我们从不同的整合策略和任务的角度回顾了研究，这为每个框架提供了更多的洞察。
新兴进步的覆盖范围。我们覆盖了LLMs和KGs的先进技术。我们包括了最新的LLMs如ChatGPT和GPT-4以及新的KGs，例如多模态知识图谱的讨论。
挑战和未来方向的总结。我们强调了现有研究中的挑战，并提出了一些有前途的未来研究方向。
2. 背景知识
在本节中，我们将首先简要介绍几种代表性的大型语言模型（LLMs），并讨论提示工程，该工程有效地使用LLMs进行各种应用。然后，我们将说明知识图谱（KGs）的概念，并介绍KGs的不同类别。
大型语言模型
在大规模语料库上预训练的大型语言模型（LLMs）已经在各种NLP任务中展现出巨大的潜力[13]。如图3所示，大多数LLMs都源于Transformer设计[50]，该设计包含了由自注意力机制赋能的编码器和解码器模块。根据架构结构，LLMs可以被分类为三个组：1）仅编码器的LLMs，2）编码器-解码器的LLMs，和3）仅解码器的LLMs。如图2所示，我们总结了几个具有不同模型架构，模型大小和开源可用性的代表性LLMs。
提示工程
提示工程是一个新兴的领域，专注于创建和精炼提示，以最大化大型语言模型（LLMs）在各种应用和研究领域中的效用[63]。如图4所示，提示是为LLMs指定任务（例如，情感分类）的自然语言输入序列。一个提示可能包含几个元素，即1）指令，2）上下文，和3）输入文本。指令是指导模型执行特定任务的短句。上下文为输入文本或少数示例提供背景。输入文本是需要模型处理的文本。提示工程寻求提高大型语言模型（例如，ChatGPT）在多种复杂任务中的能力，如问题回答，情感分类和常识推理。链式思维（CoT）提示[64]通过中间推理步骤实现复杂推理能力。Liu等人[65]结合外部知识来设计更好的知识增强提示。自动提示工程师（APE）提出了一种自动提示生成方法，以提高LLMs的性能[66]。提示提供了一种简单的方式，可以在无需微调的情况下利用LLMs的潜力。精通提示工程可以更好地理解LLMs的优点和缺点。
知识图谱（KGs）知识图谱（KGs）将结构化知识存储为三元组集合KG = {(h, r, t) ⊆ E × R × E}，其中E和R分别表示实体和关系的集合。现有的知识图谱（KGs）可以根据存储的信息被分为四组：1）百科全书型KGs，2）常识KGs，3）特定领域KGs，以及4）多模态KGs。我们在图5中展示了不同类别的KGs的例子。
应用
LLMs 以及 KGs 已被广泛应用在各种真实世界的应用中。我们在表1中总结了一些使用LLMs和KGs的代表性应用。ChatGPT/GPT-4是基于LLM的聊天机器人，可以以自然对话格式与人类进行交流。为了提高LLMs的知识意识，ERNIE 3.0 和 Bard将KGs整合进他们的聊天机器人应用中。Firefly开发了一款照片编辑应用，允许用户使用自然语言描述来编辑照片。Copilot、New Bing 和 Shop.ai 分别采用LLMs来增强他们在编码助手、网络搜索和推荐等领域的应用。Wikidata 和 KO 是两个代表性的知识图谱应用，被用来提供外部知识。AliOpenKG是一个为推荐设计的知识图谱。Doctor.ai 开发了一个健康护理助手，整合了LLMs和KGs以提供医疗建议。
3 路线图和分类
在本节中，我们首先提出一个明确的框架路线图，以统一LLMs和KGs。然后，我们呈现了关于统一LLMs和KGs的研究分类。
3.1 路线图
我们在图6中描绘了统一KGs和LLMs的路线图。在路线图中，我们确定了统一LLMs和KGs的三个框架，包括KG增强的LLMs，LLM增强的KGs，以及协同的LLMs + KGs。
3.1.1 KG增强的LLMs
LLMs因其能够从大规模语料库中学习知识并在各种自然语言处理（NLP）任务中取得最先进的性能而闻名。然而，LLMs经常因其幻觉问题[15]和缺乏可解释性而受到批评。为解决这些问题，研究人员已经提出了用知识图谱（KGs）来增强LLMs。KGs以明确和结构化的方式存储大量知识，这可以用来增强LLMs的知识意识。一些研究人员已经提出在预训练阶段将KGs纳入LLMs，这可以帮助LLMs从KGs中学习知识[91]，[92]。其他研究人员提出在推理阶段将KGs纳入LLMs。通过从KGs中检索知识，可以显著提高LLMs在获取特定领域知识方面的性能[93]。为了提高LLMs的可解释性，研究人员还利用KGs来解释LLMs的事实[14]和推理过程[94]。
3.1.2 由LLM增强的KG
知识图谱（KGs）储存着结构化的知识，这在很多实际应用中都起着至关重要的作用[19]。然而，现有的KG方法在处理不完整的KG [25]和处理文本语料库来构建KG [95]方面存在短板。鉴于LLM的泛化能力，许多研究人员正试图利用LLM来解决KG相关的任务。最直接的方式就是将LLM作为KG相关任务的文本编码器。研究人员利用LLM处理KG中的文本语料库，然后使用文本的表示来丰富KG的表示[96]。一些研究还使用LLM来处理原始语料库，并提取关系和实体用于KG的构建[97]。最近的一些研究试图设计一个KG提示，这可以有效地将结构化的KG转化为LLM可以理解的格式。这样，LLM就可以直接应用到KG相关的任务中，例如KG完成[98]和KG推理[99]。
3.1.3 融合了LLM和KG的系统
这几年，研究人员越来越关注将LLM和KG融合的潜力[40]，[42]。LLM和KG是两种固有的互补技术，应当将它们统一到一个通用框架中，以便互相增强。为了进一步探索这种统一，我们在图7中提出了一个融合了LLM和KG的统一框架。这个统一框架包含四层：1) 数据，2) 融合模型，3) 技术，和4) 应用。在数据层，LLM和KG分别用于处理文本和结构化数据。随着多模态LLM[100]和KG[101]的发展，这个框架可以扩展到处理多模态数据，如视频、音频和图像。在融合模型层，LLM和KG可以相互协同，以提高他们的能力。在技术层，已经在LLM和KG中使用的相关技术可以被纳入到这个框架中，以进一步增强性能。在应用层，LLM和KG可以整合起来，以解决各种实际应用，如搜索引擎[102]、推荐系统[10]和AI助手[103]。
3.2 分类
为了更好地理解将大型语言模型(LLMs)和知识图谱(KGs)统一的研究，我们为路线图中的每个框架提供了更细粒度的分类。具体来说，我们关注了将知识图谱和大型语言模型集成的不同方式，即，知识图谱增强的大型语言模型、知识图谱增量的大型语言模型，以及融合了大型语言模型和知识图谱的系统。研究的细粒度分类如图8所示。
知识图谱增强的大型语言模型。整合知识图谱可以提高大型语言模型在各种下游任务中的性能和可解释性。我们将知识图谱增强的大型语言模型研究分为三组：1) 知识图谱增强的大型语言模型预训练包括在预训练阶段应用知识图谱并提高大型语言模型的知识表达的工作。2) 知识图谱增强的大型语言模型推理包括在大型语言模型的推理阶段使用知识图谱的研究，这使得大型语言模型能够在不进行再训练的情况下获取最新的知识。3) 知识图谱增强的大型语言模型的可解释性包括使用知识图谱来理解大型语言模型所学习的知识和解释大型语言模型的推理过程的工作。
大型语言模型增量的知识图谱。大型语言模型可以应用于增强各种与知识图谱相关的任务。我们根据任务类型将大型语言模型增量的知识图谱研究分为五组：1) 大型语言模型增强的知识图谱嵌入包括使用大型语言模型来丰富知识图谱的表示，通过编码实体和关系的文本描述。2) 大型语言模型增强的知识图谱完成包括使用大型语言模型编码文本或生成事实以提高知识图谱完成(KGC)性能的论文。3) 大型语言模型增强的知识图谱构建包括使用大型语言模型处理实体发现，共指消解，和关系提取任务以构建知识图谱的工作。4) 大型语言模型增强的知识图谱到文本生成包括使用大型语言模型生成描述来自知识图谱的事.
4 未来方向
在前面的部分中，我们已经回顾了将知识图谱(KGs)和大型语言模型(LLMs)统一的最新进展，但是仍有许多挑战和未解决的问题需要解决。在本节中，我们将讨论这个研究领域的未来方向。
使用知识图谱(KGs)进行大型语言模型(LLMs)的错觉检测
在LLMs中编辑知识的知识图谱(KGs)
用于黑盒LLMs知识注入的知识图谱(KGs)
针对知识图谱(KGs)的多模态LLMs
用于理解知识图谱结构的LLMs
用于双向推理的融合LLMs和KGs。
5 结论
将大型语言模型（LLMs）和知识图谱（KGs）统一是一个吸引了学术界和工业界越来越多关注的活跃的研究方向。在本文中，我们对该领域的最近研究提供了全面的概述。我们首先介绍了将KGs集成以增强LLMs的不同方式。然后，我们介绍了应用LLMs于KGs的现有方法，并基于各种KG任务建立了分类法。最后，我们讨论了这个领域的挑战和未来的方向。我们希望本文能够提供对这个领域的全面理解，并推动未来的研究。
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
后台回复或发消息“LLMG” 就可以获取《大模型时代: 知识图谱过时了吗？Griffith大学等最新《统一大型语言模型和知识图谱:路线图》，29页pdf详述最全指南》专知下载链接
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！
欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！
点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料