大语言模型（LLM）能够执行各种自然语言任务，例如文本生成、语言翻译、文本摘要、问答等。然而，使用 LLM 的一个显著局限是 LLM 幻觉。

幻觉是指由 LLM 生成的响应虽然看起来正确且一致，但实际并非完全准确的现象。如果您不是特定领域内的专家，很难发现 LLM 生成的回答是不准确的。

一、什么是 RAG？

当我们向 LLM 提出超出其预训练知识范围的问题时，通常 LLM 会出现幻觉。例如，如果我们向 LLM 提出涉及医学或法律等高度专业化的问题，并包含大量内部术语时，我们就有可能得到 LLM 随机生成的不准确的回答。

缓解这一问题的一种方法是使用特定的数据集对 LLM 进行微调。虽然这种方法很有效，但十分耗时且高成本，需要消耗的内存也非常高。

RAG 是另一种基于信息检索方法，可以缓解 LLM 幻觉。我们首先获取用户的查询，然后在我们的数据库中找到最相关的上下文，这些上下文可以帮助 LLM 生成准确的回答。通过在用户查询的同时提供上下文，我们可以显著提高 LLM 响应的准确性。

RAG 本身由三部分构成：检索（Retrieval）、增强（Augmentation）、生成（Generation）。

在检索组件中，RAG 检索可以帮助 LLM 生成基于上下文的回答。为了检索上下文，我们首先必须使用如 Sentence Transformers、OpenAI、VoyageAI 等 Embeding 模型将所有上下文信息转换为向量。接下来，我们将这些向量存储在 Milvus 和 Zilliz Cloud（全托管 Milvus 服务）之类的向量数据库中。

当用户进行查询时，我们使用与编码上下文相同的模型将查询转换为向量。然后，在 Milvus 这样的向量数据库中执行向量搜索（也称为向量相似性搜索或语义相似性搜索），以计算查询向量与向量数据库内上下文向量之间的相似性。最后，与用户查询相似度最高的top-k 个结果将被作为相关上下文。

在增强组件中，从检索组件检索到的相关上下文被合并在一起，与原始用户查询一起形成一致的 Prompt，传入 LLM。最后，LLM 根据提供的 Prompt 在生成组件中生成最终响应。

二、什么是多模态 RAG 应用？

RAG 通过在用户查询的同时提供相关上下文，能够有效提高 LLM 响应质量。然而，在现实世界的应用中，并非所有相关上下文都以文本形式提供。

可能存在这样的情况，即最相关的上下文以文档中的图像或表格的形式提供。问题是，由于大多数 LLM 和 Embedding 模型的性质，它们无法推断图像内的内容。它们在推断表格或表格数据的内容时也往往遇到困难。正如你可能已经了解的那样，LLM 被预训练用于预测给定 Token 的下一个最可能的 Token。这意味着 LLM 会自然地尝试按顺序理解文本内容，这并不适用于表格数据。

多模态 RAG 是一种新方法，它接受来自不同模态的数据作为上下文传递给 LLM。我们需要使用具有多模态能力的 LLM 来执行多模态 RAG 任务，例如 LLaVA、GPT-4-V、Gemini 1.5、Claude 3.5 Sonnet 等模型。不过，我们仍然可以使用基于文本的 Embedding 模型，像 CLIP 这样的多模态模型也是一个不错的选择。

我们可以通过几种方式实现多模态 RAG：

• 使用像 CLIP 这样的多模态 Embedding 模型将文本和图像转换为向量。接下来，通过执行查询和文本/图像向量之间的相似性搜索来检索相关上下文。最后，将最相关上下文的原始文本和/或图像传递给我们的多模态 LLM。
• 使用多模态 LLM 为图像或表格生成文本摘要。接下来，使用基于文本的 Embedding 模型将这些文本摘要转换为向量。然后，执行查询和摘要向量之间的文本相似性搜索。最后，将最相关摘要的原始图像传递给我们的 LLM 以生成响应。

---

三、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】