前言

• 1. Embedding往往包含语义关系

• 2. 举个通俗的例子来说明

• 2.1 Embedding 像是一种“翻译器”

• 2.2 Embedding 像地图上的“坐标”

---

Embedding 是一种机器学习概念，用于将数据映射到高维空间，将语义相似的数据放在一起。Embedding模型通常是 BERT 或其他 Transformer 系列中的深度神经网络，可以用一系列称为向量(vectors)的数字有效地表示文本、图像和其他数据类型的语义。这些模型的一个主要特点是，向量之间在高维空间中的数学距离可以表示原始文本或图像语义的相似性。这一特性开启了许多信息检索应用，如谷歌和必应等网络搜索引擎、电子商务网站上的产品搜索和推荐，以及最近流行的生成式人工智能中的检索增强生成（RAG）范式。

Embedding 有两大类，每一类都能产生不同类型的向量：

• 密集嵌入：大多数嵌入模型将信息表示为数百到数千维的浮点向量。由于大多数维度的值都不为零，因此输出的向量被称为 "密集 "向量。例如，流行的开源嵌入模型 BAAI/bge-base-en-v1.5 输出的向量为 768 个浮点数（768 维浮点向量）。

• 稀疏嵌入：相比之下，稀疏嵌入的输出向量大部分维数为零，即 "稀疏 "向量。这些向量通常具有更高的维度（数万或更多），这是由标记词汇量的大小决定的。稀疏向量可由深度神经网络或文本语料库统计分析生成。由于稀疏嵌入向量具有可解释性和更好的域外泛化能力，越来越多的开发人员采用稀疏嵌入向量作为高密度嵌入向量的补充。

如向量数据库Milvus，专为向量数据管理、存储和检索而设计。通过整合主流的嵌入(embedding )和重排 (reranking)模型，可以轻松地将原始文本转换为可搜索的向量，或使用强大的模型对结果进行重排，从而获得更准确的 RAG 结果

对于 AI 或机器学习算法来说，原始数据如文字、视频、图片等，这些数据并没有相似性或距离的概念。例如“手机”与“苹果”，对于现代人来说，会知道“苹果”在语义上会联想到“手机”，Embedding 在这当中加入了距离来表达它们之间的关联性，距离越近相关性越高。这使得数据维度大幅减少，而且节省了很多存储空间。

1. Embedding往往包含语义关系

Embedding能捕捉词与词之间的语义关系。相似词的向量通常在空间中接近，并能区分同义词（如“big”和“large”），还能捕捉更复杂的语义关系：

• “king” - “man” + “woman” ≈ “queen”

• king去掉man的语义，再加上woman的语义，就和queen的语义相近

像 BERT 或 GPT 这样的模型会根据上下文调整词的向量。例如，“bank” 在“河岸”和“银行”中的向量会不同。“bank” 在“river bank”和“money bank”中的表示是不同的。

2. 举个通俗的例子来说明

2.1 Embedding 像是一种“翻译器”：

• 它把复杂的事物（比如单词、句子、图片）转化成“机器能理解的数字”。

• 但这些数字不仅仅是随便的编码，而是带有意义的，比如让相似的东西靠得更近。

2.2 Embedding 像地图上的“坐标”：

• 想象有一个巨大的地图，每个单词、句子或图片都被标记成一个点。

• Embedding 会把相似的内容放在地图上靠得更近，比如“猫”和“狗”会靠近，而“猫”和“汽车”距离较远。

• 通过 Embedding，我们可以用数字坐标（如 [2.3, 4.1]）来表示这些东西的位置，机器就能用数学方法分析它们的关系了。

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】