词嵌入模型：Skip-Gram模型和CBOW模型

目录

Skip-Gram模型和CBOW模型

一、实现方式

二、训练目标

三、应用场景选择

---

Skip-Gram模型和CBOW模型

都是Word2Vec的两种实现方法，它们的确在实现方式和训练目标上有所不同，但共同的目标都是学习词汇的分布式表示（即词向量），以便捕捉词与词之间的语义和句法关系。以下是对这两种模型的详细比较：

一、实现方式

1. Skip-Gram模型

   • 核心思想：通过中心词预测上下文词汇，类似于“由点及面”的扩展。
   • 实现步骤：
     1. 输入层：接收中心词的one-hot编码。
     2. 嵌入层：将中心词的one-hot编码转换为词向量。
     3. 输出层：使用softmax函数输出上下文词汇的概率分布。
   • 特点：注重于从局部到整体的推理，适用于词汇相对较多、训练数据较少的情况。