版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
1. 一些定义
功能：
输入一个词，然后试着估计 其他词 出现在 该词附近 的概率。
gram 含义：
是一个有 n 个单词的组 (group)，其中 n 是 gram 的窗口大小 (window size)。
例如：「The cat sat on the mat」这句话用 3 个 gram 表示的话，是「The cat sat」、「cat sat on」、「sat on the」、「on the mat」。
skip 含义：
指一个输入词 在不同的上下文词 的情况下，在数据集中 重复的次数。
2. 预期功能
框架名称：
Word2Vec 上下文预测系统
预期测试结果：
输入：词「cat」
输出：预测的上下文(「the」，「sat」)
3. 训练过程
输入：
gram
过程：
Word2Vec 系统将遍历所有 给出的 gram 和 输入的单词，并尝试学习适当的 映射向量(嵌入)
4. 测试过程
输入：
给定输入单词，例如 词「cat」
输出：
预测的上下文(「the」，「sat」)，因为正确的上下文单词在softmax 输出层能得到 更高概率。
5. 改进
改进：
实际上，该权重矩阵 可以当做 查找或编码单词的总表。
好处：
1. 一旦训练了网络，就意味着我们 放弃了softmax层 并使用 10,000 x 300 的权重矩阵 作为我们的 嵌入式查找表。大大节约计算量。
2. 由于采用这种方式训练网络，这些权值 还包含了上下文信息。(独热方法剥离了单词的所有局部语境，也就是说它会去掉句子中（或句子之间）紧密相连的单词的信息。)