skip-gram:
刚开始遍历语料库中的每个单词,观察窗口中周围的词,预测周围的词,抓取词与词之间的共同点、这个词与其他词共现的频率是多少,每出现一次进行一次计数并进行梯度更新。但是这样做很没有效率。所以skip-gram的思想是只对可以配对的训练一些二元逻辑回归,因此保留了想要优化和最大化中心词和外围词内积的想法,相对于遍历所有单词,实际上只取一些随机单词并指明这些从语料库其余部分取出来的随机词是不同时出现的,因此得到了skip-gram模型的原始目标函数,称之为word2vec。
Glove
Glove模型(Global Vectors)捕捉单词词频总体统计数据,会很好的给出单词空间中这个单词的近邻单词,即捕捉类比关系。
skip-gram与Glove对比
skip-gram:一次计算一个窗口
Glove:先计算所有的计数,然后处理计数(相关性)