word2vec 解析

什么是word2vec ?

Word2vec,是为一群用来产生词向量的相关模型。

这些模型为浅而双层的神经网络,用来训练以重新建构语言学之词文本。网络以词表现,并且需猜测相邻位置的输入词,在word2vec中词袋模型假设下,词的顺序是不重要的。训练完成之后,word2vec模型可用来映射每个词到一个向量,可用来表示词对词之间的关系,该向量为神经网络之隐藏层。

word2vec的作用是什么?

word2vec也叫word embeddings,中文名“词向量”

作用就是将自然语言中的字词转为计算机可以理解的稠密向量(Dense Vector)在word2vec出现之前,自然语言处理经常把字词转为离散的单独的符号,也就是One-Hot Encoder(独热编码)。

word2vec的是怎么个工作模式?

输入是One-Hot Vector,Hidden Layer没有激活函数,也就是线性的单元。Output Layer维度跟Input Layer的维度一样,用的是Softmax回归。我们要获取的dense vector其实就是Hidden Layer的输出单元。有的地方定为Input Layer和Hidden Layer之间的权重,其实说的是一回事。

猜你喜欢

转载自blog.csdn.net/u010801439/article/details/81142888