Avant-propos:

En raison de l'étude récente du problème de dénomination des entités du graphe de connaissances, dans l'expérience, nous avons utilisé word2vec pour réduire le traitement des mots.Par conséquent, pour cet outil, la situation de base doit être comprise.

10.1 Intégration de mots (word2vec)

10.1.1 Pourquoi ne pas utiliser des vecteurs one-hot

Un vecteur one-hot représente un mot (les caractères sont des mots). En supposant que l'index d'un mot est iii, afin d'obtenir la représentation vectorielle one-hot du mot, nous créons un vecteur de longueur NNN avec tous les 0 et définissons son iii 1. Un vecteur de mot unique ne peut pas exprimer avec précision la similitude entre différents mots, comme la similitude cosinus que nous utilisons souvent

Puisque la similitude cosinus des vecteurs one-hot de deux mots différents est de 0

Il représente chaque mot comme un vecteur de longueur fixe et permet à ces vecteurs de mieux exprimer la relation de similitude et d'analogie entre différents mots. L'outil word2vec contient deux modèles, à savoir le modèle skip-gram [2] et le modèle du sac continu de mots (CBOW)

10.1.2 Modèle de mot de saut

Supposons que la séquence de texte est "l'homme" "aime" "son" "fils". Avec «aime» comme mot central, définissez la taille de la fenêtre d'arrière-plan sur 2.

关于 SoftMax: https://blog.csdn.net/lz_peter/article/details/84574716

Développer pour plus général:

En supposant que la génération des mots d'arrière-plan est indépendante les uns des autres avec un mot central donné, lorsque la taille de la fenêtre d'arrière-plan est de mm, la fonction de probabilité du modèle de saut de mots est la probabilité de générer tous les mots d'arrière-plan étant donné n'importe quel mot central