techniques d'apprentissage machine L2R appliquées à la bonne commande.
github https://github.com/jiangnanboy/learning_to_rank
formation lightgbm très rapide, décollage rapide.
Jetez un oeil à avant L2R, l'industrie est de savoir comment faire de tri. Les deux suivantes:
modèle de classement 1.1 pertinence (pertinence classement Modèle)
Pour trier les documents en fonction de la similitude entre la requête et le document.
modèles communs comprennent: modèle booléen (modèle Boolean), un modèle d'espace vectoriel (modèle vectoriel), l'analyse sémantique cachée (analyse sémantique latente), BM25, modèle LMIR comme.
1.2 L'importance du modèle de tri (Importance Classement modèle)
La structure entre la page figure (à savoir, document) pour déterminer le degré d'autorité du document,
sites d'autorité typiques tels que Google, Yahoo! et ainsi de suite. modèles communs incluent PageRank, HITS, HillTop, TrustRank et ainsi de suite.
Pourquoi avons-nous besoin d'utiliser l'apprentissage machine de tri
Pour le modèle de commande traditionnel, modèle unique considèrent souvent qu'un seul aspect (pertinence ou importance),
Répondre aux exigences avec un seul modèle. Nous voulons dire, la combinaison d'une variété de modèles pour trier la commande, mais comment combiner plusieurs modèles de classement pour former un nouveau modèle de classement, est un gros problème.
En utilisant des méthodes d'apprentissage de la machine, nous pouvons modéliser la sortie de chacun du type classique comme une caractéristique, puis un nouveau modèle pour la formation, et d'apprendre automatiquement les nouveaux paramètres du modèle, une telle combinaison peut être facilement triée pluralité de modèles existants pour générer un nouveau modèle de classement.
Maintenant que les caractéristiques méthode d'apprentissage de la machine L2R est utilisé, il aurait alors fonction,
fonction peut être divisée en trois catégories:
Doc se présente: Pagerank, la richesse du contenu, que ce soit du spam, la valeur de la qualité, le CTR et d' autres
fonctions de Query-Doc: corrélation Query-Doc entre le nombre de requête apparaissent dans le document, le mot de requête valeur de proximité (c. -à tous les mots de recherche peuvent apparaître dans le document combien fenêtre) et ainsi de suite. Bien sûr, certaines fonctionnalités de requêtes-Doc est pas explicite, mais il sémantique, que bien que la requête ne figure pas dans le document, mais sémantiquement liés.
Caractéristiques Question: Le nombre d'occurrences dans la requête Interroger tous, rapports, etc.
4. L2R obtenir des données de formation
les données d'entraînement L2R peuvent venir sous trois formes: Pour chaque requête, la valeur absolue de chacun des documents pertinents (très pertinents, plus pertinents, non pertinents, etc.), pour chaque requête, les valeurs de corrélation relatives entre chaque paire de documents (documents documents connexes 1 à 2, 4 aux documents de documents connexes 3, etc.), pour chaque requête, une liste triée par pertinence pour tous les documents (documents 1> Document 2> Document 3). Interchangeable entre ces trois formes de données de formation.
L'obtention des données de formation, il existe deux méthodes principales: annotation manuelle [3] et creuser [4] du fichier journal.
annotation manuelle: Tout d'abord, la recherche au hasard nombre sélectionné de demandes de dossiers de moteur de recherche, les requêtes seront soumises à un certain nombre de moteurs de recherche, puis sélectionnez les différents moteurs de recherche renvoient des résultats de la première K, et enfin par les professionnels à suivre et ces documents pertinence pour marquer la requête.
5. La formation modèle L2R
L2R est un processus d'apprentissage supervisé.
Pour chaque requête donnée - pour documents (paire document de requête), les caractéristiques extraites correspondantes (y compris à la fois la requête et la corrélation entre les divers documents, y compris le document lui-même, caractérisé en importance et analogues), ou en outre annotation manuelle ou pour obtenir la séquence réelle pour une requête donnée sous une collection de documents de la méthode d'extraction du journal. Nous utilisons ensuite divers algorithmes pour apprendre un modèle L2R de tri, la séquence de documents et la séquence de telle sorte que la production réelle aussi proche que possible.
6. Les algorithmes de classification L2R et introduction
algorithme L2R comprend principalement trois catégories: Pointwise, par paires, Listwise.
La solution la plus simple consiste à algorithme Pointwise, par exemple, les estimations de CTR de, au cours de la nécessité de la phase de formation pour marquer la probabilité d'un clic un document, ce qui est relativement facile. Par paires algorithme est une branche importante de la série Lambda, y compris LambdaRank, LambdaMart etc., l'idée de base est: Dans de nombreux cas, il est difficile de calculer directement la valeur de la fonction de perte, mais il est facile de calculer la perte de gradient de fonction (gradient). Cela signifie qu'il est difficile de calculer la liste complète des nDCG ERR et d'autres indicateurs, mais il est facile de savoir qu'un document doit être classé plus vers l'avant ou vers l'arrière. algorithme Listwise est souvent le meilleur, mais comment annoter chaque demande est un énorme défi pour tous les documents.
7. L2R évaluation
L2R est d'utiliser l'apprentissage de la machine à trier donc l'évaluation était d'évaluer l'effet de L2R sorte d'indicateurs, dont plusieurs sur:
1) WTA (Les gagnants prennent tous) pour une requête q donné, la liste des résultats si le modèle est retourné, le premier document est pertinent, la WTA (q) = 1 et 0 sinon.
2) MRR (Mean Reciprocal Rank) pour une requête q donné, si un emplacement associé au premier document est R (q), la MRR (q) = 1 / R (q).
3) MAP (Moyenne Moyenne de précision) pour chaque réel des documents connexes d, dans le modèle de leur position dans le résultat P trié (d), jeu de précision de la classification statistique des documents avant cette position, la moyenne de toutes la précision valeur.
4) NDCG (Normalisée à prix réduits gain cumulé dépréciation normalisé Gain cumulatif) est considéré comme un indicateur d'une relation globale entre le modèle et les résultats réels de la séquence de tri, est les indicateurs les plus couramment utilisés pour mesurer les résultats du tri,
DCG deux idées:
1, de sorte que les résultats du classement plus élevé peuvent affecter le résultat final;
2, il y a une forte corrélation entre les résultats semblent plus proches de la position de haut, l'indice sera plus élevé;
.
5) RC (corrélation Rank) en utilisant la corrélation pour mesurer la similitude entre le réel et le résultat de la séquence de tri, indicateur couramment utilisé est Tau de Kendall.
l'architecture de commande en ligne
étape d'indexation de travail est de lire des documents (documents) par l'indexeur (Indexer) crée un index (indice).
Lire l'index comme une étape d'enquête de rappel, puis à topn Retriever ligne rugueuse, le résultat de gros classé dans les n documents ont été transmis à Reranker bien rangée. Un tel rappel, la ligne rugueuse, rangée de l'architecture fine proposée à l'origine par Google à venir, également connu comme « deux phases Scheme ».
section Index appartient à la scène en ligne, ici nous nous concentrons sur la phase de commande en ligne, l'étape de l'enquête.
En résumé, le rappel global divisé en quatre catégories:
-
Mots-clés rappel, nous avons utilisé des solutions ElasticSearch.
-
rappel à distance, nous avons adopté des solutions KD d'arbres.
-
Grossier classé rappel.
-
rappel de classe recommandée.
progrès
Dans le secteur industriel, les algorithmes de recommandation ont plus d'applications, telles que Microsoft fait DSSM (modèles sémantiques structurés en profondeur), une sorte paire sage méthode de classement. Google a proposé réseau de neurones (un réseau large et profond) ne recommande et le tri. Récemment, nous pourrions utiliser plus RNN / CNN ou Attention recommandation technique à faire. Depuis un utilisateur sur une plate-forme, il y aura une séquence naturelle du comportement, les propriétés de cette RNN / CNN ou Attention, ayant une meilleure facilité d'utilisation.