Application pratique de la génération de titres courts personnalisés basée sur le GAN sur la plate-forme 1688

Lien d'origine: https://developer.aliyun.com/article/770631

Application pratique de la génération de titres courts personnalisés basée sur le GAN sur la plate-forme 1688

        在电商情境下，卖家为了吸引买家兴趣，也为了提高商品被搜索引擎检索命中的概率，通常趋向于写过于冗长的商品标题。如何从过于冗长的标题中抽取关键信息作为短标题展示在手机端，同时结合不同用户的兴趣及用户特征，展示不同的短标题，是我们研究的核心。过去，1688导购场景中的短标题文案由卖家填写或仅通过简单的统计方法实现，基于此，我们运用算法的手段构建深度学习模型，并在1688平台的多个场景里尝试并落地了个性化短标题生成的技术，丰富了场景的营销内容，在场景中取得了不错的效果。</span>

1. Introduction générale

À partir des travaux de l’année dernière, notre équipe a accumulé un schéma de génération de contenu pour des algorithmes de génération de rédaction stylisée. Après cela, nous avons proposé de manière innovante l'utilisation de la technologie de génération Generative Adversarial Network, combinée aux caractéristiques des utilisateurs pour générer des titres courts personnalisés, tout en améliorant la robustesse du modèle sous des ensembles de données rares. Les résultats ont été acceptés par la conférence DLP-KDD2020, et le titre de l'article est "Vendre des produits par machine: une méthode de formation conflictuelle sensible à l'utilisateur pour la génération de titres courts dans le commerce électronique mobile".

Dans le passé, les recherches connexes partaient principalement du contenu du produit, mais manquaient d’exploration du comportement des utilisateurs, négligeant ainsi les besoins des acheteurs. Nous proposons un "Réseau Adversaire de Génération de Pointeurs Personnalisés (PPGAN)" pour générer des titres courts personnalisés perçus par les utilisateurs. En outre, sur l'ensemble de données, le faible taux de clics des utilisateurs dans les données sur le comportement des utilisateurs du commerce électronique rend notre ensemble de données très rare. Le modèle présenté dans cet article présente une stratégie de théorie de l'information non supervisée qui peut identifier des données de haute qualité à partir de données non cliquées par l'utilisateur. Modèle de formation de titre court.

2. Structure du modèle

Le réseau modèle PPGAN dans son ensemble contient trois modules, 1. Intégration de mots dans le commerce électronique, 2. Générateur de titre abrégé personnalisé G, 3. Deux discriminateurs différents D: discriminateur vrai et faux et discriminateur CTR. Ces trois modules constituent ensemble notre cadre de modèle personnalisé de génération de titres courts.

1. Intégration de mots dans le commerce électronique

Nous utilisons l'outil NER de commerce électronique d'AliNLP pour identifier les titres de produits et les caractéristiques des utilisateurs, et extraire les caractéristiques du type d'entité telles que «couleur», «style» et «catégorie». Par exemple, dans le titre du produit "Livraison gratuite pantalon de sport rouge de marque Nike", "Livraison gratuite" est marqué comme "service du marché", "Nike" est marqué comme "marque", "rouge" est marqué comme "couleur" et "pantalons de sport" Marquer comme "catégorie". Pour chaque mot, nous avons assemblé son vecteur de mot et son vecteur NER en tant que vecteur de mot d'entrée du modèle.

Pour la séquence de titre du produit, chaque mot est représenté par:

Pour la séquence de fonctionnalités utilisateur, chaque mot est représenté par:

En ajoutant les informations NER du mot, le modèle peut apprendre l'importance de chaque mot et conserver les mots importants dans le titre court.

2. Générateur de titre abrégé personnalisé

Pour le générateur de titre abrégé, les informations d'entrée sont le titre du produit et les caractéristiques de l'utilisateur. Le titre abrégé est extrait du titre original via le modèle de réseaux de pointeurs en une étape. Par rapport au réseau de pointeurs en plusieurs étapes traditionnel, le pointeur en une étape le réseau est en train de décoder Décodage en une étape, évitant le problème d'extraction répétitif du décodage en plusieurs étapes.

Construction des caractéristiques de l'utilisateur: Nous utilisons des méthodes statistiques pour calculer les caractéristiques de l'utilisateur en fonction des enregistrements de clics de l'utilisateur sur la plateforme. Plus précisément, pour le produit item_t sur lequel l'utilisateur a cliqué, collectez les données des 10 produits sur lesquels l'utilisateur a cliqué avant de cliquer sur l'article et utilisez les statistiques de fréquence de mot pour prendre les mots TOP10 comme caractéristiques utilisateur U = (u_1, u_2, ..., u_10).

Comme le montre la figure, après la construction de la caractéristique utilisateur, la séquence de vecteur de caractéristique utilisateur est entrée dans le réseau GRU, et la représentation utilisateur est calculée.

Afin d'intégrer les caractéristiques de l'utilisateur et du produit cliqué, nous avons épissé la représentation de l'utilisateur avec le vecteur de mot de produit, puis avons entré le codeur GRU pour le codage.

Dans la partie de décodage, grâce au décodage en une étape basé sur le mécanisme d'attention et la couche softmax, la distribution de probabilité sur la séquence d'entrée d'origine est sortie, et le mot avec la probabilité TopK est pris comme titre court généré.

3. Discriminateur

Le discriminateur D est un classificateur binaire qui prend la distribution de sortie Pg du générateur G et la distribution de titre court réel Pr comme entrées, et est utilisé pour discriminer s'il s'agit d'un véritable titre court écrit à la main par un commerçant ou d'un pseudo titre court généré par une machine. Nous définissons la distribution d'entrée des vrais titres courts comme suit, où T est le titre long original, S = (s_1, s_2, ..., s_m) est le véritable titre court et m est la longueur du titre court.

Dans le même temps, afin de rendre le discriminateur moins facile à distinguer l'authenticité des titres courts, nous ajoutons du bruit obéissant à la distribution gaussienne à la distribution des titres courts authentiques pour rendre le processus d'apprentissage plus stable.

Multipliez ces deux distributions de titre avec le vecteur de mot produit pour obtenir la représentation vectorielle du "titre court", qui est entré dans le discriminateur D pour la discrimination après l'épissage des caractéristiques de l'utilisateur.
Le réseau discriminateur D adopte le réseau neuronal convolutif couramment utilisé, y compris le discriminateur vrai et faux et le discriminateur CTR. Le discriminateur vrai et faux est utilisé pour rapprocher le titre court généré par le générateur du véritable titre court sur lequel l'utilisateur a cliqué; de plus, compte tenu de la rareté de l'ensemble de données, la taille de l'échantillon des clics de l'utilisateur est inférieure à la taille de l'échantillon des non-clics, nous espérons donc introduire la discrimination CTR, Pour identifier des modèles de formation de titres courts de haute qualité à partir d'un grand nombre d'échantillons non cliqués.

4. Perte d'entraînement au combat et processus d'entraînement modèle

Le générateur G fait de son mieux pour générer une distribution de titre court proche de la réalité pour l'utilisateur cible, et le discriminateur D fait de son mieux pour maximiser la distance entre les distributions de titre court vrai et faux, afin de porter un jugement correct. Le flux de l'algorithme est illustré dans la figure ci-dessous:

• Tout d'abord, utilisez un grand nombre de paires de titres longs et courts pour pré-entraîner le générateur G afin de mettre à jour rapidement notre générateur. Comme il n'y a pas suffisamment de données de clic utilisateur pour couvrir les produits utilisés, nous n'utilisons les fonctionnalités du titre de produit que dans la phase de pré-formation, sans tenir compte des fonctionnalités utilisateur. Nous utilisons la fonction de perte L2 comme perte lors du pré-entraînement du générateur G:

  

• Dans l'étape d'apprentissage formel 1, les données d'entrée sont les données de produit [T +, U +, S +] cliquées par l'utilisateur, et les fonctions de perte du générateur G et du discriminateur d'authenticité D sont les suivantes:

  

  

• Dans la phase de formation formelle 2, les données d'entrée sont les données de produit [T-, U-] sur lesquelles l'utilisateur n'a pas cliqué. En fait, le titre court sur lequel l'utilisateur ne clique pas n'est pas seulement dû à la mauvaise qualité du titre court, mais aussi parce que l'utilisateur n'est pas intéressé par le produit lui-même. Par conséquent, nous envisageons d'utiliser une méthode de confrontation pour identifier les titres courts sur lesquels les utilisateurs ne cliquent pas mais de bonne qualité. Nous apprenons des travaux existants pour maximiser la frontière d'information entre les exemples positifs et négatifs, et ajoutons l'entropie conditionnelle additive M_D (x) entre les catégories positive et négative dans la perte du discriminateur. La fonction de perte du discriminateur CTR est la suivante:

  

  

3. Résultats expérimentaux et effets en ligne

1. Exemples de données et formation

Nos échantillons de formation proviennent de titres courts écrits à la main par des marchands sur la plate-forme 1688 et de données sur le comportement des utilisateurs dans des scénarios de titres courts existants. L'ensemble de données peut être représenté par, où O est le titre long original du produit, S est le titre court manuscrit, et U est la séquence de fonctionnalités utilisateur, L est l'étiquette de l'utilisateur du produit (1 signifie clic, 0 signifie pas de clic), l'exemple est illustré dans la figure ci-dessous. Notre taille d'échantillon de clic utilisateur est de 640 000 et la taille d'échantillon de non-clic utilisateur est de 6,95 millions, de sorte que l'ensemble de données est relativement clairsemé. En outre, les échantillons de données ont subi certains travaux de nettoyage des données, car la qualité des données des échantillons d'apprentissage affectera sérieusement la qualité du titre abrégé final. Notre traitement comprend principalement la suppression du corpus sale, le filtrage des caractères anormaux et le limitation de la longueur du titre original. Dans le même temps, AliNLP est utilisé pour la reconnaissance d'entité nommée des caractéristiques de l'utilisateur et du produit.

L'échantillon de données est le suivant:

2. Exemple de création d'un titre court personnalisé

Par rapport à la méthode de comparaison, notre modèle PPGAN peut générer des titres courts personnalisés en extrayant des informations qui intéressent des utilisateurs spécifiques à partir des longs titres originaux en fonction de différentes caractéristiques de l'utilisateur. La durée de génération du titre court dans le tableau est fixée à 5. Selon les différentes exigences du produit et de la scène, nous pouvons générer des titres courts personnalisés de différentes longueurs, de sorte que les titres courts générés soient plus adaptés aux besoins de l'entreprise.

L'échantillon généré par l'expérience PPGAN est illustré dans la figure ci-dessous:

3. 1688 effet d'atterrissage

À l'heure actuelle, le titre abrégé personnalisé a été implémenté dans de nombreuses scènes de la plate-forme 1688, notamment le travail d'équipe, les ventes quotidiennes et la collecte en usine. Nous avons effectué un test AB sur le "Find Goods" de la liste, et les résultats ont montré que la valeur absolue du titre court personnalisé en temps réel était d'environ 2,3 points supérieure à la valeur absolue du titre long tronqué, et d'environ 1,7 point supérieur au titre abrégé statistique. Et dans la grande promotion 920 en 2019, ils se sont tous mis en ligne dans le grand lieu de promotion, réalisant le volume d'appels de 1100 + QPS et renforçant pleinement la scène du guide d'achat 1688. Il a été déposé en tant qu'outil technique côté scène pour opération.

Les effets en ligne sont les suivants:

Quatre, références

[1] Martin Arjovsky, Soumith Chintala et Leon Bottou. 2017. Wasserstein Generative Adversarial Networks. Dans ICML. 214–223.
[2] Oriol Vinyals, Meire Fortunato et Navdeep Jaitly. 2015. Réseaux de pointeurs. Dans NIPS. 2692–2700.
[3] Tao Zhang, Jin Zhang, Chengfu Huo et Weijun Ren. 2019. Génération automatique de description de produit contrôlée par modèle dans le commerce électronique. Dans WWW. 2355–2365.
[4] Jiatao Gu, Zhengdong Lu, Hang Li et Victor OK Li. 2016. Incorporer le mécanisme de copie dans l'apprentissage séquentiel. Dans ACL. 1631–1640.
[5] Yue Deng, Yilin Shen et Hongxia Jin. 2017. Disguise Adversarial Networks pour la prévision du taux de clics. Dans IJCAI. 1589-1595.