AMBERT: UN MODÈLE LINGUISTIQUE PRÉ-FORMÉ AVEC TOKENISATION MULTI-GRAINS
1. Quels sont les problèmes avec le précédent BERT?
Induction: c'est-à-dire que le jeton dans BERT est à grain fin. Ce grain fin ne peut pas résoudre «l'expression à plusieurs mots en anglais (comme la crème glacée; New York). La signification de ces expressions à plusieurs mots est loin d'être la vraie signification. ) "
2. Solution de l'auteur
Dans cet article, nous proposons un modèle BERT multi-grains (AMBERT), qui utilise à la fois des balises à grain fin et à grain grossier . Pour l'anglais, AMBERT étend BERT en construisant simultanément des représentations de mots et de phrases dans le texte d'entrée à l'aide de deux encodeurs. Pour être précis, AMBERT effectue d'abord la tokenisation au niveau du mot et de la phrase. Ensuite, il prend l'incorporation de mots et de phrases comme entrée pour les deux encodeurs. Il utilise les mêmes paramètres dans les deux encodeurs. Enfin, il obtient la représentation contextuelle du mot et la représentation contextuelle de la phrase à chaque position. Notez qu'en raison du partage des paramètres, le nombre de paramètres dans AMBERT est équivalent au nombre de paramètres dans BERT. AMBERT peut représenter le texte d'entrée au niveau du mot et au niveau de la phrase pour tirer parti des avantages de ces deux méthodes de marquage et créer une représentation plus riche pour le texte d'entrée à plusieurs granularités
3 Contribution de l'auteur (points innovants)
- Recherche sur le modèle de langage de pré-formation multi-granularité
- Proposer un nouveau modèle de langage pré-entraîné appelé AMBERT en tant qu'extension de BERT, qui utilise des jetons multi-granularité et des paramètres partagés
- Vérification empirique d'AMBERT sur les ensembles de données de référence anglais et chinois GLUE, SQuAD, RACE et CLUE.
Se référer spécifiquement à l' expertise de lien et thèse: https: //www.zhuanzhi.ai/vip/bc6b030cfb7f96c81f1eb5440fcb7f94
documents adresse