Les transformateurs sont un nouveau développement dans l’apprentissage automatique qui a récemment attiré beaucoup d’attention. Ils savent très bien garder une trace du contexte, c'est pourquoi le texte qu'ils écrivent a du sens. Dans ce chapitre, nous passons en revue leur architecture et leur fonctionnement.
Les modèles de transformateurs constituent l’un des nouveaux développements les plus intéressants dans le domaine de l’apprentissage automatique. Ils sont présentés dans l'article « L'attention est tout ce dont vous avez besoin ». Les transformateurs peuvent être utilisés pour écrire des histoires, des essais, des poèmes, répondre à des questions, traduire entre langues, discuter avec des humains et même réussir des examens difficiles pour les humains ! Mais que sont-ils ? Vous serez heureux de savoir que l'architecture du modèle Transformer n'est pas si compliquée, c'est juste une concaténation de composants très utiles, chacun avec sa propre fonctionnalité. Dans ce chapitre, vous découvrirez tous ces composants.
Bref, à quoi sert un transformateur ? Imaginez que vous écrivez un message texte sur votre téléphone. Après chaque mot, vous pouvez recevoir trois suggestions de mots. Par exemple, si vous tapez « Bonjour, comment allez-vous », le téléphone peut suggérer des mots comme « vous » ou « votre » comme mot suivant. Bien sûr, si vous continuez à choisir les mots suggérés sur votre téléphone, vous vous rendrez vite compte que les messages qu'ils forment n'ont aucun sens. Si vous regardez chaque groupe de 3 ou 4 mots consécutifs, cela peut avoir du sens, mais les mots ne sont liés à rien de significatif. En effet, le modèle utilisé dans le téléphone n'inclut pas le contexte global du message, il prédit simplement quel mot est le plus susceptible d'apparaître après les derniers mots. Les transformateurs, quant à eux, gardent une trace du contexte de ce qui est écrit,
Les téléphones peuvent suggérer le prochain mot à utiliser dans un message texte, mais ne peuvent pas générer de texte cohérent.
Je dois te le dire honnêtement,