UniIVAL, le premier modèle unifié capable de supporter les tâches image, vidéo et audio-texte !
Entrer dans le groupe NLP —> rejoindre le groupe d'échange NLP
Les grands modèles linguistiques (LLM) font de la quête ambitieuse d'agents généralistes un fantasme.
Un obstacle majeur à la construction de tels modèles généraux est la diversité et l'hétérogénéité des tâches et des modalités.
Une solution prometteuse est l'unification, permettant la prise en charge d'innombrables tâches et modes dans un cadre unifié.
Alors que les grands modèles tels que Flamingo (Alayrac et al., 2022) formés sur des ensembles de données massifs peuvent prendre en charge plus de deux modalités, les modèles unifiés actuels de petite à moyenne taille sont encore limités à 2 modalités, généralement image-texte ou vidéo-texte.
La question que nous nous posons est la suivante : est-il possible de construire efficacement un modèle unifié qui puisse supporter toutes les modalités ?
Pour répondre à cette question, nous proposons UniIVAL , une étape vers cet objectif ambitieux.
Sans s'appuyer sur des tailles d'ensembles de données fantaisistes ou sur des milliards de paramètres de modèle, le modèle UniVAL de paramètres d'environ 0,25 milliard transcende les deux modalités, unifiant le texte, les images, la vidéo et l'audio en un seul modèle.
Notre modèle est effectivement préformé sur de nombreuses tâches basées sur l'équilibrage des tâches et l'apprentissage multimodal du curriculum.
UniIVAL montre les performances compétitives des méthodes de pointe existantes dans les tâches d'image et de vidéotexte.
Les représentations de caractéristiques apprises à partir de modèles d'image et de texte vidéo permettent aux modèles d'atteindre des performances compétitives lorsqu'ils sont affinés sur des tâches de texte audio, même s'ils ne sont pas pré-formés sur l'audio.
Bénéficiant du modèle unifié, nous présentons une nouvelle étude de fusion de modèles multimodaux via l'interpolation de poids de modèles entraînés sur différentes tâches multimodales, montrant leurs avantages en particulier pour la généralisation hors distribution.
Enfin, nous encourageons l'unification en démontrant la synergie entre les tâches.
Résumer
Dans cette étude, nous introduisons UniIVAL, le premier modèle unifié capable de prendre en charge des tâches d'image, de vidéo et de texte audio.
Nous le faisons avec un modèle relativement petit avec des paramètres d'environ 0,25 milliard sur un ensemble de données relativement petit.
Notre système unifié est pré-formé multitâche avec de multiples avantages. Il exploite la synergie entre différentes tâches et modalités, permet une formation plus efficace des données et présente une forte capacité de généralisation à de nouvelles modalités et tâches.
L'aspect unificateur de notre stratégie ouvre la voie à des techniques intéressantes de fusion de modèles affinés sur différentes tâches multimodales : nous démontrons qu'en plus de la pré-formation multitâche, la diversité des tâches peut être davantage exploitée par la fusion par interpolation de poids.
En fin de compte, nous espérons que notre travail inspirera la communauté des chercheurs et accélérera les progrès dans la création d'agents assistants généralistes indépendants des modalités.
Entrer dans le groupe NLP —> rejoindre le groupe d'échange NLP