Cet article est une série d'articles LLM visant à la traduction de « Enquête sur les limites des connaissances factuelles des grands modèles linguistiques avec augmentation de la récupération ».
Utilisation de l'augmentation de la récupération pour étudier les limites des connaissances factuelles pour les grands modèles de langage
Résumé
Les tâches à forte intensité de connaissances (par exemple, la réponse aux questions (QA) en domaine ouvert) nécessitent des connaissances factuelles approfondies et s'appuient souvent sur des informations externes pour les aider. Récemment, de grands modèles de langage (LLM) (par exemple ChatGPT) ont montré des capacités impressionnantes à résoudre une gamme de tâches avec des connaissances mondiales, y compris des tâches à forte intensité de connaissances. Cependant, on ne sait pas exactement dans quelle mesure les LLM perçoivent leurs limites factuelles en matière de connaissances, en particulier lorsqu'elles sont combinées à une augmentation de la récupération. Dans cette étude, nous effectuons une analyse préliminaire des limites des connaissances factuelles du LLM et de la manière dont l’augmentation de la récupération affecte le LLM dans l’assurance qualité en domaine ouvert. En particulier, nous nous concentrons sur trois questions de recherche principales et les analysons en examinant les performances d'assurance qualité, le jugement antérieur et le jugement postérieur de LLM. Nous montrons que les LLM ont une confiance inébranlable dans leur capacité à répondre aux questions et dans l’exactitude de leurs réponses. De plus, l’augmentation de la récupération s’est avérée être un moyen efficace d’améliorer la connaissance des limites des connaissances du LLM et ainsi d’améliorer sa capacité de jugement. En outre, nous avons également constaté que les LLM ont tendance à s'appuyer sur les résultats de récupération fournis lors de la formulation des réponses, et que la qualité de ces résultats peut affecter de manière significative leur dépendance. Le code pour reproduire ce travail est disponible sur https://github.com/RUCAIBox/LLM-Knowledge-Boundary .
1. Introduction
2 Contexte et paramètres
3 Analyse expérimentale et découverte
4. Conclusion
Dans ce travail, nous étudions la capacité du LLM à améliorer la prise de conscience des limites des connaissances factuelles grâce à la récupération sur l'assurance qualité en domaine ouvert. En détail, nous proposons des indices de jugement a priori et a posteriori, et effectuons des évaluations d'amélioration normales et de récupération en plus des indices d'assurance qualité. Nous avons tiré plusieurs conclusions clés, notamment (1) les LLM faisaient preuve d'une confiance aveugle dans leur capacité à répondre aux questions et la qualité de leurs réponses, ce qui suggère qu'ils étaient incapables de percevoir avec précision les limites de leurs connaissances factuelles ; (2) les LLM étaient incapables de pleinement utiliser ce qu'ils possédaient, et l'ajout de l'amélioration de la récupération améliore efficacement leur capacité à percevoir les limites des connaissances factuelles, améliorant ainsi leur capacité de jugement. (3) Les LLM ont tendance à s'appuyer fortement sur les résultats de récupération donnés pour répondre aux questions, et les caractéristiques des pièces justificatives affectent considérablement leur dépendance. Sur la base de ces résultats, nous utilisons également une approche simple qui exploite de manière dynamique l'augmentation de la récupération basée sur les jugements antérieurs du LLM, plutôt que de considérer systématiquement les documents justificatifs, améliorant ainsi les performances.