Eine Umfrage zur Vervollständigung von Wissensgraphen in wenigen Schritten mit Struktur- und Commonsense-Wissen
Titel : Eine Umfrage zur Vervollständigung von Wissensgraphen in wenigen Schritten basierend auf Strukturwissen und Commonsense-Wissen
Link : https://arxiv.org/abs/2301.01172
Autor : Haodi Ma, Daisy Zhe Wang
Institution : University of Florida
1. Zusammenfassung :
Wissensgraphen sind zu einer Schlüsselkomponente verschiedener Anwendungen zur Verarbeitung natürlicher Sprache geworden. Ein Common Sense Knowledge Graph (CKG) ist eine spezielle Art von KG, bei dem Entitäten und Beziehungen aus freiem Text bestehen. Sowohl die vorherige KG-Vervollständigung als auch die CKG-Vervollständigungsarbeit weisen jedoch Long-Tail-Beziehungen und neue Beziehungen auf, und es sind nicht viele Triples für das Training bekannt. Vor diesem Hintergrund wird zur Lösung des Problems der begrenzten beschrifteten Daten die Few-Shot KG Completion (FKGC) vorgeschlagen, die die Vorteile des Graphendarstellungslernens und des Few-Shot-Lernens erfordert. In diesem Artikel geben wir einen umfassenden Überblick über frühere Versuche zu dieser Art von Aufgaben in Form einer Reihe von Methoden und Anwendungen. Insbesondere stellen wir zunächst die FKGC-Herausforderung vor, häufig verwendete KG und CKG. Anschließend werden die vorhandenen Forschungsergebnisse nach Arten und Methoden der Wissensgeometrie systematisch eingeordnet und zusammengefasst. Abschließend wird die Anwendung des FKGC-Modells bei Vorhersageaufgaben in verschiedenen Bereichen vorgestellt und die zukünftige Forschungsrichtung von FKGC prognostiziert.
2. Einführung:
In den heutigen großen KGs ist eine große Menge an Informationen gespeichert, diese sind jedoch äußerst unvollständig, was die Vervollständigung des Knowledge Graph (KGC) zu einer Herausforderung für die nachgelagerten Anwendungen macht. Aktuelle Trends zielen darauf ab, niedrigdimensionale Darstellungen von Entitäten und Beziehungen für die Vorhersage fehlender Verbindungen zu lernen [(Bordes et al., 2013; Trouillon et al., 2016; Dettmers et al., 2017)]. Die allgemeine Idee dieser Methoden besteht darin, verschiedene Beziehungsmuster zwischen Entitäten auf der Grundlage der bekannten Fakten in KG zu modellieren und zu begründen. TransE modelliert Beziehungen beispielsweise als Übersetzungen und zielt dabei auf Umkehr- und Kompositionsmuster ab. Die Drehung dient als Darstellung, aus der symmetrische, asymmetrische, invertierte und zusammengesetzte Muster abgeleitet werden können.
Allerdings erfordern solche Methoden normalerweise genügend Trainingstripel, damit alle Beziehungen Einbettungen lernen können. Frühere Arbeiten [78] zeigten, dass ein großer Teil der KG-Beziehungen langfristig sind. Beispielsweise haben etwa 10 % der Beziehungen in Wikidata nicht mehr als 10 Tripel. Darüber hinaus sind reale KGs in der Regel dynamisch, was bedeutet, dass neue Beziehungen und Entitäten hinzugefügt werden, sobald neues Wissen erworben wird. Um diese Herausforderungen zu bewältigen, sollte das Modell in der Lage sein, anhand einer kleinen Anzahl von Beispielen neue Tripel vorherzusagen.
Um die oben genannten Herausforderungen zu bewältigen, werden zwei Benchmarks, NELL-One und Wiki-One, für die Vervollständigung von Wissensgraphen mit wenigen Schüssen (FKGC) und ein Basismodell namens GMatching vorgeschlagen. Das Modell führt einen lokalen Nachbar-Encoder ein, um teure Entitätsdarstellungen mit nur wenigen Stichproben pro Abfragebeziehung zu lernen. Ein Zweig neuerer Arbeiten folgt einem ähnlichen Ansatz und erzielt eine beeindruckende Leistung, indem er lokale Graphnachbarn berücksichtigt, um die Einbettungsqualität zu verbessern. Sie argumentieren außerdem, dass Entitätsnachbarn unterschiedliche Einflüsse haben sollten, die mit unterschiedlichen Aufgabenbeziehungen verbunden sind. Da Beziehungen mehrdeutig sein können, sollten Referenztripel auch unterschiedlich zu bestimmten Abfragen beitragen. Wenn die Aufgabenbeziehung beispielsweise isPartOf ist, wie in Abbildung 1 dargestellt, hat diese Beziehung unterschiedliche Bedeutungen, z. B. organisationsbezogen (Liverpool, isPartOf, Premier League) oder ortsbezogen (Gainesville, isPartOf, Florida). Bei der Abfrage (Dallas, isPartOf, Taxes) sollten standortbezogene Referenzen einflussreicher sein als andere Referenzen. Diese Modelle [43, 54] schlagen vor, Aufmerksamkeitsnetzwerke zu verwenden, um die dynamischen Eigenschaften von Entitäten und Referenzen zu erfassen.
Eine weitere Spur des FKGC-Modells basiert auf modellagnostischem Meta-Lernen (MAML).
Diese Modelle nutzen den Lernprozess des Meta-Lernens, um Repräsentationseinbettungen von Entitäten und Beziehungen mit nur wenigen Instanzen zu lernen. Insbesondere nutzen sie Hochfrequenzbeziehungen im Trainingssatz, um Metainformationen zu erfassen, die gemeinsame Merkmale von Beziehungen über verschiedene Aufgaben hinweg umfassen. Mit einer guten Parameterinitialisierung durch Metainformationen können diese Modelle schnell an Testaufgaben angepasst werden, bei denen jede Aufgabenbeziehung nur über eine kleine Anzahl von Instanzen verfügt.
Andererseits hat der Common Sense Knowledge Graph (CKG) wie ATOMIC und ConceptNet, bei dem Entitäten und Beziehungen aus Freiformtext bestehen, als besondere Art von Wissensgraphen von einbettungsbasierten Modellen wenig Beachtung gefunden. CKG ist es dynamisch , da Entitäten mit unsichtbarem Text kontinuierlich eingeführt werden, was sie zu einem natürlichen Maßstab für FKGC macht. Darüber hinaus handelt es sich bei Entitäten und Attributen in CKG normalerweise um Freiformtext. Wie in Abbildung 3 dargestellt, haben Entitätsbeschreibungen in CKGs im Gegensatz zu allgemeinen KGs mit strukturierten Entitäts- und Beziehungsnamen umfangreiche semantische Bedeutungen, und die impliziten semantischen Beziehungen können direkt auf allgemeinverständliches Wissen schließen. Diese Funktion macht jedoch auch CKGs und allgemeine KGs aus, da Entitäten, die auf die verweisen Das gleiche Konzept kann unterschiedliche Knoten sein. Wie in [67] gezeigt, beträgt der durchschnittliche In-Grad von ConceptNet und ATOMIC im Vergleich zu FB15K-237 nur 1/15 und 1/8. Da CKG nicht vollständig für den Vergleich von Schemata zweier Entitäten mit Beziehungen geeignet ist, beschränken sich einbettungsbasierte Methoden auf die Erfassung impliziten Common-Sense-Wissens.
Unterdessen haben die jüngsten Fortschritte beim Training transformatorbasierter kontextueller Sprachmodelle das Interesse an der Verwendung von Sprachmodellen (LMs) als Wissensdatenbanken geweckt. Beispielsweise konzentrierten sich neuere Arbeiten auf die Abfrage von LMs mithilfe von Hinweisen (z. B. „Beatles wurde in __ gegründet“). COMET ist ein transformatorbasiertes KG-Vervollständigungsmodell, das darauf trainiert ist, unsichtbare Tail-Entity-Bedingungen auf Head-Entities und Beziehungen auf ATOMICs vorherzusagen. BertNet geht noch einen Schritt weiter, indem es Tripel unsichtbarer Entitäten direkt aus dem vorab trainierten Sprachmodell extrahiert, indem es die ersten Hinweise der FKGC/KGC-Aufgabe automatisch interpretiert.
Schließlich behandeln wir in dieser Studie typische Anwendungen von FKGC-Modellen in den Bereichen Datenwissenschaft, visuelle Extraktion und Medizin. Wir diskutieren außerdem zukünftige Forschungsrichtungen von FKGC zu allgemeinen Wissensgraphen und Common-Sense-Wissensgraphen basierend auf den beobachteten Schwächen aktueller Modelle.
3. Prophezeiung:
In diesem Abschnitt gehen wir zunächst auf verschiedene KGs ein. Dann definieren wir formal die Vervollständigung des Wissensgraphen und die Vervollständigung des Wissensgraphen mit wenigen Schüssen. Im letzten Teil dieses Abschnitts stellen wir kurz das Few-Shot-Lernen und das Meta-Lernen vor, die in der FKGC-Aufgabe weit verbreitet sind.
3.1 Wissensgraph
Lassen E und R die Sammlung von Entitäten und Beziehungen darstellen, und der Wissensgraph G = {(Höhe, Höhe, Höhe)} ⊂ E × R × E ist die Sammlung von Faktentripeln, wobei E die Sammlung von Entitäten darstellt und R ist die Sammlung von Beziehungen; 푒푖 und 푟푘 sind die 푖-te Entität bzw. 푘-te Beziehung. Normalerweise bezeichnen wir 푒푖 und 푒푗 als Kopf- und Schwanz-Entitäten. Der Wissensgraph kann auch als X ∈ {0, 1} | E|×|R |×|E| dargestellt werden, was als Adjazenztensor von G bezeichnet wird. Wenn das Triplett (푒푖, 푟푘, 푒푗) wahr ist, ist (푖, 푗, 푘) Element eine Liste häufig verwendeter KGs mit ihren Quellen, Größen und Beispielen.
Wie bereits erwähnt, tendieren frühere Arbeiten dazu, halbstrukturierte Texte zu extrahieren, um Wissensgraphen zu erstellen. Diese Wissensgraphen werden normalerweise durch Crowdsourcing erstellt oder aus Crowdsourcing extrahiert.
Freebase ist ein kuratiertes Crowdsourcing-KG, das erstmals 2008 eingeführt wurde und als Standard-Basis-KG für viele Aufgaben, einschließlich der KG-Vervollständigung, verwendet wurde. Die neueste und vollständige Version von Freebase enthält etwa 3 Milliarden Triples und etwa 50 Millionen Entities1. Die weit verbreitete Freebase-Teilmenge FB15K-237 schließt inverse Beziehungen von Freebase aus, einschließlich 14541 Entitäten, 237 Beziehungen und 272.155 Trainingstripeln. Die in Freebase enthaltenen Beziehungen sind hierarchisch und bilden wohldefinierte Entitäts- und Beziehungsräume, die die Grundlage für die Einbettung von Modellen bilden.
Wikidata ist ebenfalls eine Crowdsourcing-KG, die etwa 78 Millionen Datenelemente, etwa 23.000 Typen und 1.600 Beziehungen enthält. Von Anfang an war es als alternative Möglichkeit zur Verwaltung von Informationen auf Wikipedia konzipiert. Wikidata stellt nicht nur sachliche Informationen bereit, sondern stellt durch die Speicherung ihrer Quellen auch Kontext für Fakten bereit. Seit 2014 unterstützt Wikidata 287 Sprachen. Im Jahr 2014 hat Google in Freebase gespeicherte Daten nach Wikidata verschoben. Entitäten und Beziehungen werden in Wikidata durch Attribut-Wert-Paare beschrieben; YAGO. YAGO ist eine große Wissensdatenbank, die automatisch aus Wikipedia erstellt wird. Der Knowledge Graph vereint Informationen aus Wikipedia in 10 verschiedenen Sprachen in einer, um eine mehrsprachige Dimension des Wissens bereitzustellen. Darüber hinaus fügt es vielen Fakten räumliche und zeitliche Informationen hinzu, sodass Benutzer Daten über Raum und Zeit abfragen können. YAGO basiert auf Wikipedia, übernimmt die Wikipedia-Hierarchie und verwendet strukturierten Text für Entitäten und Beziehungen. Es gibt mehrere Iterationen von YAGO, einschließlich YAGO2 und YAGO3. YAGO3 enthält 87 Millionen Fakten, 10,8 Millionen Entitäten und 76 Millionen Schlüsselwörter.
3.1.2 Commonsense Knowledge Graph
Ein Common-Sense-Wissensgraph bezieht sich auf die Organisation von Common-Sense- oder domänenspezifischem Wissen für nachgelagerte Anwendungen. Obwohl bestehende CKGs oft auch von Menschen per Crowdsourcing erstellt werden, verwenden sie Freiformtext für Entitäten.
Der ATOMIC-Datensatz enthält 877.000 Tupel, die eine Vielzahl von allgemeingültigem sozialem Wissen rund um bestimmte Ereignishinweise abdecken (z. B. „X ging in den Laden“). ATOMIC enthält alltägliche Wissenseinheiten, die in Wenn-Dann-Beziehungen organisiert sind. Es enthält insgesamt über 300.000 Entitäten und die Entitäten bestehen aus Textbeschreibungen mit durchschnittlich 4,4 Wörtern. Insbesondere destilliert ATOMIC seinen gesunden Menschenverstand in neun Dimensionen und deckt die Ursache eines Ereignisses (z. B. „X muss dorthin fahren“), seine Wirkung auf den Agenten (z. B. „Geh Essen holen“) und seine Wirkung auf andere direkte ab (oder impliziter) Einfluss der Teilnehmer (z. B. „Andere werden gefüttert“).
ConceptNet ist ein mehrsprachiger Wissensgraph, der Wörter und Phrasen in natürlicher Sprache mit beschrifteten Kanten verbindet. Sein Wissen stammt aus vielen Quellen, darunter von Experten erstellte Ressourcen, Crowdsourcing und zielgerichtete Spiele. Es stellt das allgemeine Wissen dar, das zum Verstehen von Sprache anhand von Wörtern und Phrasen in verschiedenen Sprachen erforderlich ist. Solche „Konzepte“ können dazu beitragen, dass Anwendungen in natürlicher Sprache die Bedeutung der von Menschen verwendeten Wörter besser verstehen. ConceptNet enthält über 13 Millionen Links zwischen diesen Konzepten.
Visual Genome nutzt nicht nur natürliche Sprachressourcen, sondern gewinnt auch gesundes Menschenverstandswissen aus Bildern. Es sammelt dichte Anmerkungen zu Objekten, Attributen und Beziehungen zu jedem Bild, um Wissen aufzubauen. Konkret enthält Visual Genome insgesamt mehr als 100.000 Bilder, und jedes Bild weist durchschnittlich 21 Objekte, 18 Attribute und 18 Beziehungen zwischen Objekten auf. Da Objekte, Attribute und Beziehungen aus Bildern extrahiert werden, klassifiziert der Datensatz sie mithilfe des WordNet-Synsets [41]. In diesem Abschnitt gehen wir zunächst auf verschiedene KGs ein. Dann definieren wir formal die Vervollständigung des Wissensgraphen und die Vervollständigung des Wissensgraphen mit wenigen Schüssen. Im letzten Teil dieses Abschnitts stellen wir kurz das Few-Shot-Lernen und das Meta-Lernen vor, die in der FKGC-Aufgabe weit verbreitet sind.
3.2 Vervollständigung des Wissensgraphen mit wenigen Schüssen
3.2.1 Vervollständigung des Wissensgraphen
Das Ziel der Knowledge Graph Completion (KGC) besteht darin, gültige, aber unbeobachtete Tripel in G vorherzusagen. Formal erwartet das Modell bei gegebener Beziehung zwischen einer Kopfentität ei (Schwanzentität ej) und rk, die Schwanzentität ej (Kopfentität ei) zu finden, die das plausibelste Tripel (푒푖, 푟푘, 푒푗) in G bildet. Das KGC-Modell definiert normalerweise eine Bewertungsfunktion 푓: E × R × E → R, um die Rationalität des Tripletts für jedes Triplett (ei, rk, ej) ∈ E × R × E darzustellen.
3.2.2 Einbettung von Wissensgraphen
Knowledge Graph Embedding (KGE) schlägt vor, Entitäten und Beziehungen in wohldefinierte Räume zu projizieren, die mit hochdimensionalen Vektoren modelliert werden können. KGE-Modelle (Knowledge Embedding) verknüpfen normalerweise jede Entität ei und jede Beziehung rj mit einer Vektordarstellung ei,rj im Einbettungsraum. Anschließend definieren sie eine Bewertungsfunktion, um die Interaktion zwischen Entitäten und Beziehungen zu modellieren.
KGE-Modelle können im Allgemeinen in translatorische Modelle und bilineare Modelle unterteilt werden. Ein repräsentatives Übersetzungsmodell ist TransE, das die Beziehung zwischen Entitäten als Unterschied zwischen ihren Einbettungen modelliert. Dieser Ansatz eignet sich gut zum Ableiten von kompositorischen, antisymmetrischen und Inversionsmustern, kann jedoch keine 1-zu-N-, N-zu-1- und NN-Beziehungen verarbeiten. RotatE modelliert Beziehungen als Rotationen in komplexen Räumen, sodass symmetrische Beziehungen erfasst werden können, ist aber ansonsten genauso eingeschränkt wie TransE. ComplEx führt als Vertreter bilinearer Modelle eine Diagonalmatrix mit komplexen Zahlen ein, um Antisymmetrie zu erfassen. Andere Modelle wie BoxE und HAKE können mehrere Arten relationaler Schemata mit komplexen KG-Einbettungen ausdrücken.
3.2.3 Graphisches neuronales Netzwerkmodell
In den letzten Jahren hat das graphische neuronale Netzwerk (GNN) bei der KGC-Aufgabe große Aufmerksamkeit erlangt. Aufgrund der hohen Ausdruckskraft von GNNs zeigen diese Methoden eine gute Leistung. Allerdings weisen SOTA GNN-basierte Modelle im Vergleich zu KGE-Modellen keine großen Vorteile auf und bringen gleichzeitig zusätzliche Rechenkomplexität mit sich. Beispielsweise erreichen NBFNet und RED-GNN eine konkurrenzfähige Leistung beim KGC-Benchmark, aber die Hebelwirkung des Bellman-Ford-Algorithmus, der sich über den gesamten Wissensgraphen ausbreiten muss, beschränkt ihre Anwendung auf große Graphen.
3.2.4 Wenig-Schuss-Lernen
Few-Shot Learning (FSL) konzentriert sich auf das Erlernen übertragbarer allgemeiner Prioritäten aus vorhandenen Aufgaben für neue Aufgaben mit begrenzten gekennzeichneten Daten. Normalerweise wird ein Meta-Learning-Framework verwendet, das die gesamte Aufgabe als Trainingsbeispiel behandelt, damit sich das Modell schnell an neue Aufgaben anpassen kann. Insbesondere zielt das Modell darauf ab, in der Meta-Trainingsphase bei einer Reihe von Aufgaben T und ihren Trainingsdaten einen globalen Parameter Θ′ zu lernen, der für alle Aufgaben in T gültig ist:
Dabei ist p(T) die Aufgabenverteilung; DTi sind die Trainingsdaten der Aufgabe T〉; L ist die Verlustfunktion der nachgelagerten Aufgabe. In der Metatestphase wird dann θ* als Initialisierungsparameter (Vorwissen) verwendet, um sich schnell an die neue Aufgabe Tj anzupassen:
wobei Tj nur über begrenzte beschriftete Daten verfügt. Frühere FSL-Methoden können im Allgemeinen in (1) metrikbasierte Methoden, die aufgabenspezifische Ähnlichkeitsmaße nutzen, um von Support-Set-Daten zu Abfragedaten zu verallgemeinern, kategorisiert werden; (2) optimierungsbasierte Methoden, die darauf abzielen, aufgabensensitive Modellparameter zu finden Der Basislerner kann sich mit einer kleinen Anzahl von Gradientenaktualisierungen schnell an neue Aufgaben mit wenigen Schüssen anpassen.
3.2.5 Kleines Beispiel für die Vervollständigung einer Wissenskarte
Den Definitionen von KGC und FSL folgend, definieren wir nun formal Few-shot Knowledge Graph Completion (FKGC).
Betrachten Sie einen Wissensgraphen G = {(ℎ, r, t)} ⊂ E × R × E ist die Menge der Faktentripel, wobei E die Entitätsmenge und R die Beziehungsmenge darstellt. Bei einer gegebenen Beziehung r ∈ R und ihrer Stützmenge Sr = {( hk , tk )|(hk, r, tk) ∈ T } besteht die Aufgabe darin, das Triplett (ℎ, r, t) mit Endeinheiten t ∈ zu vervollständigen E fehlt. Mit anderen Worten: Das Modell muss t aus einer Menge von Kandidatenentitäten C mit gegebenem (ℎ, r) vorhersagen. Wenn |Sr| = K und K sehr klein ist, wird diese Aufgabe als K-shot KG-Abschluss bezeichnet. Ein Extremfall ist, wenn k = 0 ist, was bedeutet, dass es keine unterstützten Tripel gibt. Eine solche Aufgabe wird auch als induktive KGC, Zero-Shot-KGC oder Out-of-Graph-KGC bezeichnet, bei der das Modell die korrekte Beziehung unsichtbarer Einheiten vorhersagen muss.
Das KGC-Modell mit wenigen Schüssen zielt darauf ab, reale Entitäten höher einzustufen als gefälschte Kandidatenentitäten. In FKGC entspricht jede Trainingsaufgabe einer Beziehung r ∈ R und ihrem eigenen Unterstützungs-/Abfrage-Entitätspaar, nämlich Tr = { Sr , Qr }. Wie bereits erwähnt, enthält S K-Shot-Unterstützungsentitätspaare. Qr = {( hm , tm )/ Chm ,r} besteht aus allen Abfragen und den entsprechenden Kandidaten Chm ,r, die gemäß den Einschränkungen des Entitätstyps ausgewählt wurden. Darüber hinaus bezeichnen wir alle Aufgaben im Training als Meta-Trainingsmenge Tmeta-Training.
Nach dem Training auf dem Meta-Trainingssatz wird das Lernmodell mit wenigen Schüssen getestet, indem die Tatsache vorhergesagt wird, dass eine neue Beziehung r' ∈ R' ist. Die Testrelation ist aus dem Meta-Trainingssatz nicht sichtbar, d. h. R ∪ R′ = ∅. Jede Relation in der Testphase hat auch ihre Fow-Shot-Unterstützung und ihren Abfragesatz: Tr ′ = { Sr ′, Qr ′}, ähnlich der Definition im Meta-Training. Wir bezeichnen alle zu testenden Aufgaben als Metatestsatz Tmeta-testing. Das Modell hat auch Zugriff auf den Hintergrund KG G′, der eine Teilmenge von G mit allen Beziehungen außer denen im Tmeta-Training und Tmeta-Test ist.
4. FKGC-Modell
Typischerweise kombinieren FKGC-Modelle mit Strukturwissen KGC-Modelle mit Fow-Shot-Lernen für verschiedene Anwendungen. Neben dem KGE-Modell zeigen GNN-basierte Methoden auch in FKGC eine wettbewerbsfähige Leistung, da im Supportsatz jeder Aufgabe mit wenigen Schüssen nur begrenzte gekennzeichnete Daten bereitgestellt werden. Andererseits nutzen Modelle, die semantische Merkmale nutzen, Hinweise, um strukturelle und semantische Informationen zu kombinieren.
Bei der FKGC-Aufgabe gibt es drei Hauptherausforderungen:
• (1) Wie erfährt man die repräsentativsten Informationen unter Drillingen in der Einstellung mit wenigen Aufnahmen? Allgemeine Algorithmen für maschinelles Lernen erfordern eine große Datenmenge für das Modelltraining, während in Szenarien mit wenigen Schüssen nur wenige Referenzdaten verfügbar sind. Das Erlernen repräsentativer Muster verschiedener Beziehungen aus begrenzten Tripeln wird zum Schlüssel zur Lösung des FKGC-Problems.
• (2) Wie kann die übermäßige Abhängigkeit von Kindergärten im Hintergrund verringert werden? Die meisten bisherigen Methoden mit wenigen Schüssen basieren auf Hintergrund-KGs, um auf Informationen aus Entitätsumgebungen oder vorab trainierten Entitätseinbettungen zuzugreifen. Einige neuere Modelle argumentieren, dass der vollständige Hintergrundwissensgraph nicht immer zugänglich ist und die Speicherung im Speicher ebenfalls platzintensiv ist.
• (3) Wie kann man negative Stichproben verwenden, um die Modellleistung zu verbessern? Die intuitivsten Matching-Methoden vergleichen normalerweise die Ähnlichkeit zwischen Abfrage und positiven Referenzen und ignorieren dabei die Ähnlichkeit zwischen Abfrage und negativen Referenzen, was die Genauigkeit der Triplett-Gültigkeitsmessung verbessern kann.
In diesem Abschnitt klassifizieren wir neuere FKGC-Modelle mit Strukturwissen systematisch in metrische und optimierungsbasierte Methoden, je nachdem, wie sie FSL-Techniken einsetzen und wie sie die oben genannten drei Probleme angehen. Anschließend gehen wir von einem auf Hinweisen basierenden Strukturmodell zu einem Modell über, das ein vorab trainiertes Sprachmodell verwendet. Eine repräsentative Liste der FKGCs und ihrer Open-Source-Datensätze/Codes finden Sie in Tabelle 2.
4.1 Metrikbasierter Ansatz Bestehende metrikbasierte FKGC-Modelle teilen das Framework eines Matching-Netzwerks oder eines Übersetzungsnetzwerks
Für Modelle, die auf Matching-Netzwerken basieren, implementieren sie zunächst einen GNN-basierten Entity-Encoder, um Entity-Einbettungen zu generieren. Das Aggregationsmodul wird dann auf die Entitätspaare im Unterstützungssatz angewendet, um die Einbettung für jede Beziehung zu berechnen. Schließlich berechnet das Modell die Akzeptanzwahrscheinlichkeit jedes Abfragetripletts basierend auf seiner Ähnlichkeit mit den Unterstützungstripletts. KGE-Modelle wie TransE und ConvE werden auch häufig in Entity-Encodern als Zwischendarstellungen verwendet, um andere Informationen weiter zu verbessern.
Nach diesem Rahmen ist GMatching die erste Arbeit, die sich mit dem One-Shot-KGC-Problem befasst. Zunächst wird ein Nachbarschaftsencoder vorgeschlagen, der die lokale Graphstruktur nutzt, um bessere Entitätseinbettungen zu generieren. Die Motivation hierfür ist, dass Entitätseinbettungen früherer KGE-Modelle zwar relationale Informationen kodieren können, frühere Arbeiten jedoch gezeigt haben, dass die explizite Modellierung struktureller Muster wie Pfade immer noch von Vorteil bei der Beziehungsvorhersage sein kann. Der Nachbar-Encoder in GMatching kodiert nur die Single-Hop-Nachbarn jeder gegebenen Entität, d. h. einen Satz von (Beziehungs-, Entitäts-)Tupeln, um seine Allgemeingültigkeit für große Wissensgraphen zu gewährleisten. Ausgehend von einer vorab trainierten KGE-Einbettung für jedes Tupel in einem Single-Hop-Nachbarsatz wendet GMatching insbesondere eine Feed-Forward-Ebene an, um die Interaktionen zwischen Beziehungen und Entitäten in jedem Tupel zu kodieren. Anschließend wird ein Nachbar-Encoder auf die unterstützenden und abfragenden Entitätspaare angewendet, um jede Darstellung zu generieren. Das Modell verwendet dann einen LSTM-basierten wiederkehrenden Verarbeitungsblock, um einen mehrstufigen Abgleich zwischen dem Referenzpaar und jedem Abfragepaar durchzuführen. Der Übereinstimmungswert wird letztendlich verwendet, um jede Entität im Kandidatensatz für jede Abfrage einzustufen. Neben dem Vorschlag des ersten Basismodells für die FKGC-Aufgabe stellt diese Arbeit auch zwei weit verbreitete Benchmarks vor: NELL-One und Wiki-One. Beide sind mit FKGC-Aufgabeneinstellungen erstellt. Tabelle 3 und Abschnitt 4.2 enthalten weitere Statistiken und Details.
FSRL teilt die gleiche Idee und erweitert GMatching auf die Einstellung für wenige Aufnahmen. Darüber hinaus wird ein beziehungsbewusster Encoder für heterogene Nachbarn vorgeschlagen, der auf einer heterogenen Graphstruktur und einem Aufmerksamkeitsmechanismus basiert, um die Einbettung von Entitäten zu verbessern, sodass das Modell unterschiedliche Einflüsse verschiedener Nachbarn auf Aufgabenbeziehungen codieren kann. Das Hauptargument hier ist, dass unterschiedliche Nachbarn Aufgabenbeziehungen auf unterschiedliche Weise beeinflussen sollten, was Modelle wie GMatching ignorieren. Wenn beispielsweise ParentOfPerson eine Aufgabenbeziehung ist, sollten Nachbarn (MarryTo, Melinda Gates) höhere Gewichtungen haben als (CeoOf, Microsoft). Um dieses Problem anzugehen, führt FSRL ein Aufmerksamkeitsmodul ein, um Entitätseinbettungen zu generieren, indem bei der Codierung aller Nachbarn unterschiedliche Aufmerksamkeitsgewichte zugewiesen werden.
Durch die Anwendung eines Aufmerksamkeits-Nachbarn-Encoders erhält FSRL eine Darstellung für jedes Entitätspaar im Unterstützungssatz. Anschließend wird ein RNN-basierter Aggregator implementiert, der die Interaktionen zwischen Paaren unterstützender Entitäten für jede verwandte Aufgabe modelliert, um eine informative Darstellung des gesamten Unterstützungssatzes zu generieren. Inspiriert durch die Aggregation von Knoteneinbettungen mit wiederkehrenden neuronalen Netzen wendet FSRL einen rekursiven Autoencoder-Aggregator auf alle Entitätspaare an. Um die Einbettung für den Referenzsatz zu formulieren, werden alle verborgenen Zustände des Encoders aggregiert und durch Hinzufügen von Restverbindungen und Aufmerksamkeitsgewichten erweitert.
Durch die aggregierte Darstellung des Referenzsatzes wendet FSRL ein Matching-Netzwerk an, um ähnliche Entitätspaare des Referenzsatzes zu entdecken. Anstatt jedes Referenzentitätspaar mit dem Abfragepaar zu vergleichen, wird ein ähnlicher wiederkehrender Matching-Prozessor mit LSTM-Zellen verwendet, um die Ähnlichkeit zwischen dem Referenzsatz und den Abfrageentitätspaaren für die endgültige Antwortrangfolge direkt zu berechnen. Während des Trainings tastet das Modell jedes Mal die Aufgabenbeziehung ab und optimiert das Modell für diese Aufgabe. Das Modell wird eine kleine Anzahl von Entitätspaaren als Unterstützungssatz und einen Stapel von Abfrage-Entitätspaaren abtasten. Der negative Trainingssatz wird durch Verunreinigung der Tail-Entitäten in den Abfrage-Entitätspaaren erstellt. Meta-Learning wird im Gradientenabstiegsschritt zur Parameteroptimierung verwendet, sodass sich FSRL gut zum Testen von Beziehungen mit wenigen Schüssen übertragen lässt.
Obwohl FSRL vorschlägt, Nachbarn basierend auf ihrer Relevanz für die zentrale Entität unterschiedlich zu behandeln, weist es dennoch allen Nachbarn in allen Aufgabenbeziehungen feste Gewichtungen zu. Solche Lösungen führen dazu, dass statische Einheiten in verschiedene Aufgaben eingebettet werden, was die Wirksamkeit des Systems beeinträchtigt. FAAN geht noch einen Schritt weiter und argumentiert, dass Entitätsnachbarn unterschiedliche Einflüsse auf unterschiedliche Aufgabenbeziehungen haben sollten. SteveJobs ist beispielsweise mit den Aufgabenbeziehungen HasJobPosition und HasChild verknüpft. Wenn die Aufgabenbeziehung CeoOf ist, sollte das Modell intuitiv mehr auf die Jobrolle der Entität SteveJobs als auf die Familienrolle achten.
Darüber hinaus können Aufgabenbeziehungen in verschiedenen Kontexten unterschiedliche Bedeutungen haben. Wenn die Aufgabenbeziehung beispielsweise „isPartOf“ lautet, wie in Abbildung 1 dargestellt, hat diese Beziehung unterschiedliche Bedeutungen, z. B. organisationsbezogen wie (Liverpool, isPartOf, Premier League) oder standortbezogen wie (Gainesville, isPartOf, Florida). Für die Abfrage (Dallas, isPartOf, Taxes) sollten standortbezogene Referenzen eindeutig einflussreicher sein als andere Referenzen. Daher sollten Referenztripel (unterstützende Tripel) auch unterschiedlich zu unterschiedlichen Abfragen beitragen.
Um die oben genannten Herausforderungen zu bewältigen, schlägt FAAN einen adaptiven Aufmerksamkeits-Nachbarn-Encoder vor, um Entitätseinbettungen mit Single-Hop-Entitätsnachbarn zu modellieren. Sie folgen auch TransE, um aufgabenbezogene relationale Einbettungen als Übergang zwischen Kopf-Entitäts-Einbettungen und Schwanz-Entitäts-Einbettungen zu modellieren, d. h. r ≈ h − t. Um dann verschiedene Rollen von Referenzentitäten weiter zu simulieren, trainiert FAAN eine Aufmerksamkeitsmetrik basierend auf der Korrelation von Entitätsnachbarbeziehungen und Aufgabenbeziehungen, um weitere rollenbewusste Nachbarneinbettungen für jede Entität im Referenzsatz zu erhalten. Der Encoder ermöglicht die Anpassung dynamischer Aufmerksamkeitswerte an unterschiedliche Aufgabenbeziehungen. Der adaptive Mechanismus hilft dabei, unterschiedliche Rollen von Entitäten entsprechend den unterschiedlichen Beiträgen der Nachbarn zu erfassen. Die endgültige Darstellung jeder Entität kodiert eine vorab trainierte Einbettung und ihre rollenbewussten Nachbareinbettungen.
Mit der vom Encoder bereitgestellten verbesserten Entitätsdarstellung wendet FAAN außerdem eine Reihe von Transformer-Blöcken an, um Tripletts zu unterstützen und abzufragen, um verschiedene Bedeutungen von Aufgabenbeziehungen zu erfassen. Es übernimmt die Idee, die dynamische KG-Einbettung aus China zu lernen. Für jedes Element werden Elementeinbettungen und Positionseinbettungen durch mehrere Transformer-Blöcke geleitet, um aussagekräftige Einbettungen von Entitätspaaren zu erhalten.
Anstatt bei der Vorhersage verschiedener Abfragen eine statische Darstellung zu verwenden, erhält FAAN dann eine allgemeine adaptive Darstellung des Unterstützungssatzes, indem alle Referenzen und ihre Aufmerksamkeitswerte für Aufgabenbeziehungen aggregiert werden.
FAAN verwendet auch Meta-Training auf die gleiche Weise wie FSRL, d. h. das Modell wird auf verschiedene Aufgabenbeziehungen im Meta-Trainingssatz trainiert, um einen Satz von Parametern zu generieren, die bei allen Aufgaben gut funktionieren und schnell an wenige im Test angepasst werden können eingestellt. -Schussaufgaben. Zusammenfassend lässt sich sagen, dass FAAN die Qualität von Entitäts- und Referenzdarstellungen durch die Erfassung feinkörniger Bedeutungen verbessert. Da FAAN ähnliche Matching-Werte wie FSRL aufweist, übertrifft es frühere Modelle bei der FKGC-Aufgabe.
Andererseits konzentriert sich HARV auf die Erfassung der Unterschiede zwischen benachbarten Beziehungen und Entitäten sowie der Interaktionen zwischen Beziehungen, die bisher vernachlässigt wurden. Es führt einen hierarchischen Nachbaraggregator für die Darstellung zentraler Entitäten ein, indem Informationen zwischen Kopfentitäten und Beziehungen (Beziehungsebene) sowie Beziehungen und Endentitäten (Entitätsebene) getrennt werden. Aufmerksamkeitsgewichte auf Beziehungsebene werden aus Einbettungen von Kopfentitäten und Beziehungen berechnet. Einbettungen auf Beziehungsebene werden generiert, indem die Nachbarbeziehungen der Hauptentität ℎ mit dieser Aufmerksamkeit aggregiert werden. Die Verkettung von Einbettungen auf Beziehungsebene und jeder Endentität wird dann verwendet, um Aufmerksamkeitsgewichte auf Entitätsebene zu generieren. Die sekundären Gewichte generieren schließlich tertiäre Gewichte, die zur Berechnung erweiterter Entitätsdarstellungen verwendet werden. Relationale Encoder berücksichtigen die Wechselwirkungen zwischen Beziehungen. Der Encoder ist eine Erweiterung des LSTM-Aggregators mit Bi-LSTM in FSRL, der die Darstellungen aller unterstützten Entitätspaare aktualisiert. Die Verkettung der Einbettung unterstützender Entitätspaare und der Einbettung des Bi-LSTM-Encoders wird als endgültige Darstellung für jedes Entitätspaar verwendet, und der Unterstützungssatz wird durch eine aufmerksamkeitsbasierte Aggregation aller unterstützenden Entitätspaare dargestellt.
Darüber hinaus untersucht GEN ein Off-Graph-FKGC-Szenario zur Vorhersage von Beziehungen zwischen unsichtbaren Entitäten oder zwischen sichtbaren und unsichtbaren Entitäten. Unter Meta-Lernen versteht man die Extrapolation von Wissen aus sichtbaren zu unsichtbaren Entitäten und die Übertragung von Wissen von Entitäten mit vielen Verbindungen auf wenige. GEN entwickelt eine stochastische Einbettungsschicht weiter, um die Argumentation zur Modellunsicherheit bei der Verbindungsvorhersage zwischen unsichtbaren Entitäten zu transformieren. Gen ist mit jedem GNN kompatibel. Insbesondere werden in der Meta-Trainingsphase zwei GENs für die Vorhersage induktiver und transduktiver Verbindungen verwendet. Das erste GEN ist das induktive GEN. Es lernt, unbeobachtete, unsichtbare Entitäten zu kodieren und sagt Verbindungen zwischen sichtbaren und unsichtbaren Entitäten voraus. Das zweite GNN ist jeweils das Transduktions-GEN. Zu lernen, Verbindungen zwischen unsichtbaren Entitäten vorherzusagen, geht noch einen Schritt weiter. Um transduktives Denken zu ermöglichen, kann das Meta-Lern-Framework in GEN während des Meta-Trainings unsichtbare Entitäten modellieren, die in herkömmlichen Lernschemata nicht beobachtet werden. Da die Verknüpfungsvorhersage für unsichtbare Entitäten von Natur aus unzuverlässig ist und sich in Szenarios mit wenigen Schüssen, in denen nur wenige Tripel pro Entität verfügbar sind, noch verschlimmert, lernt GEN außerdem eine zufällige Einbettung unsichtbarer Darstellungen. Verteilung, um Unsicherheiten zu berücksichtigen. Darüber hinaus wenden wir eine Transfer-Lernstrategie an, um Long-Tail-Verteilungen zu modellieren. Diese führen dazu, dass GENs unsichtbare Entitäten darstellen, die gut mit sichtbaren Entitäten übereinstimmen. Wie bereits erwähnt, können naive GENs unter der inhärenten Unzuverlässigkeit der Out-of-Graph-Link-Vorhersage aufgrund der Unsicherheit der unsichtbaren Entitätsdarstellung aufgrund des Fehlens unterstützender Tripel leiden. Die stochastische Schicht, die dieses Problem angeht, bettet eine unsichtbare Entität ein, indem sie eine Verteilung über Entitätseinbettungen lernt. GENs modellieren auch Unsicherheitsquellen in den Ausgabeeinbettungen transformierter GENs mit Monte-Carlo-Verlusten.
Kürzlich schlägt REFORM ein fehlerbewusstes Modul vor, um die negativen Auswirkungen von Fehlern auf FKGC zu kontrollieren. Es unterscheidet sich geringfügig vom ursprünglichen FKGC und sagt fehlende Beziehungskategorien für Abfrage-Entitätspaare aus Beziehungskategorien mit wenigen Schüssen vorher. Da die meisten realen Wissensgraphen automatisch erstellt werden, werden viele Fehler ohne menschliche Überprüfung in Wissensgraphen eingebaut. Solche Fehler verschlechtern die Leistung früherer Methoden auf FKGC erheblich, insbesondere wenn nur wenige unterstützende Tripel verfügbar sind, auf die man sich verlassen kann. Der Nachbar-Encoder von REFORM konzentriert sich auf die Verwendung eines Aufmerksamkeitsmechanismus zur Auswahl der zuverlässigsten Nachbarn, um die Darstellung von Entitäten zu verbessern. Beachten Sie, dass die Gewichtsmatrix mithilfe einer vorab trainierten Einbettung (in REFORM, TransE) trainiert wird, um sicherzustellen, dass die richtigen Nachbarn höhere Gewichte haben. Die Matrizen werden dann mithilfe einer Softmax-Funktion normalisiert, um robuste Einbettungen für jede Entität zu erhalten. Referenz-Entitätspaare werden durch die Verkettung ihrer Kopf- und Schwanz-Entitätseinbettungen dargestellt. Um dann robuste Einbettungen für Beziehungen im Support-Set zu generieren, enthält REFORM ein auf einem Transformator-Encoder basierendes Cross-Relations-Aggregationsmodul, um Beziehungsabhängigkeiten zu erfassen und Instanzen zu unterstützen. Der Transformer-Encoder sorgt dafür, dass jede Eingabeeinbettung an der Codierung aller anderen Eingabeeinbettungen teilnimmt, basierend auf einem Multi-Head-Aufmerksamkeitsmechanismus. Anschließend nutzt REFORM im Fehlerminderungsmodul Graph Convolutional Networks (GCNs), um Konfidenzgewichte für verschiedene Beziehungen für jede Abfrageaufgabe zu generieren. Konfidenzgewichte können als Aufmerksamkeitsgewichte betrachtet werden, um die Auswirkungen von Fehlern zu begrenzen. Insbesondere erstellt REFORM ein abfrageorientiertes Diagramm, um die Auswirkungen verschiedener Supportinstanzen auf eine bestimmte Abfragebeziehung zu messen. GCNs werden darauf trainiert, den Verlust von Abfragebeziehungen zu minimieren, die in die falschen Kategorien gruppiert sind.
Der Vertreter des Translation Network ist MetaR. Die Idee ist, dass sich MetaR nicht auf die Codierung von Nachbarinformationen konzentriert, sondern auf die Übertragung gemeinsamer und gemeinsam genutzter Informationen in einer Aufgabe von Referenzinstanzen auf Abfragetripel. Solche Informationen werden in MetaR als relationale Elemente bezeichnet. Ein relationaler Meta-Lerner generiert Darstellungen von Entitätspaaren aus Kopf- und Schwanz-Entitätseinbettungen im Support-Set. Bei gegebenen Kopf-Schwanz-Entitätspaaren im Unterstützungssatz extrahiert der Lernende zunächst entitätspaarspezifische Beziehungselemente über ein vollständig verbundenes neuronales Netzwerk unter Verwendung von LeakyReLU als Aktivierungsfunktion. Das letzte Beziehungselement einer Aufgabe ist der Durchschnitt aller Entitäten im aktuellen Unterstützungssatz für ein bestimmtes Beziehungselement.
MetaR nutzt auch Meta-Learning, um den Lernprozess zu beschleunigen, der als Gradienten-Meta bezeichnet wird. Wie in Abschnitt 3.2.5 erwähnt, sollte das Modell schnell für neue Aufgaben mit wenigen Schüssen aktualisiert werden können. MetaR erbt die Idee von TransE und wendet eine ähnliche Bewertungsfunktion || hi+RTr−ti || an, um die Bewertung jedes Entitätspaars mit Beziehungselementen zu berechnen. Durch die Minimierung des Verlusts auf dem Unterstützungssatz mithilfe der Bewertungen aller positiven und negativen Tripletts kann der Gradient der Parameter dann angeben, wie sie aktualisiert werden sollten. Nach dieser Gradientenaktualisierungsregel kann MetaR relationale Elemente schnell aktualisieren und die aktualisierten Metadaten verwenden, um Abfragesätze mit derselben Bewertungsfunktion zu bewerten.
Das Modell ist darauf trainiert, die Summe der Abfrageverluste über alle Aufgaben in einem Stapel hinweg zu minimieren. Im Vergleich zu GMatching, das auf Hintergrundwissensgraphen basiert, ist unser MetaR unabhängig davon und daher robuster, da Hintergrundwissensgraphen in realen Szenarien möglicherweise nicht für die Vorhersage von Links mit wenigen Schüssen nützlich sind.
GANA geht noch einen Schritt weiter und erweitert MetaR, indem es die Einbettung und relationale Metaberechnung mithilfe von Aufmerksamkeitsmechanismen und LSTM-Aggregatoren verbessert. Der Grund dafür ist, dass verrauschte Nachbarinformationen dem Modell schaden können, wenn Nachbarn frei sind oder sogar keine geeigneten Nachbarn zur Darstellung von Beziehungen mit wenigen Schüssen verfügbar sind. GANA schlägt einen global-lokalen Rahmen vor. In der globalen Phase wird ein geschlossener und sorgfältiger Nachbaraggregator konstruiert, um die Semantik einer kleinen Anzahl relationaler Nachbarschaften genau zu integrieren, was dazu beiträgt, verrauschte Nachbarn zu filtern, selbst wenn der KG extrem spärliche Nachbarschaften enthält. Kombinieren Sie Head-Tail-Entitäten, die mit Beziehungen mit wenigen Schüssen und ihren Nachbarschaften verbunden sind, um verrauschte Nachbarschaftsinformationen aufgrund spärlicher Nachbarschaften zu entfernen. Ein Gating-Mechanismus kann die Bedeutung von Nachbarschaftsdarstellungen für die Darstellung von Beziehungen mit wenigen Schüssen bestimmen. Insbesondere wird in der globalen Phase ein auf einem Graph Attention Network (GAT) basierender Nachbarschaftsencoder entwickelt, um den unterschiedlichen Einfluss von Nachbarn zu erfassen und die Qualität der Entitätseinbettungen zu verbessern. Der Encoder generiert Aufmerksamkeitsgewichte für jeden Nachbarn basierend auf einer trainierbaren linearen Transformationsmatrix. GANA bestimmt automatisch die Auswirkung der Nachbarn einer Entität auf Aufgabenbeziehungen mit wenigen Schüssen mithilfe von Gattern mit linearen Transformationen, um verrauschte Nachbarn aufgrund spärlicher Nachbarschaften zu entfernen. Entitäten werden dann dargestellt, indem Entitätseinbettungen mit ihren Nachbardarstellungen kombiniert werden. Die letzte dreifache Nachbardarstellung des Unterstützungssatzes ist die Verkettung der Kopf- und Schwanzdarstellungen. Durch die Codierung des Support-Sets verwendet GANA einen aufmerksamen Bi-LSTM-Encoder, um mehrere Nachbarschaftsdarstellungen der Abfragebeziehung in das Support-Set zu integrieren. Die Darstellung der Abfragebeziehung wird gewichtet, indem alle Nachbareinbettungen im Unterstützungssatz kombiniert werden, die Summe des endgültigen verborgenen Zustands des Bi-LSTM. Für die lokale Ebene zielt die Meta-Learning-basierte TransH-Methode (MTransH) darauf ab, komplexe Beziehungen zu modellieren und unser Modell mit wenig Lernaufwand zu trainieren. Der Grund für den Einsatz von TransH ist seine Fähigkeit, komplexe Zusammenhänge zu modellieren. Eine ähnliche Verlustfunktion wird mit MAML-Methoden angewendet, um gut initialisierte Parameter für alle Beziehungen mit wenigen Schüssen (Abfragen) im Meta-Trainingssatz zu lernen.
Ein weiteres ähnliches FKGC-Modell, HiRe [76], kann als Erweiterung von GANA angesehen werden. Es wird vorgeschlagen, relationale Informationen gemeinsam auf drei Ebenen zu erfassen: Entitätsebene, Tertiärebene und Kontextebene. Kontrastives Lernen wird verwendet, um die Nachbarn von Kopf- und Schwanzentitäten gemeinsam in ein Triplett zu kodieren, um einen breiteren Kontext zu kodieren. HiRe schlägt einen Kontext-Encoder für Ziel-Tripletts vor, um ihre wahren/falschen Kontexteinbettungen auf der Grundlage eines Selbstaufmerksamkeitsmechanismus zu lernen, sodass wichtige Nachbarn im Kontext höhere Gewichtungen erhalten. Darüber hinaus wird ein Kontrastverlust verwendet, um Drillinge näher an ihren tatsächlichen Kontext heranzuführen und sie von ihrem falschen Kontext zu trennen. Anschließend entwickelt HiRe in der dreischichtigen Relationslernphase einen transformatorbasierten Meta-Relations-Lerner, um die Interaktionen zwischen Referenztripeln zu erfassen und Meta-Relationsdarstellungen von Zielbeziehungen anstelle von LSTM zu generieren. Schließlich verwendet HiRe eine TransD-basierte Meta-Scoring-Funktion, um die Vielfalt von Entitäten und Beziehungen zu erfassen. MAML-basierte Trainingsstrategien werden in ähnlicher Weise auf GANA angewendet. Mit den dreistufigen Beziehungsinformationen schneidet HiRe auf NELL-One und Wiki-One besser ab als die hochmodernen Modelle. Ablationsstudien zeigen außerdem, dass alle drei Ebenen relationaler Informationen für die Leistung von HiRe von entscheidender Bedeutung sind und dass zukünftige Modelle diese Informationen weiter nutzen können.
Meta-iKG ist eine weitere aktuelle Arbeit auf diesem Gebiet, die vorschlägt, lokale Untergraphen zu nutzen, um untergraphspezifische Informationen zu übertragen und über Metagradienten mit Meta-Learning schnell übertragbare Muster zu erlernen. Graphische neuronale Netze wurden kürzlich in das induktive relationale Denken integriert, um Multi-Hop-Informationen rund um Zieltripel zu erfassen. GraIL schlägt beispielsweise ein auf Subgraphen basierendes Framework für relationales Denken vor, um mit unsichtbaren Entitäten umzugehen. CoMPILE erweitert diese Idee durch die Einführung eines Node-Edge-Kommunikationsnachrichtenübermittlungsmechanismus zur Modellierung gerichteter Untergraphen. Meta-iKG kann als Erweiterung der CoMPILE-Methode auf FKGC verstanden werden. Meta-iKG ist nicht mehr auf die transduktive Umgebung beschränkt und kann keine unsichtbaren Entitäten verarbeiten, sondern zielt auf eine kleine Anzahl induktiver KGC-Aufgaben ab, einschließlich neuer Entitäten im Testsatz. Das Modell unterteilt Beziehungen in Beziehungen für kleine Stichproben und Beziehungen für große Stichproben, verwendet einen Schwellenwert K für die Anzahl der Beziehungsinstanzen und Metatraining mit Beziehungen für große Stichproben, um gut initialisierte Parameter zu finden, und folgt dem Rahmen von MAML im Ternärbereich Anpassen des Modells an Gruppen. Meta-iKG erbt die Struktur von MetaR und extrahiert zunächst direkt geschlossene Untergraphen zwischen Ziel- und Schwanzentitäten in der beziehungsspezifischen Lernphase. Anschließend wird eine induktive Knotenmarkierungsfunktion angewendet, um die unterschiedlichen Rollen von Entitäten in den Untergraphen zu identifizieren.
Knoteneinbettungen werden durch die Entfernung zur Zielentität initialisiert, um die relative Position jedes Knotens im Untergraphen einzubetten. Dann folgt Meta-iKG der Idee von CoMPILE, jeden Teilgraphen mithilfe eines neuronalen Kommunikationsnetzwerks zu bewerten, um die Plausibilität seines Zieltripletts als Aufgabenverlust zu kodieren. Ein regelmäßiger Meta-Lernschritt garantiert die Leistung bei Beziehungen mit wenigen Schüssen. Sie können jedoch zu einer Verzerrung der aktualisierten Parameter führen, da aufgabenbezogene Abfragesätze nur die endgültigen Parameter aktualisieren. Um die Leistung von Meta-iKG bei Großbeziehungen zu gewährleisten, wird ein Aktualisierungsverfahren für Großbeziehungen eingeführt, um die endgültigen Parameter mithilfe des Unterstützungssatzes mit einer niedrigeren Lernrate weiter zu aktualisieren. Diese Operation ermöglicht Meta-iKG eine gute Verallgemeinerung auf den gesamten induktiven Datensatz.
Um das KG-Abhängigkeitsproblem zu lösen und negative Stichproben in der Trainingsphase weiter zu nutzen, wird ein Metamuster-Lernframework MetaP vorgeschlagen. Muster in Daten sind repräsentative Regelmäßigkeiten, die Daten klassifizieren. Drillinge in KGs folgen auch beziehungsspezifischen Mustern, die zur Messung der Wirksamkeit von Triplets verwendet werden können. Das Schema einer Beziehung bezieht sich auf die Regelmäßigkeit, in der die Merkmale der Kopfentität, der Relation und der Endentität gleichzeitig auftreten. MetaP entwirft einen auf Faltungsfiltern basierenden Musterlerner, um Muster von Tripeln direkt zu extrahieren. Es kann latente Darstellungen spezifischer Beziehungsmuster aus begrenzten Referenzen lernen und ist somit unabhängig vom Hintergrund-KG. Darüber hinaus kann MetaP durch die Ausnutzung negativer Referenzen die Wirksamkeit von Abfragetripeln genauer messen. Es wird ein Mustervergleicher mit Validitätsausgleichsmechanismus (VBM) vorgeschlagen, um die Wahrscheinlichkeit vorherzusagen, dass das Muster eines Abfragetripels positiv oder negativ ist.
-Fortgesetzt werden-