【論文ノート】共感的な対話を生み出すための知識の架け橋

共感的な対話を生み出すための知識の橋渡し

カンファレンス ：AAAI 2022

タスク: 共感的な対話の生成

コード:プロジェクトアドレス

原文：紙の住所

1. 動機

人間は通常、潜在的な感情を認識するために経験と外部知識に依存しており、共感的に反応するにはさらに多くの外部知識が必要です。対話中、話し手の要求と相手の応答の間には一定の非対称なギャップが存在することが多く、要求とは関係のない新たな情報が応答に現れることもあります。情報間のつながりをモデル化するには、知識を架け橋として使用する必要があります。

さらに、共感的な対話では、外部知識とともに感情的依存（聞き手も話し手と同じ感情で反応する）や感情的慣性が現れることがよくあります。

2. 主要なアイデア

常識知識と感情語彙知識を統合した共感対話生成モデルKEMPを提案する。まず、外部知識と対話して対話履歴を強化し、感情的なコンテキスト グラフを構築します。次に、知識が豊富な感情コンテキスト グラフから感情コンテキスト表現を学習して、感情信号を抽出します。最後に、本論文は、感情コンテキストマップから得られる感情の依存関係を学習するための感情クロスアテンションメカニズムを提案します。

• 常識知識は ConceptNet を使用し、各知識タプルは次のように定義されます: (先頭概念、関係、末尾概念、信頼スコア)

• 感情語彙知識は NRC_VAD を使用し、20,000 の英単語を含み、各単語には 3 次元ベクトル ( $V_{}、{あ}_{}、D_{}$）。感情の強さの値を次のように定義します。

3.モデル

3.1 感情コンテキストグラフ

• 外部知識を取得し、感情コンテキストグラフを構築する

  対話履歴を考慮して、長いテキスト シーケンスにつなぎ合わせ、ノンストップ ワードごとに、まず ConceptNet で一連の候補トリプルを取得します。次に、感情関連の知識が 3 つのヒューリスティック戦略を通じて再定義されます。

  • 感情関連の関係 (「原因」など) とのエッジがあり、十分な自信があるトリプレットを抽出します。
  • 取得された概念エンティティは、VAD の感情強度値を使用して並べ替えられ、上位 K 個のトリプルが感情知識サブグラフとして選択されます。
  • 3 種類のエッジを確立します: タイミング エッジ (連続する 2 つの単語を接続)、エモーショナル エッジ (単語とその感情実体を接続)、グローバル エッジ (スタート シンボル CLS と他のノードを接続)

3.2 感情的コンテキストエンコーダ

• 感情コンテキストグラフのエンコーディング

  • 埋め込む

    感情コンテキストグラフのエンコードには、単語埋め込み、位置埋め込み、そして新たに追加したノード状態埋め込みの3種類の埋め込みが使用され、ノード状態埋め込みは、単語が対話履歴内の単語であるか対話履歴内の単語であるかを示すために使用されます。外部の知識。

  • マルチヘッドグラフアテンションメカニズム

    ノード表現は、マルチヘッド グラフ アテンション メカニズムを使用して更新されます。各ノードは、特に隣接するノードとのローカル アテンション相互作用によってコンテキスト化されます。

    埋め込み後の機能とマルチヘッド マップ アテンション インタラクションは、グローバル インタラクションのために通常の Transformer モジュールに入ります。

    最後に、各ノードのエンコードされた表現が取得されます。

• 感情信号の知覚

  • 感情信号表現は、頂点表現と感情強度値の加重合計として定義されます。
  • 次に、感情信号ベクトルは、線形層とソフトマックスを通じて感情カテゴリ分布に投影されます。線形層学習後の表現は感情信号です。

3.3 感情依存デコーダ

感情コンテキストグラフから感情依存性を取得し、共感反応の表現を制御するために、感情信号は線形層を介して新しいベクトルにマッピングされ、各タイムステップでデコーダーの入力単語埋め込みと連結されます。

感情コンテキスト マップとターゲットの共感的反応の間の感情関​​係を改善するために、この論文では、感情特徴の融合と感情的注意喪失の強制という 2 つの感情戦略を設計します。

• 感情的な特徴を組み込む

  Decoder のマルチヘッド クロス アテンション層では、最後の出力単語とEncoder によって出力された感情コンテキスト グラフの各ノード表現の間のアテンションが計算され、対話コンテキスト ベクトルが取得されます。

  対話応答で共感を表現するために、対話コンテキスト ベクトルと感情信号表現を連結して感情コンテキスト ベクトルを取得します。次に、後続の Transformer Decoder モジュールに入力します。

• 感情的な注意力の低下を強制する

  • 会話の中で、人々は自然に、顕著な感情情報を含む表現に注意を払います。なぜなら、この論文では、次のように、強制的な感情的注意喪失を設計しており、これにより、モデルが感情的強度の高いノードにより多くの注意を払うようになります。

  

  式はまず各ノードの注意力を平均し、次に各ノードの感情強度とその注意値の間の平均二乗誤差 (MSE) を最小化します。これにより、感情強度値が高いノードが設計されます。注意力はより重み付けされます。 。

  • さらに、入力グラフからエンティティ概念ノードをコピーする確率を計算するために、テキストの概要にあるポインタ生成ネットワーク PGN のメソッドを次に示します。

    

  最終的な損失はマルチタスク学習の一種であり、感情ラベルの予測、テキスト生成、および感情の注意の 3 つの損失の加重合計を同時に最適化します。

3.4 KEMP-DialogGPT

KEMP は、感情コンテキスト エンコーダーのグラフ アテンション層と感情依存デコーダーのクロスアテンション層を DialoGPT に融合することで、事前トレーニングされた言語モデルに統合されています。