엔드 - 투 - 엔드 화면 기반 감정 분석을위한 대화 형 멀티 작업 학습 네트워크
간단히
이 문서에서는 공유 매개 변수 문서 코퍼스의 교육 부분은 작은 데이터 세트의 문제로 문제를 해결하는 동안 작업 및 멀티 작업으로 화면 추출 및 화면 senmetiment 분류를 통합하는 것이다.
개요
대화 형 멀티 작업이 네트워크 대화 형 멀티 태스킹 학습 네트워크 학습이 문서의 선물, 당신은 모두 토큰 수준의 다른 문서 수준, 동시에 공동 관련 작업에서 더 배울 수 있습니다. 단지 다른 작업에 일반적인 기능을 의존하는 기존의 다중 작업 학습 방법과는 달리, 메시지 전달 아키텍처의 IMN 도입, 정보의 집합을 반복 다른 작업간에 전달 잠재 변수의 다른 국가들과 공유 할 수 있습니다.
좋은 실험 결과.
소개
기존의 치료와 ABSA 문제가 두 가지 질문으로 분할, 파이프 라인, 수행 어떤 합동 훈련, 합동 훈련을하지만, 그 방법, 두 가지 작업 통일 된 라벨을 통해 바로 접촉이 함께 존재하지만, 각각의 링크는 명확하지 않다. 또한, 단지 클래스 측면 말뭉치에서 학습하지만, 문서 수준 심리 분석 신체, 감정과 관련된 언어학과 유용한 지식의 신체에 관련된 같은 클래스와 작은 신체, 정보의 다른 예상치 못한 좋은 사용의 측면 쉽게 얻을 수 있습니다.
AE 및 AS, 두 작업 사이의 링크를보다 효율적으로 사용하는 주소하면서이 문서는 IMN에 대해 설명합니다. 정보 큰 코퍼스의 사용 연수와 AE 및 AS 레벨 작업 및 문서 또한,에서, 또한 비교적 새로운 메시징 메커니즘을 도입 잠재적으로 유용한 정보를 다른 작업에서 공유 표현으로 다시 보내진다. 그리고 공유 정보는 후속 공정을위한 잠재을 표현하기 위해 결합된다. 이 반복 프로세스는 반복 수의 증가와 함께 수행되는, 정보 수정 복수의 링크에 걸쳐 확산 될 수있다. 다중 작업 학습은 대부분보다는 IMN 공유 특성뿐만 아니라, 메커니즘, 명시 적 모델링 작업을 메시지 전달 사이의 상호 작용에 의해 수 있습니다뿐만 아니라.
또한 IMN 또한 두 문서 수준 분류 작업 통합 : 감정 분류 (DS)과 함께 필드 (DD), 및 AE AS 트레이닝 분류.
관련 작업
다중 작업 학습
기존의 다중 작업 학습은 공유 작업 특정 네트워크 및 공유하는 두 개의 네트워크 기능 공간과 기능 공간이 작업 별을 얻는 것입니다. 병렬 학습 관련 작업의 공유 의미 표현을 사용하여, 어떤 경우에는 다중 작업 학습은 작업 사이의 상관 관계를 캡처하고 모델의 일반화를 향상시킬 수 있습니다.
그러나 기존의 다중 작업 학습과 명시 적 모델링 작업을 사이에 상관 관계 - 상호 작용하는 유일한 실수, 학습 특성을 통해 두 개의 카운터 전파 작업이 상호 작용을 제어 할 수 없습니다.
IMN은 물론 메시지 전달 메커니즘을 명시 모델링 작업 간의 관계를 통해, 단지 공유 표현된다.
정보 전달기구
CV 및 NLP 그래픽 모델 추론 알고리즘 네트워크 표현을 메시징 공부하고 있습니다. 이 메시지는 네트워크 아키텍처를 일으킬 수 있습니다 재발 성 신경 네트워크 모델링 알고리즘을 수행 할 수 있습니다. 우리는 또한 네트워크에서 정보의 보급 비슷한 연구를 업데이트하고 있지만 구조는 다중 작업 학습 문제를 해결하기 위해 설계되었습니다. 각 반복 업데이트 전위가 동일한 네트워크 구조로 표현하기 때문에 우리의 알고리즘은 대략 RNN 구조라고 할 수있다.
제안 된 방법
도 1에 도시 된 구조로, 입력 토큰의 세트는이고,
기능을 추출.
CNN은 상기 워드 단위에 포함 된 특징의 여러 층으로 추출 하였다.
출력이 레벨이되는 
다양한 작업 사이에 공유. 이것은 다음과 같은 정보를 통해, 업데이트 할 다른 작업에서 전파하는 데 사용되는 것을 나타냅니다.
이 그룹은에서 다른 작업을 입력 할 수 차례 것이라고 지적했다. 각 작업은 출력 구성 요소의 그것의 자신의 세트가있다, 그것은 태그 시퀀스의 집합입니다. 보조 기기 임무에서, 각각의 워드 라벨의 출력은 단어 또는 단어의 감정적 측면 여부를 나타내는, 스피치의 AS의 부분 단어 교정. 분류 작업 실시 예에 대한 입력 및 출력에서 출력 감정 DD 출력 도메인 DS. 각각의 반복, 공유 표현의 위에서 올바른 정보로 돌아갑니다. 정보 특히 관련 주제, AS에 AE로부터 전송 된 작업 정보, 다양한 구성 요소 사이에 전송 될 수있다. T는 시간을 반복 한 후 정보의 전송 출력 변수를 예측 함께 할 수 있습니다.
3.1 양태 수준 작업
AE 다섯 마크, 모든 측면과 의견 단어를 추출 할 : 
: AS 시퀀스 라벨링 문제, 세 개의 태그입니다 
, 표시만을 가로 세로 단어. 예로는이있다 :
는 AS 층에 추가로 자기주의가 층 AE 출력 층이 얻어 질 수있는 바와 같이, 다음과 같이 AS 태스크 번호 추출 된 의견 워드 AE를 사용되도록 특정 관심 계산된다 :
화학식 1에서, 첫 번째 요인은 두 단어 사이의 작은 큰이 거리 A 세번째 항이 J 의견 단어의 확률을 출력 AE를 합산하여되는 것을 나타내는 둘 사이의 상관 계수는 제 2 거리 인 BP IP 탭이를 찾을 수 있습니다. 이러한 방식으로, AS AE는 직접 충격의 영향.
보조 기기에서, 단어 매립하고, i 번째 토큰의 최종 표현으로 함께 접합 초기 공유 태스크 특정을 나타낸다.
는 AS에서, 최종 표현으로까지 공유 표현과 자기 관심의 접합을 나타내는 후. 각 작업 전에 확률이 softmax 연결 층의 전체 계산을 가지고있다.
문서 수준의 작업
为了解决aspect-level 训练数据不足的问题，IMN引入有情感信息的文档级别语料。引入两个文档级分类任务加入联合训练，分别是文档级情感分类和文档级领域分类。
两个都是多层CNN然后attention层 然后decode层，共享表示过了CNN之后，用softmax方式计算attention，最终得到加权和的表示过全连接和softmax
message passing mechanism
为了利用不同任务之间的交互，消息传递机制汇总了上一次迭代中不同任务的预测，并用这些信息来更新这次迭代中的共享表示。
：表示拼接，f表示ReLu激活的全连接。a表示注意力之后的表示，与情感或领域相关度更高的词更可能成为opinion word或aspect word
learning
交替在aspect level 和document level上进行训练。在asoect-level:
T 是迭代的最大次数,
表示aspect-levle训练数据总数,ni表示第i个训练实例中的token数，y表示的是各自标签的one-hot编码，l表示cross entropy loss。只考虑aspect term。
在document-level loss中：
在训练document level时不需要用到message passing mechanism
首先用document-level数据预训练网络几轮，然后以比率r在aspect level和 document level交替训练。算法如下：
D表示训练数据
experiments
데이터 : Semeval2014 Semeval2015, 문서 수준 및 두 개의 데이터 세트.
이 부분은 실험적인 매개 변수의 집합입니다
분석 결과
결과를 표 3에 나타내었다.
사례 연구의 결과 :
비교으로는 문서 수준의 검색 정보의 도입에 유용합니다.
결론
그는 다중 작업 학습 네트워크, 공동 교육 추출 및 분류 측면 및 의견 기간의 정서적 측면을 제안했다. IMN은 새로운 메시지 전달 메커니즘의 도입, 업무를보다 효율적으로 사용 사이의 링크를 제안했다. 또한, 같은 수준의 문서 데이터의 관점에서 유용한 정보를 얻기 위해 다른 훈련 데이터로부터 정보를 획득하는 단계에 초점을 맞추었다. 이 모델은 다른 관련 작업의 숫자에서 사용할 수 있습니다.
