JEC-QA: 데이터세트 보고서 읽기에 대한 법적 영역 질문 답변

  • 데이터 출처: 중국 국가사법고시
  • 모델의 정확도는 28%, 전문가는 81%, 비전문가는 64%에 도달할 수 있습니다.
  • 데이터세트 다운로드 링크: http://jecqa.thunlp.org/
  • 코드 링크: https://github.com/thunlp/jec-qa
  • 검색 도구: https://www.elastic.co/cn/

소개하다

LQA는 법률 사건에 대한 설명, 제안 및 솔루션을 제공하며 한편으로는 비전문가를 위한 법률 지원 및 법률 상담을 제공하고 다른 한편으로는 전문가가 업무 효율성을 높이고 실제 사건을 보다 정확하게 분석할 수 있도록 도와줍니다.

LQA의 문제는 두 가지 범주로 나눌 수 있습니다.

  1. KD-question : 지식주도형, 지식주도형, 법률 개념 이해에 초점

  2. CA-question : case-analysis, case-driven, 좀 더 실제적인 사례 분석에 집중

  3. 26,365개의 객관식 질문이 포함되어 있으며 각 질문에는 4개의 옵션이 있으며 단일 선택 및 다중 선택이 있습니다.

  4. 필요한 모든 법적 지식/법령을 포함하는 데이터베이스 제공

  5. JEC-QA는 질문 유형(KD/CA 질문) 및 질문에 필요한 추론과 같은 각 질문에 대한 추가 레이블을 제공하며 전문가가 마킹한 데이터는 LQA의 심층 분석에 도움이 됩니다.

JEC-QA는 단어 일치, 개념 이해, 수학적 분석, 다중 긴 읽기 및 다중 홉 추론이 필요합니다.
예를 들어
사진 설명을 추가해주세요

관련된 일

QA 열기

외부 필드에 대한 지식이 필요하며, 첫 번째 단계는 검색(https://www.elastic.co/cn/), 두 번째 단계는 QA 모델에서 모델을 사용하여 답변을 제공하는 것입니다.

데이터 세트

[표본의 크기]

사진 설명을 추가해주세요
사진 설명을 추가해주세요

【데이터 베이스】

  • 사법고시 참고서 15주제 215장

【논리의 종류】

  1. 단어 매칭
    전통적인 QA와 유사한 가장 단순한 종류의 추론
  2. 개념적 이해
    법률 분야에서 모델은 법적 개념을 이해해야 합니다.
  3. 수학적 분석은
    질문에 답하기 위해 몇 가지 간단한 계산이 필요합니다.
  4. 다중 장 읽기는
    여러 단락을 읽고 충분한 증거를 통합해야 합니다.
  5. 다중 홉 추론은
    논리적 추론을 완료하고 답변을 얻기 위해 여러 단계가 필요합니다.

사진 설명을 추가해주세요

실험

검색 전략

3개의 기존 모델을 사용하여 새로운 주제를 분류하는 총 15개의 주제가 있습니다.

  1. 버트
  2. TextCNN
  3. DPCNN

TOP2의 주제를 찾기 위해 BERT를 사용하도록 선택하십시오. 검색된 자료를 기반으로 질문의 46%가 올바르게 답할 수 있었고 KD 질문이 CA 질문보다 훨씬 높았습니다.

입력 삼중 항 ( q , o , r ) (q,o,r)( q ,,r ) , 독해를 위해 검색된 질문, 옵션 및 구절을 나타냅니다.

  • q는 단어의 순서입니다.
  • o는 n = 4 n=4N=4 의 词序列,表示为( ( o 1 , 1 , o 1 , 2 , … , o 1 , ∣ o 1 ∣ ) , … , ( on , 1 , … , on , ∣ on ∣ ) ) \left(\left(o_{1,1}, o_{1,2}, \ldots, o_{1,\left|o_1\right|}\right), \ldots,\left(o_{n, 1}, \ldots, o_{n,\left|o_n\right|}\right)\right)( ( 1 , 1,영형1 , 2,,영형1 , o1),,( o, 1,,영형n , o) )
  • 각 옵션에 대해 다음이 있다고 가정합니다. m = 18 m=18=1 8 읽기 장,ri , j r_{i,j}아르 자형나는 , jii 를 나타냅니다.i 옵션jjthj个阅读篇章,即ri , j = ( ri , j , 1 , ri , j , 2 , … , ri , j , ∣ ri , j ∣ ) r_{i,j}=\left(r_{i, j, 1}, r_{i, j, 2}, \ldots, r_{i, j,\left|r _{i, j}\오른쪽|}\오른쪽)아르 자형나는 , j=( r나는 , j , 1,아르 자형나는 , j , 2,,아르 자형i , j , r나는 , j) , 其中i ∈ [ 1 , n ] i\in[1,n][ 1 ,n ]j ∈ [ 1 , m ] j\in[1,m]제이[ 1 ,m ]
  • 출력에는 두 가지 다른 작업이 있습니다. 단일 선택에 답하기, 객관식에 답하기
    • 객관식 질문의 경우 단일 레이블 분류가 필요하며 각 질문에 대해 점수 벡터 scoreingle ∈ R n score^{single}\in \mathbb{R}^n이 출력됩니다.스코어 _ _ _ _싱글 _ _ _ _ _아르 자형n , 각 옵션이 맞을 확률
    • 객관식 질문의 경우 채점 벡터 scoreall score^{all}을 출력해야 합니다.스코어 _ _ _ _a l l , 각 질문의 길이는2n − 1 2^n-12N-1

사진 설명을 추가해주세요

적용되지 않는 일부 모델을 변경했습니다.

  • 원래 모델이 질문과 장만 입력할 수 있고 옵션이 없다고 가정하면 질문과 각 옵션을 접합하여 각 옵션의 점수 si s_i 를 얻습니다.에스,然后score single = [ s 1 , s 2 , … , sn ] \text{score}^{single} =\left[s_1, s_2, \ldots, s_n\right]점수싱글 _ _ _ _ _=[ 1,에스2,,에스]
  • 원본 모델이 독해 조각에서만 답변을 추출할 수 있는 경우 출력 레이어를 선형 레이어로 수정하고 출력 점수 si s_i에스
  • 원본 모델을 여러 장으로 구성된 독해 작업에 사용할 수 없는 경우 각 옵션의 각 장에 별도로 모델을 적용하면 모델이 숨겨진 계층 hi , j ∈ R d h_{i, j} \ in \mathbb{R}^d를 출력합니다.시간나는 , j아르 자형d는 ii를 의미합니다.i 옵션jjthj 계층을 선택한 다음 동일한 옵션의 모든 표현에 대해 최대 풀링을 사용하여ii를i 옵션 의 히든 레이어는 hi ′ = [ hi , 1 ′ , hi , 2 ′ , … , hi , d ′ ] ​​h_i^{\prime}=\left[h_{i, 1}^{\prime}, h_{i, 2}^{\prime}, \ldots, h_{i, d}^{\prime}\right]시간=[ h나는 , 1,시간나는 , 2,,시간, ],其中max ⁡ ( hi , k , j ∣ ∀ 1 ≤ k ≤ m ) \max \left(h_{i, k, j} \mid \forall 1 \leq k \leq m\right)최대( 시간나는 , k , j1케이m ) , 그럼안녕 ′ h_i^{\prime}시간선형 레이어를 통해 ii 얻기i 옵션si s_i에스
  • score 싱글 \text{score}^{single}점수모든 질문에 답하는 scoreall score^{all}을 얻기 위해 선형 레이어에 단일 입력 입력 합니다 .스코어 _ _ _ _모두 _ _

테스트 세트 로 무작위로 20% 선택

기준선

  • 공동 매칭: 단답형 질문에 대한 단일 문단 독해 모델
  • BERT: 중국어 문서에 대해 훈련된 bert를 사용하는 단일 단락 독해 모델
  • SeaReader: 질문 중심 주의, 문서 중심 주의, 문서 간 주의, 게이트 레이어를 사용한 노이즈 제거의 세 가지 주의 방법을 사용하는 의료 분야의 질문 및 답변
  • 다중 매칭: 증거-답변 매칭 및 질문-통과-답 매칭 모듈을 사용하여 매칭 정보를 생성하고 이를 결합하여 후보자의 점수를 얻습니다.
  • Convolutional Spatial Attention(CSA): 먼저 어텐션 메커니즘을 사용하여 기사, 후보 답변 및 질문의 식별을 얻은 다음 CNN-MaxPooling을 사용하여 인접한 어텐션 정보를 요약합니다.
  • Confidence-based Model (CBM): 다중 단락 독해, 단일 단락 독해를 위한 파이프라인, 다중 단락 에 모델을 사용하기 위한 신뢰 기반 방법 적용
  • DSQA(Distantly Supervised Question Answering): 공개 QA, 분해 QA, 먼저 노이즈 문서를 필터링한 다음 올바른 정보를 추출하고 최상의 옵션을 선택하는 데 사용됩니다.

실험 결과

사진 설명을 추가해주세요

추천

출처blog.csdn.net/iteapoy/article/details/128310070