- 데이터 출처: 중국 국가사법고시
- 모델의 정확도는 28%, 전문가는 81%, 비전문가는 64%에 도달할 수 있습니다.
- 데이터세트 다운로드 링크: http://jecqa.thunlp.org/
- 코드 링크: https://github.com/thunlp/jec-qa
- 검색 도구: https://www.elastic.co/cn/
소개하다
LQA는 법률 사건에 대한 설명, 제안 및 솔루션을 제공하며 한편으로는 비전문가를 위한 법률 지원 및 법률 상담을 제공하고 다른 한편으로는 전문가가 업무 효율성을 높이고 실제 사건을 보다 정확하게 분석할 수 있도록 도와줍니다.
LQA의 문제는 두 가지 범주로 나눌 수 있습니다.
-
KD-question : 지식주도형, 지식주도형, 법률 개념 이해에 초점
-
CA-question : case-analysis, case-driven, 좀 더 실제적인 사례 분석에 집중
-
26,365개의 객관식 질문이 포함되어 있으며 각 질문에는 4개의 옵션이 있으며 단일 선택 및 다중 선택이 있습니다.
-
필요한 모든 법적 지식/법령을 포함하는 데이터베이스 제공
-
JEC-QA는 질문 유형(KD/CA 질문) 및 질문에 필요한 추론과 같은 각 질문에 대한 추가 레이블을 제공하며 전문가가 마킹한 데이터는 LQA의 심층 분석에 도움이 됩니다.
JEC-QA는 단어 일치, 개념 이해, 수학적 분석, 다중 긴 읽기 및 다중 홉 추론이 필요합니다.
예를 들어
관련된 일
QA 열기
외부 필드에 대한 지식이 필요하며, 첫 번째 단계는 검색(https://www.elastic.co/cn/), 두 번째 단계는 QA 모델에서 모델을 사용하여 답변을 제공하는 것입니다.
데이터 세트
[표본의 크기]
【데이터 베이스】
- 사법고시 참고서 15주제 215장
【논리의 종류】
- 단어 매칭
전통적인 QA와 유사한 가장 단순한 종류의 추론 - 개념적 이해
법률 분야에서 모델은 법적 개념을 이해해야 합니다. - 수학적 분석은
질문에 답하기 위해 몇 가지 간단한 계산이 필요합니다. - 다중 장 읽기는
여러 단락을 읽고 충분한 증거를 통합해야 합니다. - 다중 홉 추론은
논리적 추론을 완료하고 답변을 얻기 위해 여러 단계가 필요합니다.
실험
검색 전략
3개의 기존 모델을 사용하여 새로운 주제를 분류하는 총 15개의 주제가 있습니다.
- 버트
- TextCNN
- DPCNN
TOP2의 주제를 찾기 위해 BERT를 사용하도록 선택하십시오. 검색된 자료를 기반으로 질문의 46%가 올바르게 답할 수 있었고 KD 질문이 CA 질문보다 훨씬 높았습니다.
입력 삼중 항 ( q , o , r ) (q,o,r)( q ,오 ,r ) , 독해를 위해 검색된 질문, 옵션 및 구절을 나타냅니다.
- q는 단어의 순서입니다.
- o는 n = 4 n=4N=4 의 词序列,表示为( ( o 1 , 1 , o 1 , 2 , … , o 1 , ∣ o 1 ∣ ) , … , ( on , 1 , … , on , ∣ on ∣ ) ) \left(\left(o_{1,1}, o_{1,2}, \ldots, o_{1,\left|o_1\right|}\right), \ldots,\left(o_{n, 1}, \ldots, o_{n,\left|o_n\right|}\right)\right)( ( 오1 , 1,영형1 , 2,…,영형1 , ∣ o1∣),…,( o엔 , 1,…,영형n , ∣ o엔∣) )
- 각 옵션에 대해 다음이 있다고 가정합니다. m = 18 m=18중=1 8 읽기 장,ri , j r_{i,j}아르 자형나는 , jii 를 나타냅니다.i 옵션jjthj个阅读篇章,即ri , j = ( ri , j , 1 , ri , j , 2 , … , ri , j , ∣ ri , j ∣ ) r_{i,j}=\left(r_{i, j, 1}, r_{i, j, 2}, \ldots, r_{i, j,\left|r _{i, j}\오른쪽|}\오른쪽)아르 자형나는 , j=( r나는 , j , 1,아르 자형나는 , j , 2,…,아르 자형i , j , ∣ r나는 , j∣) , 其中i ∈ [ 1 , n ] i\in[1,n]나∈[ 1 ,n ],j ∈ [ 1 , m ] j\in[1,m]제이∈[ 1 ,m ]
- 출력에는 두 가지 다른 작업이 있습니다. 단일 선택에 답하기, 객관식에 답하기
- 객관식 질문의 경우 단일 레이블 분류가 필요하며 각 질문에 대해 점수 벡터 scoreingle ∈ R n score^{single}\in \mathbb{R}^n이 출력됩니다.스코어 _ _ _ _싱글 _ _ _ _ _∈아르 자형n , 각 옵션이 맞을 확률
- 객관식 질문의 경우 채점 벡터 scoreall score^{all}을 출력해야 합니다.스코어 _ _ _ _a l l , 각 질문의 길이는2n − 1 2^n-12N-1
적용되지 않는 일부 모델을 변경했습니다.
- 원래 모델이 질문과 장만 입력할 수 있고 옵션이 없다고 가정하면 질문과 각 옵션을 접합하여 각 옵션의 점수 si s_i 를 얻습니다.에스나,然后score single = [ s 1 , s 2 , … , sn ] \text{score}^{single} =\left[s_1, s_2, \ldots, s_n\right]점수싱글 _ _ _ _ _=[ 들1,에스2,…,에스엔]
- 원본 모델이 독해 조각에서만 답변을 추출할 수 있는 경우 출력 레이어를 선형 레이어로 수정하고 출력 점수 si s_i에스나
- 원본 모델을 여러 장으로 구성된 독해 작업에 사용할 수 없는 경우 각 옵션의 각 장에 별도로 모델을 적용하면 모델이 숨겨진 계층 hi , j ∈ R d h_{i, j} \ in \mathbb{R}^d를 출력합니다.시간나는 , j∈아르 자형d는 ii를 의미합니다.i 옵션jjthj 계층을 선택한 다음 동일한 옵션의 모든 표현에 대해 최대 풀링을 사용하여ii를i 옵션 의 히든 레이어는 hi ′ = [ hi , 1 ′ , hi , 2 ′ , … , hi , d ′ ] h_i^{\prime}=\left[h_{i, 1}^{\prime}, h_{i, 2}^{\prime}, \ldots, h_{i, d}^{\prime}\right]시간나′=[ h나는 , 1′,시간나는 , 2′,…,시간나 , 디′],其中max ( hi , k , j ∣ ∀ 1 ≤ k ≤ m ) \max \left(h_{i, k, j} \mid \forall 1 \leq k \leq m\right)최대( 시간나는 , k , j∣∀ 1≤케이≤m ) , 그럼안녕 ′ h_i^{\prime}시간나′선형 레이어를 통해 ii 얻기i 옵션si s_i에스나
- 将score 싱글 \text{score}^{single}점수모든 질문에 답하는 scoreall score^{all}을 얻기 위해 선형 레이어에 단일 입력 을 입력 합니다 .스코어 _ _ _ _모두 _ _
테스트 세트 로 무작위로 20% 선택
기준선
- 공동 매칭: 단답형 질문에 대한 단일 문단 독해 모델
- BERT: 중국어 문서에 대해 훈련된 bert를 사용하는 단일 단락 독해 모델
- SeaReader: 질문 중심 주의, 문서 중심 주의, 문서 간 주의, 게이트 레이어를 사용한 노이즈 제거의 세 가지 주의 방법을 사용하는 의료 분야의 질문 및 답변
- 다중 매칭: 증거-답변 매칭 및 질문-통과-답 매칭 모듈을 사용하여 매칭 정보를 생성하고 이를 결합하여 후보자의 점수를 얻습니다.
- Convolutional Spatial Attention(CSA): 먼저 어텐션 메커니즘을 사용하여 기사, 후보 답변 및 질문의 식별을 얻은 다음 CNN-MaxPooling을 사용하여 인접한 어텐션 정보를 요약합니다.
- Confidence-based Model (CBM): 다중 단락 독해, 단일 단락 독해를 위한 파이프라인, 다중 단락 에 모델을 사용하기 위한 신뢰 기반 방법 적용
- DSQA(Distantly Supervised Question Answering): 공개 QA, 분해 QA, 먼저 노이즈 문서를 필터링한 다음 올바른 정보를 추출하고 최상의 옵션을 선택하는 데 사용됩니다.