머리말
이 기사에 관심이 있으시면 " 【방문자는 반드시 읽어야 할 가이드 페이지】이 기사에는 홈페이지의 모든 고품질 블로그가 포함되어 있습니다. "를 클릭하면 전체 블로그 분류 및 해당 링크를 볼 수 있습니다.
대규모 언어 모델 연구에서 연구원은 두 가지 다른 기대치를 가지고 있으며 이는 두 가지 다른 경로로 이해될 수 있습니다. 특히 다음과 같습니다.
- 기대치 1 : 전문가가 되어 특정 유형의 업무 해결(번역, 초록 습득)
- 기대치 2: 제너럴리스트가 되려면 지시(Prompt)가 주어지면 해당 작업을 완료할 수 있습니다.
- 이 방향의 초기 연구는 모든 NLP 작업을 질의 응답 작업으로 전환하여 모든 작업을 통합할 수 있다고 믿습니다.
다음에서 우리는 이 두 가지 다른 기대치를 소개할 것입니다.
전문적인 기대치
스페셜리스트는 단일 작업에서 제너럴리스트를 이길 기회가 있습니다. 예를 들어 다음 논문 에서 ChatGPT는 다양한 작업에서 좋은 성능을 보였으나(값이 클수록 좋음) 여전히 전문가를 이길 수는 없었습니다.
이것은 "전문가"의 사용에 해당합니다. 즉, 초기 도메인 모델을 미세 조정하거나 구조를 일부 수정하거나 일부 매개변수를 미세 조정합니다.
- 또한 BERT의 훈련 과정과 더 일치하는데, 훈련 과정은 문장의 빈칸을 채우는 것이기 때문에 훈련된 모델은 완전한 문장을 생성할 수 없으며 특정 시나리오에 대한 미세 조정이 필요합니다.
아래와 같이 4개의 BERT는 특정 작업을 수행할 수 있도록 헤드의 구조적 수정을 증가시킵니다.
그리고 모델의 매개변수를 미세조정(Finetune), 즉 적은 양의 데이터로 모델 매개변수를 조정하거나 LLM의 매개변수를 조정하거나 새로 추가된 구조의 매개변수만 조정할 수 있습니다.
Adaptor(Efficient Finetuning)는 대형 모델에 일부 플러그인을 추가하는 것으로 후속 작업을 위한 미세 조정 시 Adapter에서 매개변수를 조정하기만 하면 됩니다.
제너럴리스트의 기대
"인공 지능"에 대한 인간의 상상에 부합하며 새로운 작업을 개발하는 것이 매우 편리합니다.Prompt가 재설계되는 한 새로운 기능을 빠르게 개발할 수 있어 효율성이 크게 향상됩니다.
제너럴리스트의 경우 두 가지 유형의 작업도 있습니다.
- [교육 학습] 주제에 대한 설명을 제공하고 기계가 대답하도록 합니다.
- [맥락 학습] 예시를 제시하고 기계가 다른 질문에 답하게 하세요.
상황에 맞는 학습
[핵심 작업] 몇 가지 예를 제시한 다음 기계가 유사한 질문에 답하도록 합니다.
다음 실험 결과에서 볼 수 있듯이 기계는 예제에서 학습하는 것으로 보이지 않습니다.
- 파란색: 예 없음(매우 나쁨)
- 노란색: 예를 사용할 수 있고 올바르게 레이블이 지정됨(최고)
- 빨간색: 예가 있으며 예는 무작위로 표시됨(최상의 대비, 약간 감소)
그러나 이러한 예제의 필드는 다음과 같이 중요해 보입니다.
- 하나 이상의 자주색 열, 사용된 예는 후속 질문과 관련이 없으며 표시가 임의적입니다(성능이 계속 저하됨).
따라서 상황 내 학습에서 모델은 예제에서 학습하지 않으며 예제의 역할은 모델을 활성화하고 현재 작업이 어떤 필드에 관한 것인지 알려주는 것이므로 예제의 수는 아닙니다. 매우 중요.
그러나 후속 작업에서 새로운 작업이 나타났습니다. 그들은 매우 큰 모델의 경우 모델이 다음 실험 결과와 같이 상황에 맞는 예에서 배울 수 있다고 믿습니다.
- 색상이 어두울수록 모델이 커집니다.
- 가로축은 잘못된 레이블 비율이고 세로축은 인덱스입니다.
- 잘못된 데이터가 많을수록 모델의 성능에 미치는 영향이 더 크다는 것을 알 수 있습니다.
교육 학습
Word Solitaire 교육으로 얻은 모델은 문제 설명에 따라 해당 작업으로 전환할 수 있도록 일부 명령 조정을 수행해야 합니다.
명령 조정은 다음과 같은 작업을 수행할 것으로 예상합니다.
명령 튜닝을 수행하려면 다양한 작업(주석 포함)을 수집한 다음 이러한 작업을 다음과 같이 명령으로 다시 작성해야 합니다.
생각의 사슬(CoT)
나중에 어떤 사람은 In-Context 학습을 할 때 유도 과정이 주어지면 큰 모델의 컨텍스트 학습 능력이 강화된다는 것을 발견했습니다. 또한 누군가 프롬프트에서 "단계적으로 생각하자"를 직접 추가했으며 이 간단한 문장도 향상됩니다. 모델의 성능.
일련의 생각을 하면 모델이 생성하는 답변이 더 다양해질 것이므로 그에 따라 self consistency 방법도 제안합니다. 즉, 여러 번 실행하고 나타나는 모든 답변에 투표하고 나타나는 답변을 출력합니다. 가장 자주.
신속한 엔지니어링
모델이 스스로 프롬프트를 찾도록 하는 방법도 있습니다.
- 예를 들어 기계가 스스로 프롬프트를 찾도록 하십시오.
완전한 방법은 위의 예를 제공하고, 기계가 그것을 찾도록 하고, 여러 번 찾고, 각 프롬프트에 점수를 매긴 다음 가장 높은 점수를 가진 것을 유지하고 LLM에 계속 입력하여 유사한 것을 찾을 수 있도록 하는 것입니다. , 아래 그림과 같이:
참조
- 이흥이: 대규모 언어 모델을 사용하는 두 가지 방법(1)
- 이흥이: 대규모 언어 모델을 사용하는 두 가지 방법(2)
- 이흥이: 대형 언어 모델의 두 가지 사용 유형(3)
- ChatGPT는 좋은 번역가인가요? 예 GPT-4를 엔진으로 사용
- 기계 번역에서 GPT 모델은 얼마나 좋은가요? 종합적인 평가
- 시연의 역할 재고하기: 상황 내 학습이 작동하는 이유는 무엇입니까?
- GPT가 상황에 맞는 학습을 할 수 있는 이유는 무엇입니까? 언어 모델은 메타 옵티마이저로서 비밀리에 경사 하강법을 수행합니다.
- 더 큰 언어 모델은 상황 내 학습을 다르게 수행합니다.
- Multitask Prompted Training은 제로샷 작업 일반화를 가능하게 합니다.
- 자기 일관성은 언어 모델의 사고 추론을 향상시킵니다.
- 대규모 언어 모델은 인간 수준의 프롬프트 엔지니어입니다.
- BERT에 대한 공격: NLP 세계와 전이 학습에서 거인의 힘