Baichuan, 검색 기능을 통합한 530억 개의 대형 모델 출시: 최초의 테스트 경험 제공
원본 Zenan Machine Heart 2023-08-09 12:53 베이징에 게시됨
기계의 심장 보고서
편집: 제난
매개 변수의 크기가 개선되고 검색 엔진에 통합되었으며 대상 서비스는 B-side입니다.
Wang Xiaochuan이 설립한 Baichuan Intelligent는 3개월 연속으로 어제 대형 모델을 출시했습니다.
8월 8일 , Baichuan Intelligent는 차세대 대형 모델 Baichuan-53B가 공식적으로 출시되었다고 베이징에서 발표했습니다 . 동시에 Wang Xiaochuan과 다른 회사 임원들이 언론과 인터뷰를 했습니다.
"보통 사람들은 대형 모델을 출시하는 데 데이터 축적 준비, 교육, 미세 조정까지 최소 반년은 걸린다고 생각합니다. 첫 번째 모델을 출시하는 데 불과 2개월이 걸렸고 최종 품질도 외부 세계"라고 전 Sogou CEO인 Baichuan Intelligent의 설립자인 Wang Xiaochuan은 말했습니다. "이전과 비교하여 Baichuan-53B의 매개변수 스케일이 크게 개선되었으며 쓰기 능력이 크게 향상되었습니다."
6월 15일 7B 모델, 7월 11일 13B 모델부터 현재 530억까지 바이촨 대형 모델의 물량이 급증했다. 이번에 Baichuan Intelligent는 대형 모델의 웹 사이트도 발표하고 내부 테스트를 위한 애플리케이션을 열었습니다.
링크: https://chat.baichuan-ai.com/home
행사장에서 Wang Xiaochuan은 개인적으로 차세대 대형 모델의 일부 기능을 시연했습니다.
Gulong 기사 스타일로 친구 서클 게시:
짧은 동영상 광고용 스크립트를 작성합니다.
Baichuan Intelligent는 창의성, 스타일 모방 및 텍스트 작성의 실용성 측면에서 Baichuan-53B가 충분히 잘 할 수 있으며 대부분의 작업에서 좋은 응답을 줄 수 있다고 말했습니다.
어제 출시된 후 기계의 심장은 Baichuan Intelligent가 언급한 텍스트 생성 및 검색 기능을 경험하는 데 중점을 둔 간단한 테스트를 수행하기 위해 내부 테스트에 초대되었습니다 .
2023년 베이징 대학 입학 시험을 위한 작문 문제를 풀어보세요.
Baichuan 53B는 최근 핫 뉴스를 이해하고 통합할 수 있음을 알 수 있습니다.
그러나 동시에 대형 모델들은 실시간 뉴스를 얻을 수 있는 능력이 있다고 생각하지 않는 것 같습니다.
Baichuan-53B에서 Sogou는 대형 모델과 검색이 고도로 통합되었으며 이 메커니즘을 통해 향후 검색 모델의 기반을 마련하기를 희망한다고 강조했습니다.
Baichuan은 검색 향상이 모델 적시성 과 환각을 해결하는 효과적인 수단 이라고 생각합니다 .검색 기술과 대규모 언어 모델 기능을 결합하면 혁신적인 모델 최적화가 가능하고 AI 답변의 유용성이 향상됩니다.
보고서에 따르면 Baichuan 대형 모델의 검색 향상 시스템은 명령 의도 이해 , 지능형 검색 및 결과 향상 과 같은 구성 요소를 포함하여 여러 모듈을 통합합니다. 이 시스템은 사용자 지침에 대한 심층적인 이해를 통해 검색어 검색을 정확하게 구동 하고 대규모 언어 모델 기술을 결합하여 모델 결과 생성의 신뢰성을 최적화합니다. 이러한 일련의 시너지 효과를 통해 대형 모델은 모델 결과에 대한 보다 정확하고 지능적인 답변을 가능하게 하고 이러한 방식으로 모델 환각을 줄입니다.
플러그인 형태로 Bing 검색에 연결하는 ChatGPT와 비교할 때 Baichuan의 대형 모델은 검색을 더 깊이 통합하지만 Baichuan은 협력하는 검색 엔진을 공개하지 않았습니다.
또한 동적 대응 전략에서 Baichuan은 명령 작업을 16개의 독립적인 범주 로 세분화하는 자체 고유성을 가지고 있습니다 . 이러한 범주는 정확한 질문과 대답, 논리적 추론 , 브레인스토밍 등 사용자 지침의 다양한 시나리오를 다루며 각 지침 범주는 개인화되고 최적화됩니다. 이 목표를 달성하기 위해 새 모델은 특정 입력 프롬프트를 구성하여 원하는 출력을 생성하도록 모델을 안내하는 Prompt Augmentation 기술에 의존합니다. 이 접근 방식은 모델이 다양한 유형의 명령에 적절하게 응답하도록 합니다.
또한 Baichuan Intelligent는 동적 하이퍼파라미터 조정 기술, 지능형 검색어 생성, 고품질 검색 결과 선별 및 RLHF 검색 결과 향상과 같은 방법에 대해 논의했습니다. Baichuan은 대형 모델 사전 훈련 외에도 응답 콘텐츠의 품질을 향상시키기 위해 정렬 튜닝(Alignment Tuning)의 중요성을 강조했습니다.
Wang Xiaochuan은 " 검색 엔진일 때보다 지금 더 큰 성취감을 느낀다 "고 말했다. "대형 모델 시대 이전에 Sogou는 Transformer를 아주 일찍 적용 했지만 검색을 실용적인 질의 응답 모델로 효과적으로 개선하지 못했습니다. 하지만 이제 이러한 기능을 보다 쉽게 실현할 수 있습니다."
모델의 크기가 커진 후 Baichuan은 이전 오픈 소스 방식을 계속하지 않고 Baichuan-53B는 다음 달 API 및 구성 요소를 공개 하고 비즈니스 정렬 및 전문 분야를 강화하여 구현을 추진할 계획입니다.
Wang Xiaochuan은 "우리가 제공하는 대형 모델은 업계에서 보기 드문 벤치마크 테스트 실행에 직접 사용할 수 있습니다. 이 제품은 개별 시나리오에 최적화되지 않았으며 to B의 기본 모델이 될 준비가 되어 있습니다."라고 말했습니다.
2023년 4월 10일, Wang Xiaochuan은 OpenAI를 벤치마킹하는 일반 지능형 기술을 만들고 기본 대형 모델과 파괴적인 상위 수준 애플리케이션을 구축하는 Baichuan Intelligence의 설립을 공식 발표했습니다. 기술 팀이 계속 확장되는 동안 Baichuan은 자체 개발한 대형 모델도 차례로 출시했습니다.
6월 15일 Baichuan Intelligent는 70억 개의 매개변수를 갖춘 중국어 및 영어 모델 Baichuan-7B를 출시했으며 세계 권위 있는 벤치마크 목록에서 동급 테스트에서 1위를 차지했습니다. 7월 11일, Baichuan Intelligence는 매개 변수 볼륨이 130억인 범용 대형 언어 모델 Baichuan-13B-Base, 대화 모델 Baichuan-13B-Chat 및 INT4/INT8의 두 가지 양자화 버전을 출시 했습니다 .
파이낸싱 측면에서 Baichuan Smart가 지난 5월 완료한 엔젤 라운드 파이낸싱은 Tencent, Xiaomi, Kingsoft, Muhua Capital, Tsinghua University Asset Management Co., Ltd. 등 10개 이상의 기관으로부터 공동 투자를 받았습니다.
비즈니스 모델 측면에서 Baichuan Intelligent는 장기적으로 소비자 분야에서 "슈퍼 애플리케이션"을 구매하고 구축할 수 있기를 희망합니다. 상대적으로 목표가 명확한 to B 분야는 시장 진입 속도가 가장 빠르지는 않지만 오픈 소스 등을 통해 강점을 보여주기도 했다.
Wang Xiaochuan은 "B의 관점에서 볼 때 오픈 소스 및 폐쇄 소스 대형 모델 모두 개발의 여지가 있습니다. 우리는 미래 기업의 80%가 오픈 소스 모델을 기반으로 인텔리전스를 구축해야 한다고 생각합니다."라고 말했습니다. "현재 150개 이상의 회사가 우리의 대규모 모델을 사용하기 위해 신청하고 있습니다."
Baichuan Intelligent 는 올해 3분기와 4분기에 수천억, 수조의 대형 모델을 계속 출시하고 GPT 시리즈에 대한 국내 최고 수준 및 벤치마킹 제품을 구축할 계획입니다 .