Meituan Waimai의 정보 흐름 광고 예측 기술 실습

이 기사는 Meituan Technology Salon 81호 "광고 알고리즘 분야의 Meituan의 탐구 및 실습"(Bilibili 비디오)을 편집한 것입니다. 이 기사에서는 먼저 Meituan의 정보 흐름 광고 사업 및 예측 기술의 현황을 소개한 다음 의사 결정 경로, 초장거리 및 초광폭 모델링에 중점을 두고 Meituan의 정보 흐름 광고 예측의 구체적인 사례를 공유하는 데 중점을 둡니다. 전체 축소 모델링. 각 차원이 공유되었으며, 마지막으로 모든 사람에게 도움이 되거나 영감을 줄 수 있는 몇 가지 요약이 있습니다.

1 정보흐름 광고사업 현황 및 예측기술

1.1 정보흐름 광고사업의 특징

현재 Meituan Waimai의 광고에는 주로 정보 흐름 광고, 검색 광고, 마케팅 광고, 디스플레이 광고 등이 포함됩니다. 테이크아웃 사업에는 일반적인 사업 특성이 있습니다.

사용자 행동은 매우 일관적입니다 . 사용자는 식사 의도가 명확하고 일반적으로 10분 이내에 식사를 완료하며 UV 주문 비율이 높습니다.
풍부한 표시 정보 : 카드 정보에는 점수, 리뷰, 할인, 배송 및 기타 정보가 포함되어 사용자의 의사 결정에 큰 영향을 미칩니다.
텍스트 정보가 많음 : 전자상거래 시나리오에서는 제품 이미지가 후보 이미지로 큰 역할을 하는 경우가 많지만, 테이크아웃 시나리오에서는 판매자가 더 복잡한 후보로 판매자 이름, 리뷰, 인기 요리 등의 텍스트 정보가 영향을 미칠 수 있습니다. 사용자의 의사결정.

1.2 기술개요 및 진화단계

먼저 예측기술 현황을 소개합니다. 기술적인 관점에서 볼 때, 다음 그림은 광고 전달 시스템의 전반적인 프로세스를 보여줍니다.

일반적으로 테이크아웃 광고 시스템은 리콜, 대략 순위, 정밀 순위 및 다양한 메커니즘을 포함하여 업계의 검색 프로모션 시스템과 비교적 유사합니다. 하지만 테이크아웃 광고와 업계 시나리오의 가장 큰 차이점은 리콜이다. 위치서비스(LBS)를 기반으로 하고, 프로세스 자체에 일정한 제약이 있기 때문이다. 따라서 우리는 전체 링크의 개선을 극대화하기 위해 미세 조정 및 메커니즘 수준에 더 많은 컴퓨팅 성능과 리소스를 투자할 것입니다.

지난 6~7년 동안 주택 광고 예측 알고리즘은 세 단계의 개발을 거쳤습니다. 첫 번째 단계는 연속 특성, 교차 통계 등을 포함하는 트리 모델이었습니다. 당시의 모델 피팅 기능은 상대적으로 제한적이었습니다. 두 번째 단계는 2017년부터 2020년까지입니다. 이 단계에서 DNN 모델이 폭발적으로 증가하기 시작했습니다. 기능을 업그레이드하고 업계의 속도를 따르기 시작하여 비즈니스 결과를 지속적으로 개선하기 위해 더 복잡한 모델을 도입했습니다. 세 번째 단계는 2021년부터 현재까지입니다. 우리의 주요 방향은 비즈니스 효과를 더욱 향상시키기 위한 희소 대형 모델 + 초장기 시퀀스입니다.

1.3 예상되는 기술현황

정보 흐름 광고 예측의 기술 수준에서 주요 탐색 방향은 사용자 방향, 링크 방향 및 NLP 방향입니다(아래 그림 참조). 물론 이 그림이 더 포괄적이라면 교차 방향, 여러 장면 및 여러 대상 등도 포함됩니다. 우리는 다른 방향을 선택하지 않았습니다. 주로 교차 방향 측면에서 인터넷 산업의 지속적인 발전으로 인해 사용자 행동이 점점 더 복잡해지고 교차 방향은 상황 수준의 딥 러닝 기능만 가져올 수 있다는 것을 알았기 때문입니다. . , 계속해서 효과의 원인이 될 수는 없습니다. 한편, 크로스오버 기술도 발전하고 있지만 개발 방향도 ID 매칭에서 Sequence Matching으로 진행되고 있어 단순 플랫 카테고리 기능의 크로스 모델 능력으로는 개발이 제한적이었습니다. 다양한 요인을 고려하여 장기적인 방향으로 크로스오버를 반복하지 않았습니다.

다중 장면 방향도 있습니다. 사실 우리는 이전에 이 방향으로 몇 가지 반복을 수행하여 효과의 물결을 가져왔지만 나중에 이 기술이 여러 개의 작은 장면을 연결하는 데 더 적합하다는 것을 알게 되었습니다. 귀하가 서비스를 제공하는 비즈니스에 상대적으로 큰 시나리오가 1~2개만 있고 이러한 시나리오의 사용자 요구, 표시 형식 및 후보 공급의 차이가 크지 않은 경우 해당 분야에서 귀하의 기술적 능력과 역할을 발휘할 수 없을 것입니다. 이 방향.

우리의 전반적인 아이디어는 사용자 요소 매칭, 페이지 매칭, 경로 매칭, 그리고 마지막으로 장기적인 관심사 매칭에 이릅니다. 기본적으로 그들은 다양한 수준에서 사용자 매칭과 관련된 작업을 수행하고 있습니다. 그 중 요소 매칭과 페이지 매칭이 링크 방향에 속한다. 그 이유는 링크 방향이 "보이지 않는 문제"를 해결한 다음 이 "보이는" 정보를 사용하여 해당 모델링을 수행하는 것에 더 가깝기 때문에 링크 방향을 별도로 나열합니다.

사용자 방향에서도 대략 3단계를 거쳤습니다. 첫 번째 단계는 원래의 단일 지점 및 단일 입력 동작에서 전체 동작 및 전체 입력으로 확장하는 것입니다. 두 번째 단계는 특정 상황에서 기존 입력을 확장하는 것입니다. 더 많은 행동 패턴을 탐색할 것입니다. 세 번째 단계에서는 주로 자동화된 패턴 추출을 수행합니다. 즉, 행동을 자동으로 맞추는 네트워크의 능력이 더 강해질 것입니다.
링크 방향에서 우리는 주로 두 가지에 중점을 둡니다. 하나는 페이지 복원이고 다른 하나는 카드 복원입니다. 알고리즘과 엔지니어링 기능을 사용하여 사용자가 모델 결정에서 "보는" 내용을 복원합니다.
예전에는 NLP 방향으로 멀티모달리티(multimodality)라는 또 다른 방향을 가지고 있었는데, 객관적으로 보면 LLM의 인기와 함께 외부 기술도 더 많은 인풋을 제공해주기 때문에 LLM IN CTR을 주요 기술 방향으로 따로 나열하고 있습니다.

2 Meituan의 정보 흐름 광고 실행

2.1 사용자 모델링 아이디어 개요

전체 사용자 방향은 세 가지 역방향으로 나누어집니다. 첫 번째는 타임라인, 두 번째는 공간선, 세 번째는 시간과 공간의 공동 작용에 따른 행동 패턴입니다. 이를 해체할 때 세션 모델링, 초장기 행동 모델링, 다중 행동 모델링, 장기 및 단기 모델링 등 업계 및 학계의 주요 반복 방법도 참조했습니다. 학계와 업계를 기반으로 비즈니스 문제 및 특성을 결합하여 기술과 비즈니스를 보다 효과적으로 통합하기 위해 다음과 같은 기술적 분석을 수행합니다.

일정상 우리는 장기 및 단기 다단계 통합이 더 중요하다고 믿습니다. 한편으로는 페이지 경향 비교, 경로에 대한 지속적인 관심, 일정 기간 동안 가벼운 식사를 하는 사용자 등 다양한 수준의 "세그먼트"에 대한 사용자 관심의 초점에 상당한 차이가 있습니다. 이를 다양한 수준의 세그먼트로 나누어 사용자 행동 패턴을 추출해야 합니다. 따라서 한편으로는 더 많은 페이지와 경로를 통해 단기와 장기를 결합하는 동시에 일일 및 주간 수준에서 중기 관심을 높이고 단기, 중기, 그리고 단기적으로 타임라인 동작의 연결을 강화합니다. 반면, 행동 패턴을 자동으로 발견하기 위해 일부 엔드투엔드 방법이 모델에 추가됩니다. 이것이 타임라인이 다루는 핵심 질문입니다.

공간선, 실제 물리적 공간 차원에서 우리가 직면하는 문제는 직장에 갈 때와 집에 있을 때 등 서로 다른 위치에서 실제로 위치에 따라 정확히 동일하지 않습니다. 공간, 우리 모두가 추천합니다. 예를 들어 가상 공간에서 사용자가 메이투안 앱(Meituan App), 디안핑 앱(Dianping App) 등 다양한 입구를 사용할 때 사람들의 관심과 의도도 크게 바뀔 것입니다. 눈에 띄는 예는 사용자가 홈 페이지와 회원 가입 페이지의 제안에 서로 다른 관심을 갖는다는 것입니다. 공간선이 해결하는 문제는 현실 공간과 가상 공간을 결합해 사용자의 진정한 의도나 행동 패턴을 파악하는 것이다.

세 번째 라인은 이를 비즈니스와 통합하는 것입니다. 예를 들어 사용자가 앱에서 일부 작업을 수행하는 경우(빨간 봉투를 받음) 이 행동이 음식 주문에 어떤 영향을 미칠까요? 기본적으로 모델은 사용자가 일부 작업을 수행한 후 다음 행동에 어떤 영향을 미칠지 이해하므로 모델은 다양한 사용자 행동 패턴을 학습하고 사용자 행동을 더 잘 예측할 수 있습니다. 위는 우리의 사용자 모델링에 대한 전반적인 아이디어입니다.

2.1.1 의사결정 경로 모델링

이 섹션에서는 결정 경로 모델링을 소개합니다. 첫 번째 핵심 질문은 DIN 단일 지점 일치가 무엇을 무시합니까? 우리는 단일 지점 매칭이 사용자의 후속 행동에 대한 이전 행동의 영향을 무시한다고 믿습니다. 대부분의 전자상거래 비즈니스에서는 일정 기간 동안의 사용자 행동이 어느 정도 일관성을 갖습니다. 우리는 사용자의 과거 행동 데이터를 기반으로 다음 행동을 예측할 수 있습니다. 여기에는 두 가지 과제가 있습니다. 첫째, 핵심 경로를 구성하는 방법이고, 둘째, 경로 자체의 노이즈, 희소성, 일치 및 기타 문제를 해결하는 방법입니다. 우리의 솔루션에는 주로 세 가지 사항이 있습니다.

먼저 PEM(Path Enhance Module)이 핵심 경로를 추출합니다.

이전 경로와 후보(과거 경로는 클릭) 간의 상관 관계를 확인하고 경로 신뢰도를 모델링합니다.
원래의 완전히 연결된 MLP 활성화 + Softmax Top K는 핵심 경로 표현으로 원래 표현과 결합됩니다.

둘째, PAM(Path Augment Module)은 경로를 확장합니다.

사용자의 증강 경로를 포지티브 샘플로, 다른 사용자의 경로를 네거티브 샘플로 사용하여 경로 표현 학습 능력을 향상시키기 위해 비교 학습 Loss를 도입합니다.

세 번째, PMM(Path Matching Module) 경로 + 포인트 이중 레이어 매칭입니다.

PEM 표현을 기반으로 경로 매칭 Attention이 구성되고 관련 없는 경로의 영향을 제거하고 후보 포인트의 매칭 정확도를 높이기 위해 과거 경로의 상위 K가 추가로 선택됩니다.
더블 레이어 매칭을 완성하기 위해 포인트(아이템) 매칭을 추가로 도입합니다.

2.1.2 울트라롱과 울트라와이드에 대한 사용자 행동 모델링

초장기 모델링은 기본적으로 클러스터링, 로컬 해싱 등의 근사 기술을 통해 구현된다는 사실을 많은 학생들이 알고 있다고 생각합니다. 초광각 모델링을 도입하는 이유는 기본적으로 모든 입력을 하나로 모아야 하기 때문에 사물을 처리하려면 더 크고 복잡한 모델이 필요하기 때문입니다. 그러나 실제로는 현재의 컴퓨팅 성능이 이를 지원할 수 없기 때문에 이를 완전히 실현하지 못했습니다. 길이는 1000(Length) 수준으로 절충을 하였고, 너비는 현재 10+ 수준입니다. 오프라인에서는 더 큰 스케일도 지원 가능하며, 효과는 10,000 수준으로 크게 향상되었습니다. 반복 효율성, 온라인 압력은 크게 제한됩니다.

우리는 또한 여기서 두 가지 질문에 직면합니다. 첫 번째 질문은 왜 SIM/ETA가 결과를 가져오지 못하는가입니다. 이 방향은 전자상거래 플랫폼에서 처음 제안되었으며 SIM은 주로 하드 필터링을 사용합니다. 예를 들어 사용자가 웹사이트에서 신발 관련 행동을 탐색할 때 하드 필터링을 통해 다양한 정보도 볼 수 있습니다. '신발'과 관련된 상품은 걸러낼 수 있고, 신발과 관련 없는 노이즈는 걸러낼 수 있으며, 사용자의 신발 선호도를 학습할 수 있습니다. 테이크아웃 주문은 상대적으로 다릅니다. 후보 버거의 경우 버거 카테고리를 통해 버거와 관련 없는 행동을 필터링하면 더 많은 사용자 취향 정보가 손실됩니다. 이는 비즈니스 차이로 인해 발생합니다.

두 번째 질문은 DIN 점수를 긴 시퀀스의 최종 단계로 맞추는 것입니까? 업계에서는 DIN Score를 벤치마크로 선형적으로 확대하면 효과를 발휘할 수 있고, 10,000 수준이나 100,000 수준으로 더 확장하면 효과를 극대화할 수 있다고 믿었던 기사가 있었습니다. 그러나 실험을 통해 CTR 장면을 초장기 수준으로 선형 확장하면 효과가 계속 나타나지 않고 일정 길이 이후 감소했습니다. 우리는 DIN 네트워크 자체의 노이즈 제거 능력이 그다지 강력하지 않거나 Label 결과를 추출하는 구조적 능력이 충분히 강력하지 않다고 믿습니다. 특별히 강력한 네트워크가 아니면 확장 시 수용할 수 있는 정보가 상대적으로 제한됩니다.

CTR은 기본적으로 사용자 기록과 현재 시나리오를 기반으로 사용자와 후보자를 일치시키는 프로세스인 노이즈 제거 작업으로 이해할 수 있습니다. 우리는 교차 정보 Label POI를 Target과 매칭하는 등 정확하게 예측하거나 모든 노이즈를 제거할 수 있다면 간단한 네트워크를 사용하여 높은 AUC를 얻을 수도 있음을 발견했습니다. 따라서 우리는 완벽한 CTR 네트워크는 강력한 예측 네트워크 + 약한 매칭 네트워크의 조합이어야 한다고 믿습니다. 예측 네트워크는 여러 레이어를 중첩하여 정보를 추출하여 타겟과 일치하는 보다 정확한 예측 결과를 얻을 수 있는 매우 강력한 네트워크여야 합니다. 그래서 우리는 다중 레이어 디코더를 설계했으며 디코더의 각 레이어는 정보를 통합할 수 있습니다. 지속적으로 효과적인 행렬을 선택하고 효과적인 정보를 반복적으로 중첩함으로써 정보를 더욱 정확하게 만들 수 있습니다. 여기에서는 여러 라운드의 네트워크를 중첩하여 결과의 효율성을 확인하기 위해 일련의 스케일링 법칙 실험을 수행했습니다. 라운드 수가 증가함에 따라 네트워크가 사용자 행동을 학습하는 능력(AUC는 계층별로 증가함)도 증가한다는 것을 알 수 있습니다.

2.2 전체 복원 모델링

먼저, 완전 축소 모델링이란 무엇일까요? 우리가 제공하는 한 가지 정의는 사용자가 보는 것을 복원하는 것입니다. CTR 작업은 사용자가 보는 정보를 바탕으로 사용자가 클릭하는지 여부를 판단하는 것입니다. 과거에는 단순히 ID 표현을 통한 모델링에서는 컨텍스트와 표시 정보를 무시하고 보이는 모든 정보를 모델에 통합하는 것입니다. 정보 격차가 더 커졌습니다.

첫 번째 관점에서는 컨텍스트 카드를 사용할 수 없습니다. 문맥 정보는 현재 후보자와 현재 카드의 CTR에 매우 중요합니다. 일부 학생들은 재배열이 이 문제를 해결할 수 있다고 생각할 수도 있지만 우리는 항상 컨텍스트 정보가 링크 정보에 속한다고 믿습니다. 물론 각 모듈은 서로 다른 학습 초점을 가질 수 있으며 실제로 가져올 수 있습니다. 특정 효과. 두 번째 관점은 컴퓨팅 파워의 관점입니다. 추정 측면의 컴퓨팅 파워가 상대적으로 높기 때문에 그 영향의 범위가 더 커지고 실제로 더 많은 효과 공간을 가져올 수 있습니다.

왼쪽 하단의 그림을 보면 링크 관점에서 얻을 수 없는 두 가지 모듈, 즉 견적 모듈과 광고 모듈이 있습니다. 첫째는 표시된 배송정보, 배송비, 정확한 할인 정보 등 광고의 백링크 정보를 얻을 수 없다는 것이고, 둘째는 자연스러운 맥락을 포함한 자연정보를 얻을 수 없다는 점이다. 따라서 다른 관점에서의 복원은 링크의 제약을 깨고 순회정보를 활용하는 방법이다.

이는 완전 복원 모델링이 직면한 문제 중 일부이며 실제로는 카드 복원과 페이지 복원의 두 가지 방향으로 요약할 수 있습니다. 초기에는 카드와 페이지 정보를 완전히 넣었고, 전체적인 공간을 판단하기 위해 AUC의 증가를 관찰한 결과, 페이지 정보는 백분위수 수준으로 나타났고, 카드 정보도 마찬가지였다. 수천분의 1포인트 높았습니다.

전반적인 솔루션 아이디어

여기에서 페이지 복원 및 카드 복원을 확장하세요. 우선 사고 측면에서는 주로 알고리즘과 엔지니어링이라는 두 가지 차원에서 해결합니다. 알고리즘 수준에서 첫 번째는 페이지를 추측하는 것이며, 이전 링크 정보를 최대한 활용하여 페이지를 추측하고, 두 번째는 광고 소재 링크를 앞에 두고 요소를 추측하고 광고 소재 최적화 결과를 출력합니다. 괜찮은 순위. 엔지니어링 수준에서는 첫 번째로 페이지를 절약하고 Near-Line 시스템을 도입하며 Bypass 시스템을 기반으로 Side Model End-to-End 예측을 사용하여 최종적으로 정보를 표시하고 백링크 비전의 활용을 극대화합니다. 두 번째는 요소를 저장하는 것으로, 니어라인 시스템 + 고차원 KV를 도입하여 요소 획득 범위를 +100%로, 정확도를 70%+로 높입니다.

앞서 언급한 바와 같이 문맥 정보는 최종 클릭에 더 큰 영향을 미칩니다. CTR 모듈은 문맥을 얻을 수 없기 때문에 과거 솔루션에서는 소규모 대기열을 모델링하기 위해 재배열을 도입하여 문맥 링크 정보의 영향을 줄였습니다. 다음으로 우리가 직면한 과제는 다음과 같습니다.

컨텍스트는 세트와 시퀀스의 두 부분으로 구성됩니다. 컨텍스트 예측 모듈을 구축하는 방법은 무엇입니까?
시뮬레이션된 컨텍스트와 후보는 어떻게 상호작용합니까?
증류를 통해 시뮬레이션 페이지의 정확성을 더욱 향상시키는 방법은 무엇입니까?

우리의 솔루션은 다음과 같습니다.

컨텍스트 시뮬레이션 센터(CSC)

노출 네트워크 학습 세트: 노출 확률 추정 네트워크를 사용하여 어떤 항목이 사용자에게 노출될 가능성이 가장 높은지 모델링하고 입력은 천 레벨 자연 대기열입니다.
정렬 네트워크 학습 순서: 노출 네트워크에서 출력된 결과를 정렬하고 NDCG를 통해 목표 위치의 최종 위치를 측정합니다.

컨텍스트 모델링 변환기(CMT)

컨텍스트 인코더/디코더: Transformer를 사용하여 위치 인코딩으로 컨텍스트를 인코딩합니다. 후보는 MLP 네트워크를 통해 도입되고 인코더 출력은 최종 컨텍스트 표현식을 얻기 위해 디코더 입력으로 사용됩니다.
실제 노출 증류: 시뮬레이션 페이지의 도입은 강력한 신호이지만 실제 노출 페이지와는 여전히 격차가 있습니다. 따라서 Simulated Page를 입력으로 사용하는 Student 네트워크를 구성하여 Real Page 기반 Teacher 네트워크를 추출 및 학습하여 노이즈를 추가로 제거합니다. (참고: 직접 증류에는 신호가 없으며 학습할 수 없습니다.)

페이지 복원의 일부인 효과를 더욱 향상시킬 수 있도록 실제 증류와 결합된 캐싱 및 예측 구성 전략을 도입했습니다.

카드 복원의 전반적인 아이디어는 세 부분으로 나뉩니다. 첫 번째 부분은 카드 정보를 얻는 것입니다. 두 번째 부분은 사용자가 보는 카드를 구성하는 것입니다. 세 번째 부분은 카드를 역사적 관심사에 맞게 사용하는 것입니다.

카드 계획에 대한 생각 : 검색 및 프로모션 시스템의 직렬 및 병렬 모듈로 인해 초기 단계에서 일부 데이터를 얻을 수 없으므로 "궁극적 계획"이 있는지 생각해 왔습니다. 초기에는 사용자가 본 정보를 복원하기 위해 퓨어 타일링(Pure ID)을 사용했는데, 더 좋은 방법이 있을까요? 예를 들어 사용자가 보는 사진을 직접 소개합니다. 그러나 현재의 기술적 역량으로는 사진 정보의 완전하고 정확한 모델링 표현은 물론이고 전체 사진의 완전한 기록을 지원하지 않습니다. 결국 우리는 사용자가 보는 정보를 시뮬레이션하기 위해 매트릭스를 통해 카드를 구성하기로 결정했습니다.

행렬 표현, 패치 수준 모델링 : 먼저 행렬 표현을 사용하여 카드의 모양을 형성하고 사용자가 보고 얻는 상위 요소와 하위 요소 간의 관계를 구축했습니다. 프리젠테이션 수준에서는 다양한 매트릭스 구성 방법이 결과에 일정한 영향을 미치므로 여기서는 자세한 내용을 논의하지 않습니다. 두 번째 측면에서는 이미지 필드에서 몇 가지 아이디어를 차용하고 패치 개념을 도입하여 사진을 토큰으로 전환하고 다양한 디스플레이 요소 간의 상호 작용을 더 자세히 배울 수 있도록 했습니다. 연습 과정에서 패치가 2*2인지 3*3인지와 같은 일부 매개변수도 조정해야 합니다. 보폭을 포함하면 보폭이 짧을수록 효과가 더 좋아진다는 사실을 발견했습니다. 우리는 또한 전체 패치 수준 매칭 과정에서 많은 실험을 수행했습니다. 우리의 예비 결론은 단일 위치 패치와 글로벌 패치 매칭의 최종 효과가 더 좋다는 것입니다.

주의 순서 모델링 : 순서 모델링은 사용자가 주의를 기울이는 요소에 따라 사용자의 탐색 순서를 추가로 시뮬레이션하는 것입니다. 논리적으로 말하면, 눈 모니터링 없이는 실제로 데이터의 이 부분을 얻을 수 없습니다. 여기서 우리는 이 4개 패치의 행렬을 완전히 배열하고 사용자의 모든 패치 수준 경로를 나열하고 모델이 다양한 순열 및 조합의 암시적 점수를 학습할 수 있도록 작은 트릭을 만들었습니다. 활성화 점수가 가장 높은 패치 순서 조합은 인코더를 통해 주의 순서 표현으로 집계되어 Target POI의 주의 순서 조합과 추가로 일치합니다.

2.3 CTR의 LLM

마지막으로 CTR의 대형 모델 적용 사례를 공유합니다. 우리는 몇 가지 예비 조사를 수행한 결과 많은 기술 팀이 현재 비슷한 전반적인 아이디어를 가지고 있다는 것을 발견했습니다. 아래 그림은 CTR 작업과 NLP 작업의 비교를 보여줍니다. 입력부터 모델 아키텍처, 학습 모드 및 작업 모드까지 큰 차이가 있음을 알 수 있습니다. NLP 작업은 자연어 토큰 + 대규모 변환기 + 이해 및 추론 능력입니다. CTR 작업은 ID 입력 + 인공적으로 설계된 네트워크 + 강력한 기억 능력입니다. 동시에 CTR의 경우 대부분의 기업은 외부 지식과 전체 작업 이해가 부족하여 자체 비즈니스 데이터만 사용합니다.

따라서 위의 측면을 바탕으로 우리는 세 가지 측면의 작업을 수행했습니다.

첫 번째 수준인 지식 주입은 현재 CTR이 부족한 외부의 실제 지식을 모델에 넣는 것입니다. 많은 회사에서 이 작업을 수행하고 있으며 이를 위해서는 주로 신속한 엔지니어링 역량이 필요합니다. 생성된 결과가 반드시 CTR에 필요한 결과는 아니기 때문에 적응 작업을 잘 수행해야 합니다. CTR의 특성에 따라 빈도가 높은 단어와 빈도가 낮은 단어를 구분할 수 있음과 동시에 CTR 작업과의 매칭을 향상시키기 위해 프롬프트 융합과 관련된 일부 후처리 작업도 필요합니다.
두 번째 단계인 사고 주입은 대형 모델의 구조적 능력을 소개하거나, 대형 모델의 판단 과정을 소개하는 것이다.
세 번째 계층은 패러다임 반복(Paradigm Iteration)입니다. 최근 Meta에서는 생성적 추천(Generative Recommendation)에 대한 방법을 제시하는 것 같습니다. 작년에 이 방향을 모색했을 때 우리의 주요 아이디어는 대규모 Softmax 문제를 해결하기 위해 입력 형식을 변경하고 이를 아마도 수만 개에 불과한 소규모 토큰으로 대체하는 것이었습니다. 그런 다음 집계 의미론과 결합된 변환 중첩을 통해 모델 융합부터 엔드투엔드 자동 회귀까지 데이터를 실행할 수 있습니다. 입력이 특히 시끄러운 경우 Transformer가 이를 잘 처리할 수 없지만 상대적으로 명확한 의미를 가진 정보의 경우 Transformer는 문맥 이해 성능이 우수하므로 먼저 의미 집합 레이어를 만들어 입력 시퀀스 노이즈를 줄였습니다. . 일반적으로 소규모 토큰, 의미적 집합, Transformer 아키텍처를 통해 비즈니스 효과에 대한 개선의 물결을 가져왔습니다.

정리하자면, CTR이 갖지 못한 역량을 대형 모델을 통해 보완하는 것이 핵심이다. 현재 CTR이 갖지 못한 능력을 지식 능력, 일반화 능력, 추론 능력으로 나누어보겠습니다. 이에 따라 우리는 아래 그림과 같이 시도한 결과 중 일부를 나열했습니다.

03 요약 및 전망

일반적으로 추정의 본질은 사용자의 실제 요구 사항을 발견하는 것입니다. 한편으로는 업계를 참조하고, 다른 한편으로는 더 많은 사용자 행동 패턴을 발굴하기 위해 비즈니스에 깊이 들어가기도 합니다. 다양한 측면을 결합하는 보다 자동화된 방법이 있는지 탐색하여 사용자 문제를 해결합니다. 복원적 모델링은 알고리즘과 엔지니어링의 공동 노력으로 만들어지는 개선입니다. 최종 분석에서는 알고리즘과 엔지니어링의 결합이 더 큰 변화를 가져올 수 있습니다.

대규모 모델과 권장 사항의 조합은 점점 더 많은 사람들로부터 주목을 받고 있지만, 객관적으로 볼 때 이는 여전히 장기적인 작업이며 현시점에서는 여전히 실현 가능한 경로를 찾아 계속해서 최적화하고 개선해야 합니다. "큰 움직임"으로 모든 문제를 해결하는 것은 매우 어려울 것입니다. 대형 모델의 엔드 투 엔드 추천은 모든 사람의 공통된 기대이지만, 이를 바탕으로 우리는 입력 규모가 효과를 보장하고 컴퓨팅 성능이 위 두 가지를 보장한다고 믿습니다. 소프트웨어와 하드웨어의 강력한 조합만이 미래를 이길 수 있습니다.

[2023 설날용품], [2022 설날용품], [2021 설날용품], [2020 설날용품], [2019 설날용품], [2018 설날용품], [2017 신년용품] 등 키워드를 응답하세요 . 연도 상품] 및 기타 키워드를 Meituan 공식 계정 메뉴 표시줄 대화 상자에서 수년간 Meituan 기술 팀이 수집한 기술 기사를 확인하세요.

| 이 글은 메이투안 기술팀이 제작한 것이며, 저작권은 메이투안에게 있습니다. 공유, 커뮤니케이션 등 비상업적 목적으로 이 기사의 내용을 재인쇄하거나 사용할 수 있습니다. "해당 내용은 Meituan 기술팀에서 복제되었습니다"라고 표시해 주세요 . 이 글은 무단으로 복제하거나 상업적으로 사용할 수 없습니다. 상업적 활동의 경우 [email protected]으로 이메일을 보내 승인을 신청하세요.