비디오 코딩 및 디코딩 기술은 날이 갈수록 변화하고 있으며, 새로운 코딩 및 디코딩 기술은 비디오 서비스에 새로운 애플리케이션 시나리오와 새로운 시청각 경험을 제공합니다. 동시에 비디오는 대역폭의 큰 소비자이므로 시청각 경험과 비디오 대역폭 사이의 최적의 균형을 달성하는 방법은 영원한 주제입니다. 비디오 품질 평가는 주로 경험이 개선되었는지, 대역폭이 합리적인지 등의 질문에 답하는 데 사용됩니다.
그러나 현실적으로는 다양한 요인에 의해 제한되어 실제 영상 품질 평가에 많은 문제가 있습니다. 주관적 평가의 신뢰도를 어떻게 보장할 수 있습니까? 대규모로 주관적인 평가를 수행하는 방법은 무엇입니까? LiveVideoStackCon 2022 베이징 기차역은 Baidu의 Wang Wei 씨를 초대하여 Baidu 비디오 품질 평가의 개발 경로를 소개했습니다.
문자/왕웨이
편집/LiveVideoStack
안녕하세요, Baidu의 Wang Wei입니다.최근 몇 년 동안 비디오 품질 평가 작업을 해왔으며 Baidu 비디오 품질 평가의 전 과정을 처음부터 불신에서 확신으로, 소규모에서 대규모로 경험했습니다.프로세스 .
현재 동영상 품질 평가 서비스는 Baidu 내 모든 동영상 관련 비즈니스에 대한 기본 지원을 제공하고 있으며 2022년에는 전체 동영상 평가 수준이 100,000 이상에 달할 것입니다. 전체 개발 과정을 돌이켜보면 우리는 많은 문제에 직면했고 많은 탐색을 수행했습니다. 오늘 저는 비디오 평가에 대한 우리의 지식과 실습을 여러분과 공유하게 되어 매우 기쁩니다.
전반적인 소개는 4가지 측면에서 할 예정인데, 먼저 비디오 품질 평가의 중요성을 소개하고, 그 다음 우리가 직면한 문제와 과제를 소개하고, 그 다음으로 문제에 대한 솔루션을 소개하고, 마지막으로 Baidu의 사례를 소개합니다. 비즈니스 라인.
-01-
영상 품질 평가의 중요성
어떤 일의 중요성을 판단하고 할 가치가 있는지 판단하기 위해 두 가지 포인트를 요약해 보았습니다.첫 번째는 그 일의 인기와 트렌드를 확인하는 것입니다.
영상 품질 평가를 위해 두 가지 데이터를 취합했는데, 하나는 지난 20년간 구글 검색에서 영상 품질 관련 키워드 검색 추이이다. 전반적으로 2022년부터 현재까지 검색 관심도가 지속적으로 상승하고 있으며, 앞으로도 계속해서 주목을 받을 수 있습니다. 둘째, LiveVideoStackCon 2017 이후 동영상 품질 평가에 대한 화두도 해마다 높아지고 있습니다. 트렌드와 대중성 측면에서 영상 품질 평가는 상대적으로 중요한 과제가 되었습니다.
두 번째는 영상 사업에서 영상 품질 평가 현황을 분석하는 것이다. 영상 품질 평가 시스템은 화질 향상, 코덱 최적화, QoE 작업의 초석으로 영상 산업의 홍해 속의 푸른 섬이라 할 수 있으며 연구할 가치가 있습니다. TO B 제조업체의 경우 비디오 품질 평가 작업이 더욱 유망하며 성숙한 비디오 품질 평가 시스템을 갖추면 다양한 향상 알고리즘 및 HDR 기술의 장단점을 판단하는 데 도움이 될 수 있습니다. 이 작업은 앞으로 업계에서 점점 더 중요해질 것이라고 믿어집니다.
-02-
문제와 도전
다음으로 영상 품질 평가 업무에서 당면한 문제점과 과제를 소개합니다. 구체적으로 네 가지 관점에서 분석할 것이다 첫째, 영상 품질 평가 시스템을 도입하고, 그 다음으로 전통적인 알고리즘을 실천할 때 부딪히는 문제, 셋째, 주관적 평가를 실천할 때의 문제점, 마지막으로 비즈니스에 직면.
누구나 비디오 품질 평가 시스템의 주관적 평가와 객관적 평가에 익숙하지만 엔지니어 인 실무자는 알고리즘에 더 많은 관심을 기울이고 주관적 평가와 객관적 평가를 경멸 할 수 있습니다.
그러나 실제적인 분석을 통해 주관적 평가는 비디오 품질 평가 시스템의 필수 불가결하고 중요한 부분임을 알 수 있습니다 .예를 들어 HDR/SDR 평가 시나리오에서 비디오 품질은 장비 및 화면 밝기와 같은 요소와 직접적으로 관련됩니다. .알고리즘적 관점에서 측정. 또한 코덱 조달이 개입되면 판매자가 제공하는 알고리즘 실행 점수가 아무리 높아도 쉽게 신뢰할 수 없으며 영상의 품질은 결국 주관적인 평가로 판단하게 됩니다.
탐지 및 분석은 많은 코덱이 CODEC을 목표로 할 뿐만 아니라 프레임 시퀀스 및 기타 측면을 최적화할 수 있기 때문에 실습과 함께 시스템에 추가하는 링크입니다. 예를 들어 특정 코덱을 실행한 후 비디오 품질이 향상되었지만 비디오 프레임의 간격 시퀀스가 조정되었기 때문에 비디오 동결 속도가 급격히 증가한 것을 발견했습니다. 따라서 주관적이고 객관적인 평가를 기반으로 현재 비디오 품질 평가 시스템을 형성하기 위해 추가 감지 및 분석 링크를 추가했습니다.
다음으로 전통적인 알고리즘이 실제로 직면하는 문제를 소개합니다. 우리는 전통적인 알고리즘이 양날의 검이며 부적절하게 사용하면 다양한 잘못된 결론을 초래할 수 있다고 믿습니다. PSNR을 예로 들면, 신호 레벨에서 계산되고 손실은 전체 프레임 범위에서 계산되기 때문에 주관적 인식과의 차이가 매우 큽니다.
위 사진의 우측 이미지를 보면 B영상에서 하늘과 구름의 위치가 크게 훼손된 것을 알 수 있지만 PSNR 값은 38에 이르렀고 그에 상응하는 MOS 점수는 거의 4에 가깝다. 평가 결과는 양호하며 육안의 주관적인 인식과 일치하지 않습니다.
둘째, 두 영상의 PSNR 값이 같다면 어떻게 대처해야 할까? 4K와 같은 고화질 비디오의 경우 전역 공간에서 PSNR 값을 계산하면 두 비디오의 동일한 결과가 나올 가능성이 높습니다. 위 사진의 왼쪽 이미지에서 두 동영상의 PSNR 값은 모두 42입니다. PSNR 결과를 기준으로 어느 동영상 품질이 더 좋은지 판단하기 어렵습니다.
SSIM에 무슨 문제가 있나요? SSIM은 블록 문제를 해결하고 일반적으로 PSNR보다 나은 밝기, 대비 및 구조 정보를 도입합니다. 그러나 실제 사용 과정에서 두 가지 문제점을 발견했는데, 하나는 SSIM 구현 버전이 여러 개 있고 버전에 따라 결과가 다를 수 있다는 점입니다.사용하기 전에 버전을 확인하는 데 주의를 기울여야 합니다.
두 번째는 FFmpeg의 SSIM 필터에 버그가 있다는 것입니다.필터 알고리즘을 역분석하고 공식에 대한 코드 구현을 검토한 결과 코드에서 밝기 계수 계산에 문제가 있음을 발견했습니다. 위 그림의 오른쪽이 비교 결과인데 초록색 선이 정상적인 결과이고 빨간색 선이 64를 적게 곱한 결과입니다. 주의할 것.
VMAF의 상황은 더 복잡하며 전체 계산 프로세스는 위에 나와 있습니다. 우선, 비즈니스 비디오 유형과 모델 학습 데이터 간에 큰 차이가 있습니다 . VMAF의 기본 모델은 Netflix의 HDTV 데이터를 기반으로 학습되며, 이는 현재 UGC 시나리오와 일치하지 않으므로 비디오 품질 채점 및 주관적 평가에서 큰 차이가 발생할 것입니다. 결과 . 이 표준 모델을 사용하여 자체 데이터 세트에 대한 실험을 수행했으며 점수 일관성은 60%에 불과하여 모든 사람의 주의가 필요합니다.
두 번째 문제는 현재 소비 시나리오의 대부분이 휴대폰이라는 점인데, VMAF의 휴대폰 측 점수는 HDTV에 맞게 2차 함수를 사용한 결과이므로 이 점에 특별한 주의를 기울여야 한다.
마지막으로 향상된 시나리오에서는 기존 알고리즘에 문제가 있으며 많은 기존 알고리즘은 향상된 시나리오에서 실패합니다. 위의 사진을 예로 들어 왼쪽 사진의 영상 대비를 2배로 하여 다양한 품질 지표를 관찰한 결과 오른쪽 사진과 같습니다. VIF 값을 보면 화질이 좋아졌다는 것을 알 수 있는데, PSNR과 SSIM 값이 나쁘다고 해서 화질이 나쁜 것은 아니다. VMAF 값이 100에 도달하더라도 MOS 점수에서 5가 의미하는 것과는 다르며 위의 문제도 주의해야 합니다.
다음으로 실무에서 주관적 평가에 존재하는 문제점을 소개한다 현재 주류 방식은 ITU-R BT.500을 기반으로 한 화질 평가 방식이지만 이 방식은 비용이 높고 평가 효율이 낮으며 적합하지 않은 등의 문제가 있다 . 모바일 터미널 경험을 위해 .
그래서 웹 기반 평가 방법을 고안했지만 브라우저의 시청 경험과 모바일 단말기의 경험이 다른 등 사용 과정에서 많은 문제가 발생합니다.위 사진은 브라우저의 비디오 스크린샷과 모바일 단말기 각각 그림에서 파란색 편차가 큰 것을 알 수 있습니다. 두 번째 문제는 언제 어디서나 평가할 수 없다는 점이며, 세 번째는 웹 버전이 HDR과 같은 장면을 평가할 수 없고 초해상도를 종료할 수 없다는 점입니다. 마지막으로 BT.500 신뢰도 선별 알고리즘에 대한 질문이 있습니다. 신뢰도는 통계적 신뢰도를 기반으로 하기 때문에 통계적 유의성이 없는 일부 특수한 비무작위 장면에 대해서는 비정상적일 것입니다. 품질 비디오 평가를 위해 알고리즘은 사용자 등급의 신뢰 수준을 무시합니다.
요약하면, 사업 개발 초기 단계에서 Baidu의 비디오 품질 평가는 다음과 같은 문제에 직면했습니다.
첫 번째는 평가가 정확하지 않다는 것이고 두 번째는 HDR과 같은 장면에 대해 평가할 수 없어 결국 만족스럽지 못한 평가로 이어집니다 .
-03-
문제를 해결하는 실용적인 방법
방금 언급한 문제를 바탕으로 문제를 해결하는 실제적인 방법을 소개하겠습니다. 구체적으로 네 부분으로 나누어 첫 번째는 도구 최적화, 두 번째는 도구 통합, 다음은 평가 시스템의 서비스, 더 많은 사람들이 참여하도록 소개하고 마지막으로 현재 효과를 소개합니다.
도구 최적화를 먼저 봅니다.앞서 언급했듯이 알고리즘 도구의 올바른 사용이 평가 작업의 핵심입니다.최적화 알고리즘과 최적화 결과 분석의 두 가지 아이디어 중 마침내 최적화 결과 분석 솔루션을 채택했습니다.
최적화 과정에서 최대한 FFmpeg 필터에 임베딩을 시도하고, 임베딩이 안되는 경우 별도의 툴킷을 구축하여 전체적인 연산자는 위 그림과 같으며, 추후 자세히 소개하도록 하겠습니다.
PSNR 시각화는 두 비디오가 동일한 PSNR을 가질 때 선택하는 방법의 문제를 해결합니다. PSNR 블록을 개별적으로 계산하는 최적화 방법을 채택했습니다. 이렇게 하면 PSNR 데이터가 너무 많아져 분석하기 어려우므로 블록 뒤의 PSNR 값을 그레이 스케일링하고, PSNR 값이 위치한 0~60 범위를 8비트 그레이 스케일 이미지로 매핑하고, 비디오 Come out의 형태로 제시되며, 그 효과는 위의 그림과 같이 각 픽셀에서 PSNR의 손상을 볼 수 있습니다.
시각 정보에 관해서는 PSNR 값이 낮다고 해서 영상 효과가 좋지 않다는 의미가 아니라는 점을 언급한 것이므로 HSL, 대비, 색상, 질감과 같은 지표에 더욱 주의를 기울였습니다. HSL에서 색상과 채도의 포인트가 꽤 흥미롭다.당시 우리는 프로젝트에서 UE와 협력했다.UE는 색상과 채도가 이미지 품질에 미치는 영향을 분석하기 위해 몇 가지 불량 사례를 찾기를 희망했다.우리는 FFmpeg를 사용하여 계산 결과를 제출한 후 필터, UE가 피드백을 제공했습니다. 결과가 잘못되었습니다.
역분석 결과 FFmpeg 필터의 색상과 채도는 YUV를 기반으로 계산되는 것으로 나타났는데, 이는 실제 HSL 공간 계산과 상당히 다릅니다.
우리는 색조와 채도를 계산하는 알고리즘을 연구하고 다시 작성했습니다. 위의 그림은 실제 효과입니다. 위 이미지의 색상 값은 signalstats 필터를 사용하여 계산한 색조와 채도가 각각 130과 77입니다.실제로는 ColorSlurp 도구를 사용하여 계산했으며 색조는 30이고 채도는 95%입니다. visualstats 필터를 사용하면 결과가 기본적으로 ColorSlurp 도구의 결과와 동일하다는 것을 알 수 있습니다.
콘트라스트 계산과 관련하여 현재 관련 알고리즘이 많이 존재하는데 SSIM 알고리즘에서 콘트라스트 평가 방식을 차용하여 픽셀 근방의 표준편차를 이용하여 콘트라스트를 추정하였다. 이미지 대비로 사용했습니다.마지막으로 잘 작동합니다.
텍스처 계산과 관련하여 우리는 두 가지 방법을 설계했는데 첫 번째 방법은 Matlab의 방법과 일치하는 색상 히스토그램을 사용하는 방법이고 두 번째 방법은 Sobel 필터링을 먼저 수행한 다음 필터링 후 이중 임계값 필터링을 수행하는 방법입니다. 그런 다음 검은색이 아닌 픽셀의 비율을 계산하고 비교합니다. 두 방식의 계산 결과에는 큰 차이가 없으므로 보다 간단한 히스토그램 계산 방법을 사용하는 것이 좋습니다.
색상 풍부도는 그림의 색상의 생생함과 풍부함을 판단하는 것입니다. 우리는 위의 그림에서 종이의 아이디어를 사용하여 계산했습니다.그 아이디어는 먼저 색 공간을 RGB로 변환한 다음 그림의 공식을 사용하여 그림의 풍부함을 계산하는 것입니다.
위 지표들의 모든 알고리즘을 FFmpeg 필터에 통합하여 기존에 2배가 된 명암비 영상을 이용하여 다양한 지표들을 산출해 보았는데, 명암비의 계산 결과가 실제 상황과 일치함을 알 수 있으며, 그 외의 변화는 콘트라스트 증가로 인한 지표는 기본적으로 동일합니다.인간의 인식에 따릅니다.
다음으로 주관적 평가 도구의 최적화 과정을 소개한다. Baidu의 강력한 비디오 기술 인프라를 기반으로 우리는 Lingjing(Duzhida)이라고 하는 다중 터미널 주관적 품질 평가 앱을 개발했습니다. 동영상 평가를 동원하여 사용자 소비 시나리오에 더욱 부합하고 언제 어디서나 평가할 수 있습니다. 이 도구의 기능은 여러 측면에서 간략하게 소개할 수 있는데, 첫째, PC, iOS, Android의 3대 주요 플랫폼 및 기타 매체의 평가 장비를 지원합니다.
Lingjing APP의 실제 기계 효과는 위와 같으며 왼쪽은 단일 프레임 모드의 효과이며 코덱 최적화에 종사하는 동료는 더 많은 관심을 기울일 수 있습니다. 중간에 더 일반적으로 사용되는 일반적인 전체 화면 모드가 있으며 비교를 강화하기 위해 드래그 앤 드롭을 지원하는 가로 전체 화면 모드도 설계했습니다. 작은 비디오의 경우 오른쪽에 수직 전체 화면 모드를 설계했으며 동시에 다양한 차원의 비디오에 대한 전문적인 스코어링을 지원합니다. Lingjing이 공식적으로 출시되었으며 "Duzhile"을 검색하고 다운로드하여 다른 기능을 경험할 수 있습니다.
이상에서는 주로 주관적 평가 도구의 문제점을 소개하고 그 다음에는 프로세스에 대한 문제점을 소개합니다. 우리는 사람들이 평가 과정에서 관성을 가지고 있으며 평가 순서에서 이전 비디오에 대한 평가자의 등급이 후속 비디오의 품질 판단에 영향을 미쳐 부정확한 평가 결과를 초래한다는 것을 발견했습니다.
이 문제에 대응하여 평가 과정에서 사용자 상호 작용을 조정했습니다.먼저 평가 방법을 이중 맹검 평가로 변경하고 비디오 순서를 무작위로 전환하여 평가 순서에 대한 평가자의 인상을 혼란스럽게 만들었습니다. 두 번째는 자체 구축한 컨트롤 영상 라이브러리로, 컨트롤 영상을 평가과제에 무작위로 삽입하여 사용자 신뢰도를 조절합니다. 세 번째는 모델, 화면 밝기, 전체 화면 모드 및 채점 시간을 포함한 채점 정보를 보고하는 것입니다.
전체적인 과정은 위 그림과 같이 평가가 필요한 영상은 컨트롤 영상과 통합하여 평가과제를 구성하고 PC, iOS, Android 단말기를 통해 평가자에게 과제를 배분하여 채점 신뢰도 심사가 완료된 후, 최종 비디오 MOS 점수가 형성됩니다. 오른쪽 하단은 평가 결과의 예시로 여러 명의 평가자가 동영상을 채점한 상황으로 다양한 정보를 분석하여 채점의 신뢰도를 종합적으로 판단할 수 있습니다.
알고리즘 도구 및 평가 프로세스가 개선된 후 많은 비디오 평가 요구를 받았습니다. 원래 프로세스에 따르면 각 평가는 작업 목록을 수동으로 분할하고 필요에 따라 평가 작업을 생성 및 배포하고 최종적으로 작업 결과를 수동으로 병합해야 합니다.이 프로세스는 많은 평가 요구를 충족할 수 없습니다.
그래서 알고리즘 도구의 플랫폼 기반 통합을 고려하고 평가 프로세스를 여러 개의 서로 다른 평가 시나리오(템플릿과 같은 기능)로 나누고 시나리오를 작업 유형, 일정 연산자 및 결과 분석의 세 부분으로 나눕니다. 특정 구조는 중간 그림에 나와 있습니다.다른 작업 유형에 대해 스케줄러는 이 유형의 모든 연산자를 스케줄링하고 최종적으로 다른 결과 집계 및 해석 방법에 대응합니다.이 방법은 작업 효율성을 크게 향상시킵니다.
전체 아키텍처의 관점에서 우리는 평가 시나리오의 개념을 사용하여 최적화된 객관적인 알고리즘과 주관적인 평가 도구를 통합하고 서비스를 기반으로 하위 계층 기능을 예약하고 최종적으로 자동 작업 분할 및 지능형 분석 효과를 달성합니다. 결과, 이 방법을 사용하면 많은 수의 비디오 평가를 처리해야 하는 요구를 충족할 수 있습니다.
통합 비디오 평가 프로세스는 위에 나와 있습니다.평가 요구 사항을 수신한 후 먼저 적절한 평가 장면을 선택한 다음 스케줄러가 해당 주관적 평가, SITI, 객관적 연산자, 분석 연산자 등을 예약하여 계산합니다. Baidu의 내부 FaaS 플랫폼과 API 인터페이스를 통해 노출되는 주관적 평가는 내부 도구 또는 알림을 사용하여 사용자를 모집한 다음 사용자 점수를 완료합니다. 동시에 또 다른 스케줄링 운영자는 각 운영자의 작업 진행 상황을 실시간으로 감지하고 모든 계산이 완료되면 분석 운영자가 동원되어 최종 테스트 보고서를 작성합니다.
다음으로 적용 예를 들어보자 위 사진의 왼쪽은 평소에 많이 사용하는 평가 장면으로 해당 영상 비율을 선택하고 영상을 업로드 한 후 영상 평가 결과를 기다리면 된다. 그 결과는 오른쪽 그림과 같이 Baidu의 내부 요구 사항에 따라 다양한 결론을 표시하게 됩니다.예를 들어 오른쪽 그림의 주관적 분석 결과는 두 코덱의 GSB 분포를 보여줍니다. %는 A인코더를 나타낸다 32 %의 영상화질이 B인코더보다 좋다,동일(동일)은 A의 영상화질의 66%가 기본적으로 B와 같다는 것을 의미하며, 마이너스(불량)는 2%, A의 최적화가 성공적이며 가능한 한 빨리 시작할 수 있음을 알 수 있습니다.
분석 결과 외에도 평가 결과는 장면에 해당하는 모든 운영자의 비트 전송률 분포 및 계산 결과를 포함하여 분석을 위한 많은 품질 지표를 제공합니다.주관적이고 객관적인 메커니즘은 분석에서 비즈니스 측면을 지원합니다.
알고리즘 도구 최적화 및 플랫폼 통합이 완료됨에 따라 Baidu의 주관적인 비디오 품질 평가 작업은 22 이후 급속도로 증가하여 평가 인력의 수가 제한의 주요 병목 현상이 되었습니다.
평가요구를 충족시키기 위해 외부 평가인력을 더 많이 투입할 예정인데 그 이유는 크게 세 가지다. 첫째, 평가 플랫폼은 완전한 신뢰 판단 능력을 가지고 있고, 둘째, 회사 내부 사용자의 참여와 신뢰 수준이 보장되며, 셋째, 시각과 청각은 인간의 타고난 능력이며 대중은 타고난 판단 능력을 가지고 있습니다. 모레 개발해야 하는 미술감상과는 다른 영상의 퀄리티.
따라서 우리는 평가 인력으로 구성된 3단계 로켓 모델을 구축했으며, 첫 번째 수준은 Duzhi 팀의 내부 인력으로 구성되어 적은 양의 평가 요구 사항을 흡수할 수 있습니다. 하루에 300~500건에 이르는 평가량이 많은 경우 회사 시스템 내부 담당자가 해결합니다. 작업량이 1,000개/일을 초과하는 경우 외부 크라우드소싱 팀을 통해 해결합니다. 비용면에서 회사 시스템에서 7 명이 단일 비디오를 평가하는 비용은 0.2 위안입니다. 외부 고용 비용은 상대적으로 높으며 단일 비디오 비용은 약 1 ~ 2 위안입니다.
연습 과정에서 우리는 단일 비디오를 평가하는 사람의 수가 해당 평가 결과의 정확도와도 관련이 있음을 발견했습니다. 사람이 많을수록 평가 결과와 전문적인 결론이 더 일관성이 있습니다.우리의 연습에 따르면 , 권장인원은 17~19명 위의 방법이 실용적이며 작업에 있어서 비용, 공사기간, 품질 등의 요소를 종합적으로 고려할 수 있다.
이상은 현재 바이두 영상 평가 시스템 운영 효과이며 현재 80개 이상의 평가 시나리오를 지원하고 내부 평가 효율성은 하루 500개 에 달할 수 있으며 외부 인력을 활용하면 효율성이 높아지고 신뢰도가 높아진다. 90% 에 도달했습니다 .
위는 영상평가 시스템이 서비스화 된 후 수행하는 평가 작업량의 추이를 나타낸 것으로 전체 수가 기하급수적으로 증가했음을 알 수 있다 .
-04-
Lingjing (Duzhiledo)의 비즈니스 관행
다음으로 Lingjing(Duzhiliao)의 비즈니스 관행을 소개합니다. 주로 세 부분으로 나뉘는데, 첫 번째는 Lingjing(Du Zhi Liao)의 운영 모델 실습, 두 번째는 클라우드 트랜스코딩 단계의 실습, 마지막으로 사용자 재생 단계의 실습입니다.
위에서 언급한 비디오 평가 시스템과 비교하여 우리는 Duzhidao의 서비스 시스템을 형성하기 위해 운영 단계에서 크라우드 테스트 사용자의 운영을 통합했습니다.이 시스템은 외부 인터페이스가 하나 뿐이며 사용자가 지불하고 플랫폼은 비디오 평가 결과를 피드백합니다.
이 모델은 Baidu의 비디오 사업의 3단계에서 사용됩니다. 첫 번째는 클라우드 트랜스코딩이며 인코딩 단계에서 모든 Baidu 코덱의 도입은 현재 Kunlun 코어, BD265, 초해상도 알고리즘 및 타사 코덱 등과 같은 Duzhidao의 승인 표준에 의해 판단됩니다. 검토 단계가 뒤따르는 Duzhi는 주로 모델 훈련을 위해 레이블이 지정된 데이터로 전략을 제공하는 일을 담당합니다. 세 번째는 일부 재생/트랜스코딩 최적화 전략을 제공하는 역할을 주로 담당하는 사용자 재생 단계입니다.
전반적인 기술적 가치는 비디오 품질 평가 알고리즘, 도구 및 인력을 여러 시나리오에 적용할 수 있는 효율적이고 안정적인 비디오 품질 평가 서비스로 통합하는 것입니다. 비즈니스 가치는 효과적인 비용 관리를 의미하므로 비즈니스 라인의 모든 비용이 가치가 있습니다.
다음으로 클라우드 트랜스코딩 단계에서의 Duzhizhi의 사업 사례를 소개하겠습니다. 연산. A 코더는 에지에서 상대적으로 손실이 크고 B 코드는 안정성이 더 좋으며 시각적 분석은 더 직관적인 결론을 제공한다는 것을 알 수 있습니다.
트랜스코딩 과정에서 우리는 색 공간 변환 후 그림의 밝기와 대비가 크게 바뀌고 PSNR의 시각화 효과도 좋지 않다는 것을 발견했습니다. 인코딩 및 디코딩 시 최적화 알고리즘의 계산 결과를 기반으로 원본 이미지를 최적화할 수 있으므로 최적화된 비디오 품질이 향상됩니다.
사용자의 재생 단계에서 Ducognition의 비디오 품질 평가 시스템을 사용하여 비디오 소스의 특성을 분석하고 적절한 트랜스코딩 전략을 선택하며 해당 전략에 대한 AB 실험을 지원합니다.
이 아이디어는 AB 실험의 효율성을 향상시킬 수 있습니다.예를 들어 비디오의 오디오 비트 전송률과 이미지 품질 향상이 필요한 비디오 수를 합리적으로 제어하면서 사용자의 시청 경험을 보장하기 위해 회사는 비용을 절감할 수 있습니다. 소규모 실험 수행을 지원하는 비디오 평가 시스템의 사전 도입을 통해 전략 수립 및 AB 실험 전략에 대한 효과적인 의사 결정 지원을 제공할 수 있습니다.
Baidu의 현재 AB 실험 프로세스는 위와 같으며, 먼저 팀의 내부 전략 검증을 수행한 다음 회사 내에서 주관적인 평가를 수행하여 샘플을 확장하고 마지막으로 AB 실험을 위해 샘플을 온라인으로 푸시합니다. 상대적으로 짧은 시간에 하나의 코덱을 사용한 실험은 현재 약 10일 안에 완료할 수 있지만 새로운 코덱의 평가 시간은 단 1일이 걸립니다 . Baidu의 비디오 평가는 "불만족스럽고 부정확하며 평가할 수 없다"는 이전의 역사적 상황을 완전히 뒤집었습니다.
오늘의 공유입니다. 모두 감사합니다!
▲사진의 QR 코드를 스캔하거나 " 원문 읽기 "를 클릭하세요. ▲
LiveVideoStackCon 2023 Shanghai Station의 더 흥미로운 주제를 확인하십시오