//
Tencent는 21년 이상의 오디오 및 비디오 기술을 축적했으며 RT-ONE 글로벌 네트워크를 독점 소유하고 있습니다. 또한 실시간 오디오 및 비디오, 클라우드 라이브 브로드캐스트, 클라우드 주문형, 인스턴트 메시징, 미디어 처리 등을 포함하여 업계에서 가장 완벽한 PaaS 및 aPaaS 제품군을 구축하여 다양한 주요 시나리오에 대한 로우 코드 솔루션을 제공합니다. 이를 통해 개발자와 기업은 고품질 오디오 및 비디오 애플리케이션을 신속하게 시작할 수 있습니다. 아래에서는 Sun Xiangxue 씨를 초대하여 Tencent Cloud가 오디오 및 비디오에서 채택한 품질 검사 및 이미지 품질 평가 전략을 공유해 드리고자 합니다.
글/쑨샹쉐
편집자/LiveVideoStack
저는 Tencent Cloud 오디오 및 비디오의 Sun Xiangxue입니다. 현재 Tencent Cloud 미디어 처리(MPS) 제품의 백엔드 개발을 담당하고 있습니다. 오늘 여러분과 공유하고 싶은 주제는 오디오 및 비디오 품질 검사와 화질 평가입니다. 품질검사라는 개념은 누구에게나 생소할 수 있지만, 사실 오래전부터 라디오나 텔레비전 분야에는 기술적인 관점에서 영상의 품질을 검토하는 영상기술검토(Video Technical Review)라는 또 다른 관련 명칭이 있었습니다. 콘텐츠 검토, 모두가 동영상 콘텐츠를 검토해야 합니다. 나는 비교적 잘 알고 있으며, 해당 동영상에 음란물 및 정치적 폭력이 포함되어 있는지 여부를 검토합니다. 품질 검사는 기술적인 관점에서 영상 문제를 검사합니다.
이 사진이 조금 낯익으실 수도 있지만, 현장 장비로 인해 플레이가 불가능한 것은 아니며, 자체적으로 플레이가 불가능한 스크린샷입니다. 모든 사람이 집에서 TV나 휴대폰 비디오를 시청할 때, 특히 일부 오래된 비디오 소스를 시청할 때 이 문제가 가끔 발생합니다. 많은 비디오가 터미널에서 호환성 문제로 인해 재생할 수 없는 경우가 있습니다. 콘텐츠 제공업체의 경우 이러한 종류의 재생 경험은 매우 열악하며 일부 고객을 잃을 수도 있습니다. 품질 검사는 문제가 있는 동영상이 온라인에 표시되거나 사용자가 요청할 때 비정상적인 것으로 판명되는 것을 방지하여 이러한 문제를 해결하기 위해 도출된 솔루션입니다.
오늘은 개요, 형식 진단, 콘텐츠 품질 검사, 무참조 채점, 예외 수정, 경험 테스트 등 6개 부분으로 나누어 소개하겠습니다.
-01-
개요
촬영, 수집, 인코딩, 패키징부터 전송, 캡슐화 해제, 디코딩, 렌더링 및 재생에 이르기까지 비디오 수명 주기 전반에 걸쳐 품질 문제가 발생할 수 있습니다. 두 가지 예를 들자면, 요즘 쇼트 비디오가 큰 인기를 끌고 있다는 것은 누구나 다 아는 사실인데, 쇼트 비디오 촬영에는 카메라 움직임이라는 친숙한 단어가 있습니다. 카메라를 잘 움직이면 기술적인 문제라고 하고, 잘못 움직이면 어지러움증이 생기는데, 이는 촬영 과정에서 발생하는 품질 문제입니다. 또 다른 예로 인코딩 과정을 들 수 있는데, 동영상에는 다양한 코덱 포맷과 패키징 포맷이 존재하며, 비표준 인코딩 이후에는 단말, 휴대폰 기종에 따라 호환성 문제가 발생할 수 있습니다. 하나의 영상에 대한 호환성 확인은 이미 시간과 노력이 많이 들고, 대용량 영상 데이터에 대한 품질 관리는 더욱 골치 아픈 일입니다.이러한 문제가 있는 영상을 공개하기 전에 신속하게 발견하는 것이 품질 검사의 역할입니다.
이 문제를 해결하기 위해 Tencent Cloud 미디어 처리(MPS)는 미디어 품질 모니터링을 위한 전체 플랫폼 링크를 구축했습니다. 이는 주로 미디어 품질 검사, 후처리 복구 및 재생의 세 부분으로 구성됩니다 . 미디어 품질 검사는 문제를 먼저 파악한 후 후처리 및 복구 작업을 수행한 후 단말에서 재생하는 역할을 담당하며, 재생 후 사용자의 QoE, QoS 행위 데이터를 통해 품질 검사 알고리즘에 피드백을 제공합니다.
미디어 품질 검사도 내부적으로 형식 진단, 콘텐츠 품질 검사, 무참조 채점 등 세 부분으로 나누어진다. 형식 진단은 비디오용 MP4, AV1, ASF 형식, 오디오용 MP3, AAC 등과 같은 비디오 패키징 형식의 규범적인 검사에 중점을 둡니다. 포장 형식을 확인하는 동시에 인코딩 사양도 확인하여 영상이 공식 사양에 맞게 인코딩되었는지 확인합니다. 형식 진단을 통해 동영상에 형식 문제가 없는 것으로 확인되면 화면의 콘텐츠 품질 검사가 수행됩니다. 사진이 정상적으로 재생되는지, 흔들림, 흐림, 노출 과다, 소음 및 기타 문제가 있는지 확인하십시오. 오디오에 관해서는 불균일한 볼륨, 소음, 소음 등의 문제에 중점을 둘 것입니다. 콘텐츠 품질 검사를 마친 후, 선명도, 채도, 깊이, 대비 등을 기준으로 전체 사진의 구도와 색상을 심미적으로 분석한 후, 참고 없이 점수를 매깁니다. 점수를 매겨 동영상을 차별화합니다. 사용자에게 동영상을 추천할 때 점수가 더 높은 동영상을 추천하면 완료율과 컬렉션, 클릭, 관심 전환율이 높아집니다.
문제를 확인한 후 해당 수리를 수행하십시오. 예를 들어, 지터가 심할 경우 트랜스코딩을 사용하여 흔들림을 제거할 수 있고, 매우 어두운 장면을 색상 강화할 수 있으며, 형식에 문제가 있으면 트랜스코딩을 복구할 수 있으며 그 밖에도 다양한 복구 방법이 있습니다.
후처리 및 수리 후 재생을 위해 단말기에 배포됩니다. 재생 중에 조회수, 완료율, QoE, QoS 등 사용자 데이터를 수집하여 알고리즘에 피드백을 제공합니다. 클라우드에서 고객과 연결하면서 우리는 점차적으로 사용자의 생각도 끊임없이 변화하고 있다는 것을 발견했습니다. 과거에는 사용자가 정확성, 재현율과 같은 지표 데이터를 더 추구했지만 이제는 QoS 및 QoE 데이터 개선에 더 많은 관심을 갖고 있습니다. 아무리 좋아도 ab만큼 좋지는 않습니다. 논의하기 전에 이점이 있는지 확인하십시오.
다수의 통제된 실험 관찰을 통해 품질 검사 중에 문제가 발견되지 않은 비디오의 경우 품질 문제가 발견된 비디오보다 QoS 및 QoE 데이터가 훨씬 더 우수하다는 사실을 발견했습니다. 품질검사시 문제가 있었던 영상과 없는 영상을 비교한 영상입니다. 두 번째 비교는 문제가 있는 영상을 수리하기 전과 후를 비교하는 것으로, 수리된 영상은 실제로 품질이 향상되고 결과적으로 Qos와 QoE도 향상됩니다. 세 번째 종류의 비교가 더 일반적입니다. 참조 없이 동영상의 점수를 매기고 온라인에서 다양한 세그먼트의 동영상을 재생한 후에는 분명히 다른 사용자 재생 행동을 발견할 수 있습니다. 점수가 높은 동영상은 점수가 낮은 동영상보다 완료율, 조회수, 시청 기간이 훨씬 더 높습니다. 품질 검사를 통해 문제를 발견할 수 있고, 문제가 발견되면 실제로 복구할 수 있으며, 참조 없이 점수를 매기는 데 차별이 있습니다.
우리는 미디어 품질 검사의 세 가지 기둥을 형식 진단, 콘텐츠 품질 검사, 비참조 채점이라고 부릅니다 . 포맷 진단은 재생 가능 여부에 대한 문제를 해결합니다. 콘텐츠 품질 검사는 방송이 좋은지 아닌지에 대한 문제를 해결합니다. 기준 없이 채점하면 방송이 즐거운지 아닌지에 대한 문제가 해결됩니다. 이 세 가지 축은 아래에서 자세히 소개됩니다.
-02-
형식 진단
클라우드에서 미디어 처리를 할 때 자주 발생하는 두 가지 문제가 있습니다. 첫 번째 문제는 영상에 문제가 있는데 뭐가 문제인지 모르기 때문에 해결이 매우 어렵습니다. 두 번째 문제는 어떻게 하면 많은 재생 플랫폼에서 안정적으로 플레이할 수 있느냐는 것입니다. 이는 또한 미디어 처리의 두 가지 주요 과제, 즉 예외 흐름 분석 및 플랫폼 간 호환성 문제이기도 합니다.
미디어 진단은 미디어 스트림을 진단하는 클라우드 오디오 및 비디오 처리 서비스로, 라이브 스트림뿐만 아니라 주문형 오프라인 파일도 지원합니다. 플로우 정보, 시간 정보, 플로우 상태, 컨테이너 캡슐화, 코드 흐름 진단 등 다계층 검사를 통해 실제로 캡슐화 형식 및 인코딩 형식 사양과 비교하여 하나씩 확인하여 비정상적인 문제를 실시간으로 발견하여 사용자에게 피드백을 제공합니다. 사용자가 문제를 신속하게 찾을 수 있도록 합니다. 오프라인 파일에 대한 진단 보고서를 생성할 수 있으며, 라이브 스트림은 실시간으로 콜백 이벤트를 생성하며, 콜백 이벤트를 기반으로 사용자는 스트림 전환, 스트림 중단, 재푸시 등의 작업을 수행할 수 있습니다.
몇 가지 진단 적용 시나리오가 아래에 나열되어 있습니다. 첫 번째 시나리오는 라이브 스트림의 실시간 모니터링에 관한 것입니다. 중요한 라이브 방송 활동에 대해서는 실시간 모니터링을 통해 라이브 방송 과정을 실시간으로 모니터링하며, 라이브 방송에 영향을 미치는 네트워크 이상, 스트리밍 중단, 기타 상황에 대해 알람을 발령하여 고객이 신속하게 개입하고 보호할 수 있도록 합니다. 중요한 생방송 사업. 오른쪽 사진은 실시간 모니터링 화면을 캡쳐한 것입니다. 기존 모니터링 구성에는 중단 감지, 형식 이상 감지, 낮은 프레임 속도 감지 등이 포함됩니다. 향후에는 콘텐츠 품질 검사 및 무참조 채점과 관련된 기능이 출시될 예정입니다.
두 번째 시나리오는 OTT 시나리오 탐지로, ETSI TR 101-290 표준은 DVB 시스템의 품질을 측정하기 위한 참조 표준으로 OTT 시나리오에서 MPEG-TS 스트림 탐지에 주로 사용됩니다. MPEG-TS 스트림에 대해서는 세 가지 우선순위 요구 사항이 정의되는데, 첫 번째는 정상적인 디코딩(TS 동기화 코드 확인, PAT, PMT 확인 등 포함)에 영향을 미치는지 여부, 두 번째는 지속적이고 올바른 디코딩에 영향을 미치는지 여부, 세 번째는 특정 응용 프로그램에 영향을 미칩니다. 전체 과정이 완료된 후 문제 유무를 판단하고 실시간 피드백을 제공할 수 있습니다.
세 번째 시나리오는 재생 호환성 감지입니다. 다음은 온라인 질문의 세 가지 예입니다.
첫 번째 질문은 Apple 기기 호환성에 관한 것입니다. 한 사용자가 Safari에서 인코딩한 비디오 스트림이 소리만 재생되고 그림은 재생되지 않는다고 보고했지만 이를 트랜스코딩할 때 이 문제가 발생하지 않았습니다. 조사 결과 TS 스트림의 H.264 코드 스트림에 AUD가 없는 것으로 나타났습니다. Access Unit Delimiter의 Full Name인 AUD는 H.264 Access Unit Delimiter로, H.264 표준에서 AUD의 nal_unit_type은 9이고, H.265에서 nal_unit_type은 35이다. TS 사양에 따라 요구됩니다. AUD를 가져오세요. 액세스 유닛 구분 기호가 없으면 Apple 장치에서 위의 문제가 발생합니다.
두 번째 문제는 Apple 기기의 호환성 문제이기도 합니다. H.265로 인코딩된 MP4 형식의 비디오를 재생할 수 없습니다. 문제 해결 결과 H.265 fourcc가 hvc1 대신 hev1로 설정되어 있는 것으로 나타났습니다. 이는 hev1 또는 hvc1이 두 개의 코덱 태그이고 Apple이 265 hev1을 지원하지 않기 때문입니다.
세 번째 문제는 일부 셋톱박스에서 Dolby Digital Plus 오디오를 재생할 수 없다는 사용자들의 보고입니다. 이는 Dolby Digital Plus가 TS에 ATSC와 DVB 두 가지 표준을 갖고 있는데, 일부 셋톱박스에서는 ATSC 표준인 Dolby Digital Plus를 지원하지 않기 때문입니다. Tsduck 도구를 사용하여 ts 파일의 PMT에서 eac3의 stream_type을 확인한 결과 dvb는 0x06이고 atsc는 0x87임을 확인했습니다. 이러한 문제를 해결하는 것은 매우 노동 집약적이지만 Tencent Cloud 오디오 및 비디오 품질 검사의 진단 시스템을 사용하면 문제를 빠르게 찾을 수 있습니다.
-03-
콘텐츠 품질 검사
포맷 진단 결과 이상이 발견되지 않으면 콘텐츠 품질 검사를 실시해야 합니다.
콘텐츠 품질 검사는 비디오 화면에서 지터 고스팅, 흐림, 저조도, 노출 과다, 검은색 테두리, 흰색 테두리, 검은색 화면, 흰색 화면, 흐릿한 화면, 노이즈, 모자이크, QR 코드(바코드, 애플릿 코드 포함)를 지능적으로 감지할 수 있을 뿐만 아니라 , QR 코드) 등을 통해 비정상적인 비디오 오디오 트랙과 비정상적인 사운드 세그먼트(음소거, 낮은 볼륨, 소닉붐 포함)를 자동으로 감지할 수도 있습니다.
왼쪽에서 오른쪽으로, 위에서 아래로 고스팅, 흐림, 저조도, 검은색 테두리, 흐린 화면, 노출 과다, 노이즈, QR 코드, 모자이크 등의 예가 있습니다.
먼저 지터 감지에 대해 살펴보겠습니다. 이미지의 두 프레임 사이의 상대적인 움직임은 대부분의 장면에 대한 전역 움직임과 장면의 작은 부분에 대한 로컬 움직임으로 분해될 수 있으며, 전역 움직임은 일반적으로 카메라의 주관적인 움직임을 나타냅니다. 카메라 캐리어의 불안정성으로 인해 연속 프레임 사이에 위아래 모션 궤적이 발생합니다. 세 번째 그림은 프레임 t와 t+1 사이의 모션이 이동, 회전 및 크기 조정으로 단순화되었음을 보여줍니다.
왼쪽 영상은 카메라 캐리어의 불안정으로 인해 흔들림이 심하고, 장시간 시청하면 현기증이 나기 쉽습니다. 인접한 두 이미지 프레임 사이의 간격이 매우 짧고 비틀림 변화가 거의 없기 때문에 일반적으로 이동, 회전 및 스케일링 모델이 모션을 모델링하는 데 사용됩니다. 첫 번째 줄의 수식은 이동 변경, 즉 X축과 Y축의 픽셀 이동을 설명합니다. 마지막으로 공제를 통해 마지막 줄의 공식을 얻습니다. 모델에 따라 두 프레임 사이의 이동값, 회전값, 스케일링 값을 계산하여 지터 발생 여부를 판단합니다. 실제 적용 시나리오는 일정 기간 내의 평균 변화를 계산하는 것이며, 평균값이 임계값에 도달하면 영상 지터가 심각한 것으로 간주됩니다. 라이브 스트리밍도 비슷하게 계산됩니다.
흑백 가장자리 감지 알고리즘은 비교적 간단합니다. 회색조 이미지 변환 후 두 개의 임계값 함수를 사용하여 회색조 이미지의 모든 흑백 가장자리를 경계가 0인 상자로 처리합니다. 이 0의 경계가 어디인지 알아내기만 하면, 흑백 가장자리의 경계가 어디인지 자연스럽게 계산할 수 있다. 검은색과 흰색 가장자리가 있는지 여부를 알 수 있을 뿐만 아니라 검은색과 흰색 가장자리의 경계가 어디에 있는지도 알 수 있습니다.
알고리즘은 복잡하지 않지만 일부 나쁜 경우는 여전히 발생합니다. 가장 일반적인 경우는 많은 TV 시리즈의 시작 부분에 표시되는 첫 번째 에피소드의 전체 프레임이 검은색인 경우이며, 이 알고리즘은 첫 번째 에피소드를 제외한 모든 프레임을 흑백 가장자리로 반환할 가능성이 높습니다. 이를 위해 우리는 이러한 나쁜 경우를 커버하기 위해 베벨 각도와 유사한 감지를 추가했습니다.
순수 컬러 화면 감지 알고리즘을 생각하면 더 쉬울 수 있습니다. 일반적인 작업은 회색조 이미지 다음의 히스토그램에서 픽셀의 비율을 계산하는 것입니다. 단일 픽셀의 비율이 특정 임계값을 초과하면 단색 화면으로 간주됩니다. 오른쪽 사진은 온라인 불량 사례를 나열한 것입니다. 사용자들은 사진이 사람의 눈에는 "완전히 검은색"으로 보였지만 알고리즘이 이를 감지하지 못했다고 보고했습니다. 회색값을 계산해 보면, 단일 점이 특정 픽셀 값에 분포되어 있지 않고, 여러 픽셀 값의 인접 영역에 분포되어 있음을 알 수 있습니다. 현재로서는 단일점 픽셀의 비율을 세는 것만으로는 기대에 미치지 못합니다. 그래서 우리는 슬라이딩 윈도우와 유사한 메커니즘을 추가하여 인접 픽셀의 누적값 비율을 감지함으로써 이러한 나쁜 경우를 해결했습니다.
-04-
참고등급 없음
채점에 관해 가장 많이 듣는 것은 VAMF, PSNR 등입니다. 이는 참조 소스를 기반으로 계산해야 합니다. 비참조 채점의 특징은 참조 소스가 필요하지 않으며 사진의 구도, 채도 등을 바탕으로 직접 점수를 계산한다는 점입니다. 이 모델은 딥러닝 모델을 기반으로 하며 영상의 선명도, 구성, 색상 등 여러 차원을 종합적으로 고려하여 영상 이미지에 대한 참조 없는 품질 평가를 수행함으로써 포괄적인 영상 품질 점수를 제안합니다. 출력점수는 40~100점으로 크게 3단계로 나누어지며, 40~60은 나쁨, 60~80은 보통, 80~100은 좋음이다.
생방송 현장에서는 채점을 통해 앵커가 영상, 조명 등을 실시간으로 조정할 수 있도록 안내해 보다 나은 생방송 경험을 선사할 수 있습니다. 이 다이어그램은 딥러닝의 핵심 데이터 네트워크를 보여줍니다. 왼쪽에는 비디오를 이미지 프레임으로 전처리하는 과정이 있습니다. 여기서 사용하는 입력 크기는 720p에 가까운 672×448입니다. 이 크기를 선택한 이유는 딥러닝 컨벌루션 신경망의 입력이 일반적으로 224이기 때문입니다. 우리는 더 많은 이미지 특징을 얻기 위해 높이로 224×3, 너비로 224×2를 사용합니다. 혼합 열 구조를 사용하면 block4를 특징 추출 입력으로 사용할 뿐만 아니라 각 레이어의 출력을 수집하여 품질 예측에 대한 하위 수준 특징의 영향을 높입니다. 동시에, 서로 다른 영상 간의 순위를 참고하여 학습 효과를 높일 수 있습니다. 오른쪽은 알고리즘에 의해 온라인으로 측정된 PLCC 및 SRCC 데이터입니다. 가로축은 예상 점수, 세로축은 모스 점수입니다. 중앙의 실선에 가까울수록 인간의 눈의 주관적 채점과의 상관관계가 높고, 알고리즘 지수가 좋아지는 것을 의미합니다.
다양한 평가 세그먼트가 포함된 동영상의 예가 여기에 표시됩니다.
-05-
예외 수정
Sanbanaxe를 통해 문제를 감지한 후, 그에 맞는 수리 전략도 제공해드립니다. 다음은 여러 장면에서 복원 전과 후의 비교 사진입니다. 왼쪽 그림은 스마트 워터마크 제거 효과를 보여줍니다. 워터마크를 제거한 후 워터마크 주변의 픽셀값에 따라 피팅하여 원래의 효과에 가까워지게 됩니다. 처음에 우리가 채택한 전략은 가우시안 블러를 직접 적용하는 것이었지만 사용자가 이를 알아차리면 매우 갑작스럽고 눈길을 끌기 때문에 나중에는 누락된 부분을 맞추기 위해 GAN 네트워크를 사용하려고 하기 시작했습니다.
오른쪽 그림은 트랜스코딩을 통해 제거할 수 있는 디지터링 효과를 보여줍니다. 동일한 비디오를 선명하게 볼 수 있고, 지터가 훨씬 완화되었으며, 전체 비디오 모션이 더 매끄러워졌습니다.
비디오에 흑백 가장자리가 있는 것으로 감지되면 지능적으로 흑백 가장자리를 제거할 수 있습니다. 흑백 가장자리를 제거한 후 이전과 동일한 해상도를 유지하기 위해 영상을 늘리고 자막을 번역했습니다. 그러나 주의 깊은 학생들은 스트레칭 후에 그림의 비율이 약간 이상하다는 것을 발견할 수 있으므로 이제는 GAN 네트워크나 대형 모델을 사용하여 가장자리 세부 사항을 채우려고 노력하고 있습니다. 사진이 어두우면 색상이 향상되며 아래 왼쪽과 오른쪽 사진의 대비가 매우 뚜렷합니다.
왼쪽 이미지에는 긁힘, 노이즈, 압축 및 낮은 해상도가 있습니다. 가운데 사진은 화질 평가 및 복구, 디인터레이싱, 스크래치 제거, 노이즈 제거, 압축 복원 등의 작업을 수행한 결과입니다. 오른쪽 사진은 화질 향상, 해상도 향상, 얼굴 향상, 선명도 향상 후의 효과입니다. 아래 사진도 오래된 TV 시리즈를 복원한 것으로 슈퍼스코어링, 프레임 삽입, 색상 향상 등의 프로세스를 사용하여 개선 효과가 뚜렷합니다.
오디오 수준에서는 잡음 감소를 통해 오디오 잡음을 제거할 수 있거나, 볼륨 이퀄라이제이션을 사용하여 오디오에서 터지는 소리를 줄이고, 저음을 개선하고, 소리를 보다 자연스럽게 만들 수 있으며, 오디오를 미화하여 일부 잡음을 제거할 수도 있습니다. 그리고 치찰음.
-06-
체험 테스트
위에서 언급한 기능에 대해 Tencent Cloud는 경험 테스트를 위한 몇 가지 인터페이스를 제공하므로 주의를 기울이시면 됩니다.
오프라인: https://cloud.tencent.com/document/api/862/37578
라이브 방송: https://cloud.tencent.com/document/api/862/39227
모니터링: https://cloud.tencent.com/document/product/267/79959
온디맨드: https://cloud.tencent.com/document/product/266/94242
다들 감사 해요!
▲사진 속 QR코드를 스캔하거나 " 원문읽기 "를 클릭하세요. ▲
LiveVideoStackCon 2023 Shenzhen Station 직접 접속 티켓 구매 채널 10% 할인