UHD 비디오 초해상화 기반 압축의 색차 개선 딥러닝 알고리즘

Abstract

Recently, video streaming companies are competing to provide more diverse and higher quality videos. However, in order to handle this, a large bandwidth is necessary to transmit all demanding videos. Although we are living in the era of 5G, a high-definition video still requires a gigantic telecommunication resource. Therefore, it is necessary to employ a proper video compression method on the videos to provide more stable and affordable services. Joint Video Experts Team (JVET) [1] was established in 2017 to develop the nextgeneration video compression standard call VVC (Versatile Video Coding) [2]. This group is a joint venture team collaborating with VCEG (Video Coding Experts Group) under ITU-T and MPEG (Moving Picture Experts Group) under ISO/IEC. VVC standardization was completed in July 2020, and the reference software for the VVC standard VTM (VVC Test Model) software [3] was distributed. The main purpose of VVC standardization was to develop a twice higher compression efficiency compared to the previous standard, HEVC (High Efficiency Video Coding) [4]. In addition, VVC standardization include the 360-degree video format to support virtual reality and the UHD (Ultra High Definition) videos so that it can be applied to high-definition and large-capacity video in the future. In this paper, a study on deep learning-based super-resolution method to increase compression rate is introduced. To increase the compression efficiency on UHD videos, compressed videos using the VVC codec are inputted to the two deep learning networks. One method is to do super-resolution and the other is to improve the chroma channel frame quality. With the proposed method, enhancing the quality of the output video can increase the compression efficiency.;최근 유튜브와 넷플릭스와 같은 비디오 스트리밍 서비스가 다양해지고 코로나 시대에 접어들며 개인이 소비하는 비디오의 양이 점점 증가하였다. 이러한 서비스가 점점 확대될수록 사람들은 더 많은 동영상을 더 빠르고 높은 화질로 시청하고 싶어한다. 그러나 이를 감당하기 위해서는 동영상을 전송할 수 있는 큰 대역폭이 필요하다. 5G 시대를 살아가고 있지만, 고화질의 동영상은 여전히 대용량이기 때문에 적절한 압축을 통해 사람들에게 더 안정적으로 서비스를 제공하는 것이 필요하다. JVET (Joint Video Experts Team) [1] 은 2017년 차세대 비디오 압축 표준인 VVC (Versatile Video Coding) [2] 기술 개발을 위해 구성된 전문가 그룹이다. 이 그룹은 ITU-T 및 ISO/IEC 산하의 VCEG (Video Coding Experts Group) 과 MPEG (Moving Picture Experts Group) 두 기관의 합작으로 설립되어 비디오 압축에 관한 국제 표준화를 수행하였다. 2020년 7월에 VVC 표준화를 완료하 였고, VVC 표준의 참조 소프트웨어인 VTM (VVC Test Model) [3] 소프트웨어를 개발하였다. VVC 표준은 이 전 표준인 HEVC (High Efficiency Video Coding) [4] 표준에 비해 약 2배 이상의 압축 효율을 제공하도록 개발되었다. 또한 VVC는 UHD (Ultra High Definition) 비디오와 가상현실을 지원하기 위한 360도 동영상 포맷에 대해서도 표준화를 실시하여 고화질, 대용량 포맷의 비디오에도 적용할 수 있도록 하였다. 본 논문에서는 UHD 비디오의 초해상화 기반 압축을 통한 색차 성분 개선 알고리즘에 대한 연구를 제안한다. 입력되는 비디오를 VVC 코덱을 이용하여 압축한 뒤, 두 개의 딥러닝 네트워크를 거쳐 초해상화 및 색차 성분 개선을 진행한다. 따라서 제안하는 방법으로 출력되는 비디오의 압축 효율을 높이고 화질을 개선하는 방법을 제안한다.