Deep Learning-based Multi-view Image Enhancement

Abstract

최근 3D 몰입형 비디오 서비스의 규모가 점점 커지고 있다. 예를 들어, 360비디오 혹은 Virtual Reality 비디오처럼 다양한 종류의 몰입형 비디오 서비스가 이루어지고 있다. 이러한 몰입형 비디오를 다시점으로 취득 시, 시점이 증가할수록 전송 데이터 용량 또한 증가하게 된다. 따라서, 다시점으로 취득된 몰입형 비디오는 제한된 대역폭에서의 전송을 위해 압축이 필수적으로 필요하다. 하지만, 높아진 압축률에 의해 비디오는 화질이 저하되게 된다. 따라서, 이 저하된 화질을 높이는 연구는 필수적이다. 본 논문에서 다시점을 참조로 이용한 대상 시점의 화질을 개선시키는 연구를 제안한다. 다시점으로 취득된 비디오는 전송을 위해 압축은 필수적이다. HEVC, VVC와 같은 코덱을 이용해 영상을 압축하게 된다. 이 때 발생하는 Q-noise에 의해 영상의 화질은 저하되게 된다. 따라서, 이 Q-noise로 저하된 영상의 화질을 개선시키는 연구를 제안한다. 본 논문에서는 압축된 대상 시점의 이미지의 화질을 개선시키는 것을 목표로 한다. 이를 위해, 대상 시점의 이미지보다 상대적으로 작은 압축률로 압축되어 대상 시점의 이미지보다 품질이 더 좋은 다시점의 이미지들을 참조한다. 이를 위해 딥러닝 네트워크를 이용하여 대상 시점 이미지를 다시점 이미지로 정렬하고, 합성하여 향상된 품질의 대상 시점 이미지를 만들어 낸다. 실험 결과, 다시점 이미지들을 참조로 이용하여 대상 시점의 이미지의 품질을 개선해냈다.;Recently, the scale of 3D immersive video services has been increasing. For example, various types of immersive video services such as 360 video or Virtual Reality video are being implemented. When acquiring such an immersive video as a multi-viewpoint, the transmission data capacity also increases as the viewpoint increases. Therefore, immersive video acquired with multi-view necessarily needs compression for transmission in a limited bandwidth. However, the video quality deteriorates due to the increased compression ratio. Therefore, research to improve this degraded image quality is essential. In this paper, we propose a study to improve the image quality of the target viewpoint using multiple viewpoints as a reference. Compression is essential for video acquired as a multi-viewpoint for transmission. The video is compressed using a codec such as HEVC or VVC. The quality of the image is deteriorated by the quantization noise (Q-noise) generated at this time. Therefore, we propose a study to improve the image quality degraded by this Q-noise. We aim to improve the image quality of the compressed target view. To this end, images of the multi-viewpoint, which are compressed with a relatively smaller compression rate than the image of the target viewpoint, and have better quality than the image of the target viewpoint. To this end, using a deep learning network, the multi-viewpoint images are aligned to a target viewpoint image and synthesized to create an improved quality target viewpoint image. As a result of the experiment, the quality of the image of the target viewpoint was improved by using the multi-viewpoint images as a reference.