Compression Artifact Reduction Network for Multi-View Video Contents

Abstract

Multi-view video is widely used to render high-quality 3D space reconstruction in various fields. However, while transmitting data quality degradation occurs due to quantization and produces unwanted artifacts which affect user experience. Many networks for video quality enhancement were previously developed but do not efficiently use the multi-view data structure characteristics. In this paper, we propose Multi View Artifact Reduction network (MVAR) as a post-processing video enhancement method via artifact reduction using multi-view videos and evaluate the performance on various video sequences. Since multi view videos are captured from an array of cameras, we select the spatial reference frames as adjacent views that are located on the same axis. We also select frames with different time step as the temporal reference frames to expand the proposed model to the time domain and increase robustness. Using these reference frames, we develop a Multi View Artifact Reduction network (MVAR) that warps and fuses the reference frames to generate target frame priors. Disparity vectors between the target frame and reference frame is estimated by target-to-reference (TRD) estimator and reference-to-reference (RRD)estimator which we propose. Warping reference frames is possible by utilizing the disparity vectors and it consequently generate priors for target frame enhancement. Final fusion allows the warped reference frame features to contribute to enhancing the target frame quality. To demonstrate the performance of our model, we conduct experiment on MPEG multi view video content and compare it with other contemporary methods. Also, qualitative results show that our model generates relatively high quality results than other methods;멀티뷰 비디오는 다양한 분야에서 고품질의 3D 공간 재구성을 렌더링하는 데 널리 사용됩니다. 그러나 전송하는 동안 양자화로 인해 데이터 품질 저하가 발생하고 원치 않는 잡음를 생성하여 사용자 경험에 영향을 미칩니다. 비디오 품질 향상을 위한 많은 네트워크가 이전에 개발되었지만 멀티뷰 데이터 구조 특성을 효율적으로 사용하지는 않습니다. 본 논문에서는 멀티뷰 비디오를 사용한 아티팩트 감소를 통한 후처리 비디오 향상 방법으로 멀티뷰 잡음 감소 네트워크(MVAR)를 제안하고 다양한 비디오 시퀀스에 대한 성능을 평가합니다. 멀티뷰 비디오는 카메라 어레이에서 캡처되기 때문에 공간 참조 프레임을 동일한 축에 위치한 인접 뷰로 선택합니다. 또한 제안된 모델을 시간 영역으로 확장하고 견고성을 높이기 위해 시간 단계가 다른 프레임을 시간 참조 프레임으로 선택합니다. 이러한 참조 프레임을 사용하여 참조 프레임을 정렬 및 융합하여 대상 프레임 우선 순위를 생성하는 멀티뷰 잡음 감소 네트워크(MVAR)를 개발합니다. 대상 프레임과 참조 프레임 사이의 disparity 벡터는 저희가 제안하는 TRD(Target-to-Reference) 추정 및 RRD(Reference-to-Reference) 추정에 의해 추정됩니다. disparity 벡터를 활용하여 정렬된 기준 프레임이 가능하고 결과으로 대상 프레임 향상을 위한 우선 순위를 생성합니다. 최종 융합을 통해 정렬된 참조 프레임 기능을 통해 대상 프레임 품질을 향상시키는 데 기여할 수 있습니다. 저희 모델의 성능을 입증하기 위해 MPEG 멀티뷰 비디오 콘텐츠에 대한 실험을 수행하고 다른 현대 방법과 비교합니다. 또한 정성적 결과는 저희 모델이 다른 방법보다 상대적으로 높은 품질의 결과를 생성한다는 것을 보여줍니다.