딥러닝을 이용한 화질 적응적 영상 압축 잡음 제거

Abstract

본 연구는 압축으로 인해 발생하는 영상의 압축 잡음을 화질에 대해 적응적으로 개선하는 것을 목표로 한다. 최근, 시각 자료 특히 영상 스트리밍 서비스의 이용이 빠른 속도로 증가하고 있다. 영상은 저장과 전송을 위해서 압축이 필수적이지만, 이때 발생하는 압축 잡음이 영상의 화질을 저하시킨다. 압축 매개변수로 결정되는 왜곡을 최소화하여 원본 영상의 화질을 보존하도록 부호화할 수 있지만, 이는 비트율이 높아진다는 트레이드오프(Trade-off)가 존재한다. 따라서, 후처리로 딥러닝을 통한 압축 잡음 제거 기법을 적용하면, 비트율의 변화 없이 화질을 개선할 수 있다. 딥러닝 기반 압축 잡음 제거 네트워크는 학습에 사용되는 영상의 화질과 테스트에 사용되는 영상의 화질이 비슷하거나 동일하다는 가정하에 우수한 성능을 제공하도록 학습된다. 그러나, 일반적인 지도학습을 이용하여 학습하는 경우 두 가지 문제를 초래한다. 첫째, 네트워크 학습에 사용한 영상의 화질과 테스트에 사용하는 화질이 다른 경우, 테스트시에 성능이 저하된다. 이는 학습에 사용된 화질과 차이가 커질수록 성능이 더욱 감소된다. 본 연구에서는 이러한 문제점을 해결하기 위한 방법론으로 서로 다른 화질을 가지는 영상의 적응적인 압축 잡음 제거 문제를 도메인 적응 문제로 정의한다. 제안하는 네트워크 학습 방법은 학습과 테스트에 사용되는 영상의 화질에 대한 간극을 좁히도록 한다. 구체적으로 도메인에 해당하는 화질 식별자 서브 네트워크를 추가하여 전체 네트워크를 적대적으로 학습하는 기법을 적용한다. 둘째, 지도 학습을 통해 학습된 네트워크는 학습 데이터셋의 특성에 국한되어 학습되기 때문에, 테스트 시에 다른 특성을 보이는 데이터에 대해서는 좋은 성능을 보장하지 못한다. 예를 들면, 특정 화질의 영상으로 학습된 네트워크는 동일한 화질의 테스트 영상에 대해서 좋은 성능을 보이므로, 테스트시에 입력 영상에 대한 화질 정보를 사전 정보로써 알고 있는 경우에 좋은 성능을 보장한다. 그러나 실제 환경에서는 이러한 조건을 항상 만족하지 않기 때문에, 기존의 가정을 유지하면 어려움이 발생한다. 본 논문에서는 실제 환경에 적합한 화질 개선을 위하여 강화학습을 이용한 적응적 모델 선택 알고리즘을 제안한다. 여기서 모델 선택 알고리즘은 여러 화질에 대해 최적화된 개별 모델들 중 입력 영상에 가장 적합한 모델을 선택하는 문제를 의미한다. 심층 강화학습의 경우, 에이전트가 입력 상태에 대해서 누적 보상이 가장 클 것으로 기대하는 행동을 예측하는 것을 목표로 하기 때문에, 영상의 화질 조건에 대한 사전 정보가 필요하지 않다. 대신, 적응적 압축 제거 문제에 적절한 강화학습의 보상을 정의하여 사전 모델 선택 에이전트를 학습한다. 본 논문에서는 기존의 문제를 해결하기 위해서, 문제 상황을 정의하고 두 가지 제안 기법을 사용하여 다루고자 한다. 기존 연구에서 다뤄지지 않았던, 서로 다른 화질을 학습과 테스트로 사용하는 시나리오를 정의하고 실험하였다. 또한, 실험 결과를 정량적, 정성적으로 분석하여 제안 기법의 우수한 성능을 평가하였다.;Image compression is essential to store and transmit images, however, it causes unwanted compression artifacts such as blocky and ring artifact. Recent work on compression artifact reduction network (CARN) assumes that the same or comparable quality of images will be used for both training and testing, and as a result, model requires a quality factor as a prior knowledge to complete the task effectively in both the train and test phases. To tackle these issues, we proposed a novel training scheme of CARN employing domain adaptation (CARN-DA). To be specific, we assign an image encoded with a different quality factor as a different domain and train a CARN in an adversarial way by adding a quality discriminator subnetwork to narrow the discrepancy between two qualities. We also devised a quality adaptive model selection algorithm based on reinforcement learning (RL). In this, the model selection algorithm refers to the problem of selecting the model for input image among individually pre-trained models. We train agent to adaptively select a best model for the input image with blind quality by defining rewards and environments pertinent to the compression artifact removal. Experimental results demonstrate that the proposed CARN-DA method achieves superior performance on DIV2K, and Set12 datasets, and that the proposed RL-based model selection algorithm enables the agent to be trained to adaptively select the optimal model for quality of input.