신경망 기반 비디오 화면 내 예측 기법

Abstract

국내외에서 TV방송, 유튜브, 비디오커머스 등의 영상 콘텐츠의 활용무대가 넓어지면서 사람들의 영상에 대한 수요는 점점 더 증가하고 있다. 이러한 영상 서비스 수요가 증가함에 따른 영상 압축 기술의 발전은 필연적이다. 최근 딥러닝 및 인공지능 기술은 여러 분야에서 뛰어난 성과를 거둬왔다. 이에 따라 영상 압축 기술에서도 딥러닝 기술을 접목하려는 시도들이 있어왔다. 본 논문에서는 비디오 부호화 과정에서 신경망 네트워크를 활용한 화면 내 예측 방법을 제안한다. 기존의 화면 내 예측 방법은 일부 고정 규칙을 기반으로 주변의 재구성된 참조 샘플로부터 예측 블록을 생성하므로 복잡한 콘텐츠의 예측 블록을 생성하기 어렵다는 한계가 있다. 또한, 참조 샘플로 이용할 수 있는 정보의 양이 시간적 주변 정보에 비해 적기 때문에 화면 간 예측보다 낮은 부호화 성능을 가진다. 우리는 앞서 언급한 문제를 해결하기 위해 기존의 비디오 부호화 과정의 화면 내 예측을 통해 생성되는 예측 블록에 신경망 네트워크를 적용하여 원본 블록과 예측 블록의 차분 신호를 줄이는 화면 내 예측 방법을 제안한다. 제안하는 알고리즘은 비디오 부호화 과정의 화면 내 예측 모드 중 하나로 추가되며, 부호기에서는 제안 알고리즘의 활성 여부를 나타내는 플래그가 함께 부호화 된다. 실험 결과에 의하면 제안 알고리즘은 최근 비디오 압축 표준인 Versatile Video Coding의 참조 모델인 VTM version 10.0 [1] 대비 휘도 성분에 대하여 향상된 압축 성능을 제공한다.;Recently, deep learning and artificial intelligence technologies have achieved outstanding performance in various fields. Especially, in video compression domain, deep learning-based methods are spreading widely. In this paper, we proposed a neural network based intra prediction in VVC. Using the proposed neural network, we can increase coding efficiency by reducing the differences between the original block and the prediction block. The prediction block generated through the VVC intra prediction mode and the reconstructed reference samples are fed into the proposed neural network. Through the network, refined prediction block is generated. This proposed method is included as one of the VVC intra prediction mode. It allows the encoder whether to apply the neural network on the current CU block depending on the RD cost. Experimental results demonstrate that the proposed method can achieve average -0.4% bitrate saving compared to VTM version 10.0.