HDRI를 활용한 CG 오브젝트의 사실적인 렌더링에 관한 영상기반 라이팅 연구

Abstract

실제적으로 사진을 찍어 데이터를 저장하게 되면, 각각의 픽셀에 해당하는 밝기 값이 실제 값과는 차이가 있게 된다. 즉, 동적 범위를 벗어나는 장면이나 물체는 극도의 밝기 값을 가지게 되는데 이러한 값들을 모두 기록하여 표현하기는 불가능하다. 이렇듯 현실 세계에 존재하는 빛은 디스플레이 장치로 표현할 수 있는 범위를 초과하지만, 한정된 디스플레이 표현을 넘어서서 의미적으로 인간이 현실 세계의 빛을 디스플레이에서 느끼도록 하는 HDRI 라이팅에 대한 연구가 3D 그래픽스 분야에서 중요시되고 있다. 이는 컴퓨터 그래픽스에서 Photorealistic Image를 생성하는 것을 렌더링의 궁극적인 목표로 두는 이유에서도 이해할 수 있다. 이러한 HDRI란 일반 디스플레이 장치에서 보여줄 수 있는 동적 범위보다 크거나 혹은 하나의 노출 값에 대하여 일반 카메라로 촬영이 가능한 범위보다 더 큰 HDR을 가지는 영상이다. 더 나아가 대부분의 일반 이미지들이 비선형적으로 암호화되는 것과 달리, 모든 픽셀 값들이 그 픽셀과 일치하는 실세계의 빛의 양과 비례하는 영상이다. 따라서 극도로 사실적인 영상의 생성을 가능하게 하는 영상기반 라이팅 기술의 영상 포맷인 HDRI를 활용한 구현에 대한 전망을 확장시켜 이에 대한 이론적 그리고 실제적 검토가 필요하다. 그러나 이에 대한 논의가 국내에서 본격적으로 이루어지지 못한 상황에서, 최근의 3D 가속 하드웨어의 급속한 발전으로 HDRI는 영화뿐만 아니라 게임, 애니메이션 등의 디지털 콘텐츠 개발에 확장되어 활발하게 적용될 예정이다. 이에 본 연구는 CG가 영상에 합성되는 실제적인 과정에서 영상 정보를 보다 정확하게 습득하는 방법과 CG 오브젝트와 이미지가 어떤 관계에 있을 때 효과를 극대화할 수 있는지에 대한 기존의 영상기반 라이팅 연구들을 정리한다. 그리고 실세계 조명 정보를 가진 HDRI를 환경 매핑 소스로 사용하여 장면 내의 CG 오브젝트와 실사 이미지 간의 조명 효과를 계산하는 사실감 구현과 관련한 응용의 과정들을 살펴보았다. 부언하면, 실제로 CG 오브젝트의 사실적인 렌더링을 위해 HDRI를 빛 소스로 활용함으로써 영상기반 라이팅을 실행하였고, 3D 그래픽 툴을 사용하여 실사와 CG 오브젝트를 합성하는데 있어서 HDRI 환경 맵을 적용하여 좀 더 현실적인 장면을 얻어낼 수 있는 과정을 정리하였다. 실제로, HDRI를 변환하고 세팅하고 조정하는 과정과 동시에 라이팅 설정 및 최적화 작업을 통한 최종 결과물을 보여 준다. 이 때, 차별화된 응용을 위해 동일한 CG 오브젝트들을 일반 맵 오브젝트, 반사 오브젝트, 그리고 굴절 오브젝트로 구별하여 스캔라인 렌더링과 HDRI 환경 맵의 광원 효과를 써서 그림자와 빛의 부드러움에서 보여지는 뚜렷한 차이를 비교하였다. 그리고 동일한 CG 오브젝트에 LDRI와 HDRI의 환경맵을 적용하여 HDRI가 표현하는 광원의 효과를 대조하는 동시에, 여러 개의 다른 HDRI만 바꿔서 HDRI를 사용한 3D 장면은 사실적인 광원의 표현뿐만 아니라 HDRI 촬영 환경의 빛의 방향과 전체적인 색상 값에 따라 변화된 모습까지 유도해 낼 수 있음을 관찰하였다. 이렇듯 HDRI가 가진 빛의 정보와 색상정보를 그대로 3D 장면에 적용함으로써 더욱더 정확한 빛을 계산해 낼 수 있으며, HDRI 자체를 장면용의 조명으로서 사용하여 완벽하게 자연스러운 라이팅을 장면 내에 재현할 수가 있다. 이는 HDRI가 기존의 비트맵과 달리, 광원 정보가 포함된 영상 정보를 가지고 있어서 정교한 조명 효과, 복잡한 모델의 렌더링 등에서 관련 개발자들의 수고를 덜어주면서도 보다 사실적인 반사광 및 정확한 조명을 장면 내에 재현해낼 수 있기 때문이다. 한편 본 논문은 HDRI를 활용하여 실사와 같은 영상을 구현해 보는 일련의 과정을 정리하고자 한 의도로 인해, HDRI를 LDR 디스플레이 장치에 표현하면서도 정보 손실을 최소화하여 매핑하는 톤 매핑과 Radiance의 전역 조명 알고리즘이 렌더링 타임의 소모가 크다는 점 등을 논외로 하였다. 이에 앞으로 HDRI를 이용한 좀 더 포괄적인 연구가 필요하며, 이러한 논의들은 분명 컴퓨터 그래픽스가 가지는 궁극적인 목표인 실세계와 구별할 수 없는 사실적인 렌더링을 위한 새로운 방향을 제시할 수 있을 것이라고 확신한다.;When a picture is taken and saved as a file, lighting values for each pixel are different from the real values. Also, scenes or objects that are out of dynamic range have photorealistic values and all these values are impossible to be recorded and expressed. Although light in real world exceeds the range that can be expressed through display equipments, researches on HDRI lighting that allows people to feel the light of real world through display overcoming limited display expression became important in 3D graphics fields. This phenomenon can be understood by the reason that producing photorealistic image in computer graphics is the fundamental purpose of rendering. HDRI is an image that has bigger HDR that has bigger dynamic range than general display equipment and has bigger HDR of exposure value than general cameras can take. Furthermore, instead of being coded nonlinearly as most of general images are, each pixel value corresponds to the amount of real world light. Therefore, the future prospect of HDRI, an image format of image based lighting technology that produces extremely realistic images, should be expanded and theoretical as well as realistic examination should be conducted. However, rapid recent development of 3D accelerating hardware made HDRI to be actively adopted not only to movies but also to digital contents development such as games and animations without being discussed actively. Therefore, this study adjusts the existing image based lighting researches on how to acquire more accurate image information during the process of CG and image compounding as well as what relationship between CG object and image can maximize the effect. Also, it examined application process related to the actualizing reality that calculates lighting effect between CG object and real image in a scene using HDRI that has real world lighting information as an environment mapping source. In addition, HDRI was used as a source of light for realistic rendering of CG object actualizing the image based lighting, and a process that allows to capture more realistic scenes using HDRI environment map when compounding real picture and CG objects using 3D graphic tools. Practically, it shows the final rendering through the process of HDRI transformation and adjustment as well as lighting setup and optimization. Then, this study classified the same CG objects according to standard map object, reflection object, and refraction object to apply differently, and compared significant differences that were shown through the smoothness of shadows and lights using scan line rendering and source of light effect of HDRI environment map. Also, this study contrasted the effect of source of light that HDRI expresses by adopting LDRI and HDRI environment map on the same CG object. At the same time, it observed that 3D scenes that used HDRI can express realistic source of light as well as transformed figures according to the direction of light using HDRI photographing environment and general color values by changing of several HDRIs. Thus, adopting information of light and color that HDRI has into 3D scenes allows us to calculate more accurate lighting and also reproduce natural lighting perfectly in the scene using HDRI itself as a lighting of the scene. It is possible because HDRI has image information that includes the information of source of light which is different from the existing bitmap style. It lessens the work of related developers in rendering of complicated models as well as reproduces more realistic reflection light as well as accurate lighting in the scene. In the meantime, this study excluded a discussion on large amount of rendering time consumed by tone mapping that expresses HDRI on LDR display equipment and minimizes information loss and global illumination algorithm of radiance because the purpose of this study is to adjust processes of actualizing realistic images using HDRI. Therefore, more comprehensive studies should be conducted using HDRI, and these discussions will be able to provide a new direction of realistic rendering that cannot be distinguished from real world which is the fundamental purpose of computer graphics.