한 장의 사진으로 추출한 표면의 거칠기와 사실적인 렌더링

Abstract

직접 촬영한 사진에서 물체와 장면의 색상, 재질, 조명과 같은 속성을 추정하는 기법인 역 렌더링은 컴퓨터 그래픽스 분야에서 사실적인 렌더링을 위해 중요하다. 그러나 현재 역 렌더링 알고리즘은 데이터를 충분하게 사용할 수 없는 여건에서 상당한 제약과 한계를 직면한다. 역 렌더링 알고리즘은 렌더링에 필요한 재질, 색상, 표면의 거칠기와 같은 성질을 추정하기 위해서 정보가 필요한데, 상용할 수 있는 이미지 정보가 제한될 경우 역 렌더링에 어려움이 있다. 역 렌더링을 빛 반사모델에서 구현하는 컴퓨터 그래픽에 대한 연구도 시도 되었고(Cool, R, L., & Torrance, K. E, 1982), 다중 분산된 상황에서 단일방향으로 역 렌더링 되는 심층 역 렌더링을 실현하려는 접근 (Dong. Y., Pellacini et., al. 2015)이 이루어지기도 했으나, 충분한 데이터를 확보하지 못하는 상황에서 왜곡되는 결과를 초래하는 위험이 내재되어 있다. 기존 방법의 가장 큰 문제점으로는 많은 장면의 사진 촬영이 필요하다. 이것은 실제 사진작가들이 실제 사진을 촬영하여야 할 때와 그래픽 아티스트의 렌더링 작업에서 불편함을 일으키는 요소이다. 따라서 본 논문에서는, 사진 한 장 만으로 가능한 간단한 렌더링 및 역 렌더링 모델을 제시한다. 특히 표면의 거친 정도(Roughness)는 3D 그래픽스 렌더링에서 조명과 함께 사실적인 느낌을 주기 위해 시각적으로 중요한 역할을 한다. 표면의 거칠기와 빛 반사의 관계는 복잡하며, 표면의 거칠기에 따라 빛 반사의 방향과 강도가 달라진다. 이에 따라 실제 사람의 육안에 보이는 물체의 형태와 지문, 사용한 흔적과 같은 표면의 무늬는 다르기에 영화와 게임에 쓰이는 컴퓨터 그래픽스에서도 사실적인 렌더링을 위해 이러한 정보가 잘 표현되어야 한다. 특히, 최근 영화 산업, 게임 업계, 컴퓨터 그래픽스에서 각광받는 roughness rendering, smudge rendering, realistic rendering을 위해 실제 사진에서 표면의 거칠기 정보를 추출하는 연구를 진행하였다. Roughness map에 묘사될 수 있는 주름, 나이테, 손금, 흉터, 지문 등으로 현실에서 보이는 불완전성을 표현하여 더 사실적인 렌더링을 구현할 수 있기에 더 많은 관심을 받고 있다. 기존의 컴퓨터 그래픽스에서는 roughness map을 만들거나 꾸미기에, 실제 현실과 같은 시각적 느낌을 주기에는 충분하지 않았다. 현실에서 완벽하게 표면이 매끄럽고 깨끗한 물체는 없으며, 오래 사용하여 더럽혀질 수도 있으며 상처, 흉터가 날 수도 있다. 그러한 현실의 불완전성을 실제 물체나 장면에서 가져와서 더 사실적인 렌더링을 하는 연구를 진행하였다. 실제 사진 촬영으로 roughness 정보를 가져오는 기존 연구로는, 주로 도시공학, GIS쪽 지질 특성을 나타내는 지리학적 연구에 주로 많이 쓰였다. 거칠기 맵의 중요성이 컴퓨터 그래픽스에서 중요하나 지금까지 거칠기 맵 만을 사진에서 가져오는 것을 다룬 연구가 그래픽스관련 분야에서 이루어진 기존 논문은 없었다. 기존 연구에서 크게 다뤄지지 않은 새로운 방향으로 연구를 진행하였고, 가장 유사한 연구로는 램버시안 모델의 빛 반사를 이용하여 사진에서 빛 반사율을 구한 연구가 있었다. Roughness가 변화하는 재질의 경우 reflection 결과에 roughness 가 반영이 되기에 결과 이미지는 reflection map을 roughness map으로 활용을 해도 거칠기로 보여져도 시각적으로는 큰 불편함을 주지 않으므로 본 연구에서 제안하는 블린-퐁 모델과의 렌더링 결과를 비교해보았다. 그러나 재질의 거칠기 자체만을 구하는 데는 블린-퐁 모델이 훨씬 적합했다. 또한 Lambertian 모델은 roughness가 높은 것 (glossy하지 않은 것) 을 가정하기에, roughness의 변화를 보는 것은 적합하지 않았다. 결국 빛 반사는 표면이 얼마나 거친지 매끄러운지에 따라 시각적 느낌이 달라지는 것이 원인이라는 전제하에 표면의 거칠기에 중점을 둬서 사진 한 장에서 거칠기를 구하고 다시 3차원 렌더링에 적용해보았다. Blinn-Phong 모델에서 착안하여, 경사도를 분석하여 표면 법선을 계산한 후 한 장의 사진에서 표면의 거칠기를 계산할 수 있었다. 결과적으로 한 장의 사진에서 추출한 거칠기 맵은 표면 특성을 강조하여 보다 사실적인 렌더링의 품질과 재질을 더 정확하게 표현할 수 있었다. 본 논문에서는 이러한 빛 반사와 상호작용하는 표면의 거칠기를 구하는 방법을 제안하고 단 한 장의 사진에서 구한 표면의 거칠기를 3차원 렌더링으로 시뮬레이션 하여 더 사실적인 렌더링 방법을 구현해보았다.;Inverse rendering is crucial in achieving realistic rendering in computer graphics, which is the process of estimating properties such as colour, texture, and lighting from directly taken photographs. However, current inverse rendering algorithms face significant constraints and limitations in conditions with insufficient data. The inverse rendering algorithm requires information to estimate features, namely texture, colour, and surface roughness. On the other hand, it becomes challenging with restrictions on commercially usable image information. Recent research attempts to implement inverse rendering in light reflection models in computer graphics (Cool, R, L., & Torrance, K. E, 1982). Approaches are pursued to achieve single-direction inverse rendering in multi-dispersed capacities, such as deep inverse rendering (Dong, Y., Pellacini et al., 2015); however, without sufficient data available, this inherently carries the risk of fabricating distorted results. The predicament of the existing modality is the requirement for a myriad of photographic scenes, and it inconveniences photographers needing to take actual photos and graphic artists working on rendering tasks. Therefore, this paper presents a simple rendering and inverse rendering model requiring only a single picture. In 3-dimensional graphics rendering, the roughness of the surface and lighting are crucial for visuality to create a realistic appearance. There is an intricate relationship between surface roughness and light reflection, whereas the direction and intensity of the lighting vary based on the surface roughness. As such, this variability affects the shape, fingerprints, traces of usage of the item and how it appears to the human eye, making it essential for realistic rendering in computer graphics used in movies and games. This study focuses explicitly on extracting surface roughness information from real photographs for roughness rendering, smudge rendering, and realistic rendering areas that have recently gained attention in the movie and game industries and computer graphics. This approach garners interest as it can acquire increased realistic rendering by capturing real-world imperfections like wrinkles, tree rings, palm lines, scars, fingerprints and such, represented in a roughness map. Conventional computer graphics have often failed to create or decorate roughness maps with a naturalistic visual touch. In reality, no surface is completely smooth and clean; it can get dirty and show signs of wear and tear over time. This study aims to capture these real-world imperfections from actual objects or scenes to enhance realistic rendering. Previous studies on acquiring roughness information through actual photography were primarily used in urban engineering and geographic studies representing geological features in GIS. Despite the importance of roughness maps in computer graphics, previous research has yet to address the specific extraction of roughness maps from pictures. This study explores a new direction largely untouched by prior research, and the most similar existing study involved obtaining light reflectance from pictures using the Lambertian model's light reflection. Materials with variable roughness affect the reflection result, so using a reflection map as a roughness map did not significantly impair the visual output. The rendering results were compared to the Blinn-Phong model suggested in this study. However, this study shows that the Blinn-Phong model is more suitable for isolating the material's roughness. In addition, the Lamtertian model assumes high roughness(non-glossy surfaces), and it was not optimal for observing changes in the roughness. While the lamberitan model provides a simpler and computationally efficient way to simulate light reflection, the Blinn-Phong model offers a more accurate representation of light interactions with microfacet structures. The choice between these models depends on the desired level of realism and computational resources available. Ultimately, this paper focuses on the premise that the visual effect of light reflection changes based on the roughness and smoothness of the surface. It focuses on the surface roughness by finding the roughness from a single picture and reapplying it to 3-dimensional rendering. This approach allows for the calculation of a roughness map from a single image by analyzing the gradients to derive surface normal and applying the Blinn-Phong model. The resulting roughness map highlights the surface characteristics, which can enhance rendering realism and texture analysis accuracy. This paper proposes a method to determine surface roughness from light reflection and interaction and applies surface roughness information from a single picture to simulate 3-dimensional rendering to achieve greater realistic rendering quality.