Evaluation of Visual Pleasantness-unpleasantness in Urban Streetscapes through Image-based Micro-scale Environmental Components Detection

Abstract

불쾌한 도시 환경은 신체 활동을 방해하지만, 쾌적한 환경을 조성하면 신체적, 정신적 건강을 향상시킬 수 있다. 비용 효율적으로 수정할 수 있는 미시적 환경요소는 걷기에 큰 영향을 미칠 수 있다. 그러나 도시 환경의 미시적 환경요소를 넓은 범위에 걸쳐 측정하는 것은 시간과 노동력이 많이 소요되며, 미시적 환경요소 수정의 효과는 객관적으로 평가하기가 어렵다. 본 논문에서는 컴퓨터 비전을 통해 자동으로 감지된 미시적 환경요소를 기반으로 거리 풍경 이미지에 대한 보행자의 시각적 쾌적함과 불쾌함을 예측하고 각 구성요소의 영향을 평가하는 프레임워크를 제안하고 구현하였다. 본 연구에서 제안하고 구현한 프레임워크는 요소 및 재질 감지 모델, 쾌적함-불쾌함 예측 모델, 중요 쾌적/불쾌 요소 식별 모델의 세 가지 하위 모델로 구성된다. 프레임워크 구현에 앞서 보행자가 쾌적함이나 불쾌함을 느끼는 미시적 환경요소에 대한 조사 결과 16,200건과 거리경관 이미지에 대한 쾌적함-불쾌함 평가 라벨 데이터셋 250,000건을 수집하였다. 사전 연구와 (1)요소 및 재질 감지 모델 결과를 통해 컴퓨터 비전을 활용한 미시적 환경요소 검출은 물리적 감사 방법을 대체할 수 있음을 F1 score=0.946으로 확인하였다. 쾌적함-불쾌함 라벨 데이터셋과 컴퓨터 비전을 이용하여 나열된 미시적 환경요소를 기반으로 보행자의 시각적 쾌적함과 불쾌함을 (2)쾌적함-불쾌함 예측 모델로 학습 및 예측한 결과, 쾌적함에 대해서는 80.9%, 불쾌함에 대해서는 74.3%의 높은 분류 정확도를 보였다. (3)중요 쾌적/불쾌 요소 식별 모델을 통한 SHAP 분석 결과, 도로(예: 도로, 자전거 도로, 연석), 차량(예: 자동차, 버스, 트럭), 물체(예: 기둥, 신호등), 자연(예: 녹지, 나무, 물)의 유무와 보도, 울타리, 벤치의 재질이 쾌적함-불쾌함 분류 예측에 유의미한 영향을 미치는 것으로 확인되었다. 보도, 울타리, 벤치의 경우 다른 재료보다 목재로 이루어졌을 때 쾌적성을 높이거나 보행자의 불쾌감을 감소시킬 수 있음을 확인했다. 또한, 같은 미시적 환경요소일지라도 조합에 따라 시각적 쾌적함-불쾌함에 다른 영향을 줄 수 있음을 확인했다. 본 연구는 도시 환경의 시각적 쾌적함-불쾌함을 자동으로 평가하는 방법을 제안함으로써 도시 환경 평가 연구에 기여하며, 미시적 환경요소를 통한 거리 차원의 실질적인 보행환경 개선에 도움이 될 것으로 기대된다. 특히, 본 연구의 결과는 미시적 환경요소뿐만 아니라 요소의 재질 및 조합까지 모두 고려했다는 점에서 거리 풍경 이미지의 시각적 평가에 대한 풍부한 이해를 제공한다. 또한, 미시적 환경요소 및 재료에 대한 추가적인 이미지 데이터셋과 개선된 거리 풍경 이미지를 생성하는 통합 프레임워크를 통해 하위모델의 정확도를 향상시킴으로써 본 연구의 결과의 활용도를 더욱 확장할 수 있을 것으로 기대된다.;The unpleasant urban environment often discourages physical activity, and creating a pleasant environment can improve physical and mental health. Micro-scale environmental components that can be modified cost-effectively significantly impact walking. However, measuring micro-scale components of the urban environment over a wide range is time- and labor-consuming, and it is difficult to evaluate the effects of modifying micro-scale components objectively. This research proposes and implements a framework that contributes to evaluating and improving the urban environment to predict pedestrians’ visual pleasantness and unpleasantness of urban streetscape images based on micro-scale environmental components automatically listed through computer vision detection and to assess each component’s impact. The framework proposed and implemented in this research consists of three sub-models: the components and materials detection model, the pleasantness-unpleasantness prediction model, and the key component identification model. Before implementing the framework, 81 responses to 200 streetscape images were collected, resulting in 16,200 survey results on pleasant and unpleasant micro-scale environmental components. The components and materials detection model confirmed that detecting micro-scale components using computer vision could somewhat replace physical audit methods with an overall 0.946 F1 score. For the pleasantness-unpleasantness prediction model, 50 responses to 5000 streetscape images were collected to construct a 250,000 pleasantness-unpleasantness dataset for streetscape images. As a result of predicting pleasantness-unpleasantness labels based on the detected micro-scale components, material, and combination, the results showed an inference accuracy of up to 80.9% for pleasantness and 74.3% for unpleasantness. Through the key component identification model, it was identified that the presence or absence of flat (e.g., roads, bike lanes, curbs), vehicles (e.g., cars, buses, trucks), objects (e.g., poles, traffic lights), and nature (e.g., green, trees, water space) and the materials of sidewalks, fences, and benches had a significant impact on the possibility of being predicted as pleasantness or unpleasantness. It was also identified that wooden sidewalks, fences, and benches can increase pleasantness or decrease unpleasantness rather than other materials. Additionally, it has been identified that the same component can have different effects on pleasantness and unpleasantness depending on the combinations. This research contributes to urban environment evaluation research by proposing a method to automatically evaluate the pleasantness-unpleasantness of the streetscapes. The results of this research are expected to help practically improve the urban environment at the street level by adding, removing, and changing micro-scale environmental components. In particular, this research provides a rich understanding of the visual evaluation of streetscape images in that not only the micro-scale environmental components but also the material and combination of the components are considered. In addition, the utilization of the results of this research can be extended by improving the accuracy of the sub-models through additional image datasets for components and materials and an integrated framework that generates improved urban environment images.