A Proposal for Progressive Detailing Generative Design for Text-to-Image Co-Creation: Integrating the Hand Drawing Process

Abstract

The emergence of generative artificial intelligence has significantly impacted the process of visual art creation. Text-to-Image (TTI) generative models, a key development in this field, facilitate the transformation of textual descriptions into high-quality images. Despite their technological capabilities, these models function in an end-to-end manner, which limits user intervention in the intermediate stages of image generation. This approach does not fully address the progressive and iterative nature of human creativity, where ideas progressively evolve from rough outlines to detailed images. Recognizing this limitation, our study proposes a new approach to TTI generative models, termed Progressive Detailing Generative Design (PDGD). This approach respects the natural progression of the creative process by progressively revealing image details based on user input and maintaining ambiguity in unspecified areas. This approach promises a more intuitive and engaging creative process for generative design. The study involved 141 participants with backgrounds or interests in visual art and design. We conducted a 7-point Likert scale survey and a qualitative usability test, employing a within-subjects approach for both assessments. During these evaluations, participants interacted with both the DrawFlow system and a baseline system, each equipped with specific scenario settings. We gathered participant responses regarding three research hypotheses: perception of progressive output, collaborative experience, and final image satisfaction. To assess these hypotheses, we analyzed participant feedback across eight dimensions: intuitiveness, visualization, incubation, control, enjoyment, expressiveness, worth, and alignment. The results demonstrated a significant preference for the DrawFlow system across all evaluated dimensions. Both quantitative and qualitative results emphasized the effectiveness of the PDGD approach in aligning with the natural progression of human drawing. Participants reported increased control, enhanced expressiveness, and increased enjoyment of their collaborative experience with the DrawFlow system. These findings were statistically significant, highlighting the PDGD approach's effectiveness in facilitating a more intuitive, controlled, and satisfying creative experience. However, areas for improvement were noted, particularly in managing the initial user experience to ensure a better understanding of the logic behind the PDGD approach, and enhancing the representation of ambiguity in the system's outputs. Additionally, reducing user cognitive load and balancing human-AI interactions to avoid disrupting the creative flow were identified as crucial considerations. The study contributes valuable insights into the potential of the PDGD approach within TTI generative models. This approach effectively bridges the gap between generative AI capabilities and human creative processes, providing a model that aligns more closely with how humans create visual art. However, it is essential to acknowledge the study's limitations, including a lack of participant diversity, the potential influence of specific scenarios and image types on participant responses, and limited exploration of this approach's adaptability to other generative model types. Future research should build upon these findings by expanding the use of the PDGD approach in diverse creative contexts and investigating its applicability to different types of generative models.;생성형 인공지능의 발전은 시각 예술 창작을 혁신적으로 변화시켰다. 이 분야의 주요 발전 중 하나인 텍스트-투-이미지(TTI) 생성 모델은 텍스트 설명을 고품질의 이미지로 전환하는 능력을 제공하지만, 현재의 TTI 생성 모델은 그 작동이 종단 간(end-to-end) 방식으로 이루어져, 이미지 생성 과정 중간에 사용자의 개입을 제한하는 한계를 가지고 있다. 이는 아이디어가 대략적인 윤곽에서부터 세밀한 이미지로 점진적으로 발전하는 인간 창의성의 본질을 충분히 반영하지 못한다. 본 연구에서는 이러한 한계를 극복하기 위해 TTI 생성 모델에 '점진적 상세화 생성 디자인(Progressive Detailing Generative Design)'이라는 새로운 방법을 제안한다. 이 방법은 창의적 과정의 자연스러운 진행을 존중하여, 사용자의 입력에 따라 이미지의 세부 사항을 단계적으로 드러내고, 구체적으로 명시되지 않은 부분에는 의도적으로 모호성을 유지하도록 설계되었다. 이러한 접근법은 생성 디자인 과정을 보다 직관적이고 참여적으로 만들어, 사용자들에게 새로운 창의적 경험을 제공한다. 본 연구에는 시각 예술 및 디자인에 관심이 있는 141명의 참가자들이 참여하였다. 7점 리커트 척도 설문조사와 질적 사용성 테스트를 실행했으며, 두 평가에서 모두 참가자 내 설계 방식(within-subject design)을 사용하였다. 이러한 평가 과정에서 참가자들은 시나리오 설정에 따라 DrawFlow 시스템과 기본 시스템을 모두 사용하였다. 참가자들의 응답을 통해 점진적 상세화 생성 디자인 과정에 대한 인식, 협업 경험, 그리고 최종 이미지 결과에 대한 만족도에 관한 세 가지 연구 가설을 검증하였다. 이를 위해 직관성, 시각화, 창의력 부화, 제어력, 즐거움, 표현력, 가치, 그리고 일치성 등 8가지 주요 평가 지표를 사용하여 참가자들의 응답을 면밀히 분석하였다. 본 연구에서 평가된 모든 항목에 대해 참가자들은 DrawFlow 시스템을 선호하는 것으로 나타났다. 양적 및 질적 분석 결과는 인간의 창의적 과정과 자연스럽게 연결되는 점진적 상세화 생성 디자인의 효과성을 입증하였다. 참가자들은 DrawFlow 시스템을 사용하며 제어력, 표현력, 그리고 즐거움의 증가를 경험하였다. 이러한 결과들은 점진적 상세화 생성 디자인이 사용자에게 보다 직관적이고 제어 가능하며 만족스러운 창의적 경험을 제공한다는 점을 강조한다. 하지만 점진적 상세화 생성 디자인의 논리를 이해하는 초기 사용자 경험의 개선 필요성, 이미지 출력에서의 모호함 표현 강화와 같은 개선점도 확인되었다. 이와 함께 사용자의 창의적 흐름을 저해하지 않는 인공지능의 상호작용 방식의 개선도 필요하다. 본 연구는 TTI 생성 모델 내에서 점진적 상세화 생성 디자인 방법의 효과성을 검증하였다. 이 접근법은 TTI 생성 모델의 기능을 인간의 창의적 과정과의 깊은 연관성을 고려하여 확장한 새로운 모델을 제시한다. 그러나 본 연구는 몇 가지 한계를 가지고 있다. 첫째, 참가자의 다양성 부족과 특정 시나리오 및 이미지 유형이 연구 결과에 영향을 미칠 수 있다는 점을 고려해야 한다. 둘째, 이 방법을 다양한 유형의 생성 모델에 적용하는 가능성에 대한 연구가 제한적이다. 따라서 향후 연구에서는 점진적 상세화 생성 디자인을 다양한 창의적 맥락과 다른 생성 모델 유형에 적용하여 그 효과와 범용성을 더욱 깊이 있게 탐구할 필요가 있다.