https://dspace.ewha.ac.kr/handle/2015.oak/171470 Sat, 04 Apr 2026 15:18:19 GMT 2026-04-04T15:18:19Z https://dspace.ewha.ac.kr/handle/2015.oak/274121 Title: Reliable and Adaptive Robustness Transfer for Vision Models Ewha Authors: Park, Hyejin Abstract: Deep neural networks have achieved remarkable progress in computer vision, yet their susceptibility to adversarial perturbations remains a major obstacle to deploying robust models in resource-constrained environments. Adversarial training (AT) provides the strongest known defense, but its effectiveness scales tightly with model capacity, limiting its practicality for lightweight architectures. Adversarial distillation (AD) offers a compelling alternative by transferring robustness from high-capacity teachers to compact students; however, existing AD frameworks exhibit structural limitations that fundamentally restrict the reliability of robustness transfer. This dissertation shows that these limitations stem from several intertwined factors: the inherent clean–adversarial optimization tension that destabilizes student learning; distributional divergence caused by the static-teacher assumption, which leaves the teacher increasingly inaccurate on student-generated adversarial examples; the propagation of teacher misclassifications, which injects erroneous supervisory signals into the student; and the capacity-induced discrepancy that produces overly sharp, difficult-to-learn soft labels. Taken together, these issues highlight that effective adversarial distillation requires not only robust teachers, but also reliable supervisory signals and adaptive teacher–student alignment—capabilities largely absent in existing methods. To address these gaps, this dissertation proposes two complementary frameworks. Dynamic Guidance Adversarial Distillation (DGAD) enhances supervisory reliability by detecting and correcting teacher errors through misclassification-aware sample partitioning, error-corrective label refinement, and predictive consistency regularization. Student-Guided Teacher Adaptation for Adversarial Distillation (SGTA-AD) resolves temporal teacher–student misalignment through controlled, parameter-efficient teacher updates using Low-Rank Adaptation (LoRA) coupled with a student-guided regularization mechanism that calibrates the teacher precisely where the student struggles. Together, these approaches strengthen both the quality and the adaptability of knowledge transferred during adversarial distillation. Extensive experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet demonstrate that each proposed framework consistently outperforms prior AD methods in both clean accuracy and adversarial robustness, validating the central importance of supervision reliability and adaptive teacher–student alignment for effective robustness transfer. Beyond empirical improvements, the findings of this dissertation offer a broader conceptual perspective: adversarial robustness need not rely exclusively on large, computationally intensive models, but can instead emerge from principled reliability correction and carefully controlled adaptive alignment. This insight establishes a foundation for scalable and theoretically grounded robustness transfer, opening new directions in adaptive adversarial learning, dynamic teacher–student interaction, and the development of trustworthy AI systems suitable for real-world deployment.;딥러닝 기반 시각 모델은 다양한 응용 분야에서 뛰어난 성능을 보이고 있으나, 적대적 교란(adversarial perturbation)에 취약하다는 근본적 한계를 지닌다. 대규모 모델을 대상으로 한 적대적 학습(adversarial training, AT)은 가장 효과적인 방어 기법으로 알려져 있으나, 그 성능이 모델 용량과 계산 비용에 강하게 의존하기 때문에 경량 네트워크에는 실질적으로 적용하기 어렵다. 이를 보완하기 위한 접근으로, 고용량의 강인한 교사 모델에서 경량 학생 모델로 강인성을 전이하는 적대적 지식 증류(adversarial distillation, AD)가 제안되어 왔지만, 기존 기법에는 구조적 한계가 존재하여 강인성 전이의 신뢰성과 효과를 제약한다. 본 논문은 이러한 한계가 여러 요인이 상호 복합적으로 작용한 결과임을 규명한다. 학생 모델이 원본 데이터와 적대적 예제 간의 상충적 목표(clean–adversarial trade-off)로 인해 학습이 불안정해지고, 정적으로 고정된 교사 모델은 시간이 지남에 따라 학생이 생성하는 적대적 예제를 제대로 반영하지 못해 분포적 괴리(distributional misalignment)가 발생한다. 또한 교사의 오분류가 별도의 보정 없이 감독 신호로 사용되면서 오류가 학생으로 누적적으로 전파되며, 교사–학생 간 용량 차이는 지나치게 예리하고(sharp) 과신된 로짓을 만들어 학생의 학습 가능성을 제한한다. 이러한 구조적 문제는 기존 AD 접근법이 신뢰할 수 있는 감독(supervision)과 동적인 교사–학생 정렬(adaptive alignment)을 충분히 구현하지 못함을 의미한다. 이 문제를 해결하기 위해 본 논문은 신뢰성 향상과 적응적 정렬이라는 두 축을 중심으로 한 새로운 적대적 지식 증류 방법론을 제안한다. 먼저 Dynamic Guidance Adversarial Distillation (DGAD)은 교사 모델의 오분류를 탐지하고 수정하는 메커니즘을 도입하여 감독 신호의 신뢰성을 높인다. Misclassification-aware partitioning, 오류 수정 기반의 label refinement, 그리고 예측 일관성 규제는 교사의 잘못된 신호가 학생에게 전파되는 문제를 줄이고 원본–적대적 성능 간 균형을 안정화한다. 또한 Student-Guided Teacher Adaptation for Adversarial Distillation (SGTA-AD)은 학생이 생성하는 적대적 분포가 시간에 따라 변화한다는 점에 착안하여, 교사 모델이 부분적으로 이를 따라 적응하도록 설계되었다. 이를 위해 LoRA 기반의 저랭크 파라미터만을 미세 조정하고, 학생–교사 간 불일치가 큰 영역에서만 교사를 보정하는 student-guided regularization을 적용함으로써 과도한 교사 강화(over-specialization)를 방지하면서도 교사의 강인성은 유지하도록 하였다. CIFAR-10, CIFAR-100, Tiny-ImageNet에 대한 광범위한 실험에서 제안된 방법들은 기존 AD 기법보다 우수한 원본 정확도와 적대적 강인성을 지속적으로 달성하였다. 이는 강인성 전이를 효과적으로 이루기 위해서는 단순한 감독 신호의 전달을 넘어, 교사 신뢰성의 향상과 교사–학생 간의 시간적 정렬이 필수적임을 실증적으로 보여준다. 본 논문의 기여는 경험적 성과를 넘어 개념적 전환을 제시한다. 즉, 강인성은 반드시 대규모 모델과 고비용 학습에 의존해야 하는 것이 아니라, 오류 보정과 적응적 정렬을 기반으로 한 구조적 접근을 통해서도 충분히 구축될 수 있다. 이러한 관점은 경량 모델을 위한 적응형 적대적 학습, 동적 교사–학생 상호작용, 그리고 실제 환경에서 신뢰 가능한 AI 시스템 배치를 위한 새로운 연구 방향을 제시한다. Thu, 01 Jan 2026 00:00:00 GMT https://dspace.ewha.ac.kr/handle/2015.oak/274121 2026-01-01T00:00:00Z https://dspace.ewha.ac.kr/handle/2015.oak/265774 Title: FANET 환경에서 UAV 이미지 정보 보호를 위한 시각 암호화 및 블록체인 기반 합의 메커니즘 Ewha Authors: 양단아 Abstract: FANET을 활용한 무인 항공 시스템(UAS, Unmanned Aerial System)은 다양한 어플리케이션에 사용되고 있으며, 드론과 같은 UAV(Unmanned Aerial Vehicle)의 사용이 증가함에 따라 보안 문제가 더욱 강조되고 있다. 통신 링크는 UAS의 핵심 구성 요소이며 이를 위해 기본적으로 인증 및 기밀성을 보장하는 보안 채널을 제공하는 것이 필수적이다. 그러나 UAV는 자원이 제약적이며 이러한 장치의 제약 조건을 고려하지 않고 개발된 기성 보안 솔루션은 그대로 적용할 수 없다. 또한 인증 및 기밀성을 포함한 새로운 보안 전략이 필요한 실정이며 이에 따라 데이터를 보호하는 필수 요소로서 데이터 무결성은 FANET 도메인에서 가장 보장해야 하는 보안 요건 중 하나이다. 따라서 본 논문에서는 먼저 FANET환경의 특징과 이에 따른 보안 취약점에 관하여 논의한 후, 기존 보안 솔루션을 소개하고 이에 대한 문제점을 극복하기 위한 보안 시스템 시나리오 및 아키텍쳐를 설명한다. 제안하는 보안 시스템의 최종 목적은 빠른 토폴로지 변화, 오픈 네트워크 환경과 저전력·저연산량을 요구하는 UAV특징을 고려하며 UAV가 다루는 이미지 데이터에 초점을 맞추어 적합한 보안 솔루션을 제공하는 것이다. 이를 위해 시각 암호화 기법을 활용한 인증 및 이미지 보안 메커니즘을 제안한다. 이는 경량형 UAV를 고려하여 여러 보안 솔루션을 제시하는 것이 아닌 하나의 강화된 시각 암호화 알고리즘을 적용하여 인증부터 데이터 보호까지 보장하는 메커니즘이다. 특히 고속으로 이동하는 UAV로 구성된 FANET환경에서 인증 메시지 단계를 최소화하고 오픈 되어 있는 사이버 위협에 대하여 탄력적으로 대응할 수 있도록 한다. 이를 검증하기 위해 실제 UAV와 유사한 라즈베리파이를 활용하여 기존 논문과는 다르게 실제 구현한 메커니즘을 기반으로 시뮬레이션을 진행하였다. 또한 Jamming 공격 등에 대응하는지 알아보기 위해 배경 부분이나 메시지 부분에 노이즈를 삽입하여 실험한 결과 충분히 인증하는 것을 검증할 수 있었으며 실제 FANET 환경에 적용하여도 충분히 발생할 수 있는 공격에 사람의 개입없이 대응할 수 있음을 기대할 수 있다. 더 나아가 FANET과 같은 오픈 환경에서 데이터 공유는 여러 위험에 노출되어 있기 때문에 데이터 무결성 보장이 어렵다. 따라서 데이터 수집 계층과 노드 관리 계층으로 나누어 각 계층에 적합한 블록체인 플랫폼을 적용하고자 한다. 구체적으로 데이터 수집 계층에서는 UAV 통신 세기, 연산량 등을 고려하여 합의에 참여시키는 선택적 합의 알고리즘을 적용하여 블록체인을 유지한다. 이때 실제 환경에서 빈번하게 발생하는 도청을 고려하여 정상 채널의 보안 용량을 고려하므로 기존 합의 알고리즘과 달리 비교하여 더 안전한 합의를 도출할 수 있다. 노드 관리 계층에서는 비교적 안정적인 통신은 가능하지만 네트워크 부담을 줄이기 위해 셀 기반의 Raft 알고리즘을 적용하며 최고의 성능을 도출하기 위해 연합 학습 기법으로 최적화된 셀 값을 찾는 메커니즘을 제안하고자 한다.;The rapid development of wireless communication in various fields is contributing to the realization of advanced aviation and military systems. As drones have become popular, application services provided by many companies have formed a Flying Ad Hoc Network (FANET) in which multiple drones work in groups rather than individually operating. Drones are a representative model of the Unmanned Aerial Vehicle(UAV) that constitutes FANET and are considered as a research target to overcome the current limitations of mobile communication technology. Accordingly, various FANET system models are being studied. However, FANET is heavily influenced by the open environment, so there are many problems to be solved for a reliable and stable FANET environment. Unmanned Aerial System (UAS) using FANET is adapted to a variety of applications and security issues are becoming more emphasized. Communication links are an important element of UASand a secure channel is essential to prevent potential attacks. However, resource-constraint devices like UAVs are difficult to perform traditional security solutions. In addition, new security strategies including basic authentication and confidentiality are needed and data integrity is the essential dimension of protecting data in the FANET domain. Therefore, this dissertation discusses the characteristics of the FANET environment and security vulnerabilities. Then this thesis introduces existing security solutions and explains security system scenarios and architectures to overcome the limitation of traditional solutions. The final purpose of the proposed security system is to provide a suitable security solution by focusing on the image data of the UAVs, considering UAV features that require rapid topology change, open network environmentand low power and low computation. This dissertation proposes authentication and image confidentiality using Visual Cryptography mechanism. This mechanism is guaranteed from authentication to data protection by applying only the Enhanced Visual Cryptography algorithm rather than presenting multiple security solutions. in the FANET environment consisting of high-speed UAVs, the authentication protocol stage is minimized and an open cyber threat can be flexibly responded. In open environments such as FANET, data sharing is difficult to ensure data integrity because it is exposed to various risks. Therefore, the FANET system is intended to apply a blockchain platform suitable for the data collection layer and the management layer. In the data collection layer, the blockchain is maintained by the Selective Consensus algorithm to participate in the UAVs having communication strength and computation capability. Whereas relatively stable communication is possible at the management layer, this thesis applies a Cell-based Raft(CBR) algorithm to reduce the network burden. The CBR is also a mechanism to find optimized cell size with federated learning to derive the best performance. In conclusion, this dissertation can provide an academic foundation for developing authentication and image encryption techniques considering UAV specifications and frequent attacks in real environments for reliable FANET environments. By improving the efficiency and performance of the existing FANET security to build and simulate the system similar to the actual environment. This dissertation shows a FANET security mechanism that guarantees higher performance than the current security algorithm. We propose a security mechanism by approaching the real problems closest to the security problems in the traditional FANETs. Sun, 01 Jan 2023 00:00:00 GMT https://dspace.ewha.ac.kr/handle/2015.oak/265774 2023-01-01T00:00:00Z https://dspace.ewha.ac.kr/handle/2015.oak/259074 Title: Code Relocation Method for Low Power Operation of Small-scale Embedded Systems Ewha Authors: 최하연 Abstract: 최근의 임베디드 시스템은 빠른 속도로 진행되고 있는 기술의 발전에 힘입어 스마트폰, 태블릿 PC 등의 모바일 디바이스, 스마트 워치와 같은 웨어러블 디바이스, 그리고 IoT 디바이스 등 사용자의 요구사항에 따라 다양한 형태로 등장하고 있다. 이러한 대부분의 시스템은 휴대성을 극대화하기 위해 소형으로 제작되는데, 이는 설계 시 배터리 의존적인 작동이 전제된다는 것을 의미한다. 한정적인 배터리 자원은 시스템의 지속성을 위협할 수 있으므로 저전력 구동은 중요하다. 따라서 본 논문에서는 기본 메모리 구조를 활용한 전력 관리 기법을 제안하고자 한다. 비휘발성 메모리와 휘발성 메모리로 구성된 기본 메모리 구조에서, 비휘발성 메모리는 많은 용량으로 대부분의 프로그램 코드가 적재되고 휘발성 메모리는 적은 용량임에도 불구하고 사용되는 용도에 따라 전력과 속도 대비 높은 효율을 보인다. 이러한 특성에 착안하여 제시된 코드 재배치 기법은 일반적인 프로그램과 다르게 코드를 휘발성 메모리에 적재하여 실행하는 기법을 말한다. 이는 저전력 시스템의 구현을 위해 별도의 하드웨어를 교체하지 않고 소프트웨어 수준에서의 관리가 가능하다는 것에 의의가 있다. 재배치 기법의 적용, 즉 휘발성 메모리의 특성에 기반하여 서로 다른 위치에 접근하는 코드를 비휘발성 메모리가 아닌 휘발성 메모리에 재배치하는 것은 기존의 프로그램이 수행될 때 소비하는 전력보다 적은 전력이 소모된다. 이는 기반 실험으로 확인되었으며, 본 논문에서는 단순히 재배치 기법을 제안하는 것뿐만 아니라 이를 확장하여 코드 재배치 기법의 효율에 직접적인 영향을 미치는 요인에 대한 분석을 진행하였다. 이를 기반으로 각 요인에 따른 단일 함수의 코드 재배치 기법의 정책을 고안하였고, 이때 적용되는 스코어링 모델을 제안하였다. 이 모델들의 주된 목적은 프로그램에서 효율적으로 임베디드 시스템을 저전력으로 구동하기 위해 프로그램을 기본 블록 (Basic Block)인 함수로 분할하고 이를 전력 감소 효율이 높은 순서로 예측하여 나열할 수 있다는 점에 의의가 있다. 이러한 모델은 용량의 제약이 존재하는 임베디드 시스템에서 코드 재배치의 효율을 극대화하기 위한 대상 함수를 선택하는 기준으로 사용될 수 있다. 해당 논문의 실험 환경에서 선택되는 대상 함수 (target function)에 따라 효율의 정도의 차이가 있으나, 최대 약 12%의 전력 감소 효율을 보였으며, 평균 3%의 전력 감소 효율을 보였다. 더 나아가 결론적으로 다중 함수 코드 재배치 기법의 정책으로의 확장을 위해 완전 탐색 알고리즘 (Brute Force Algorithm)을 사용하여 함수 간의 관계성을 분석한다. 그리고 이를 토대로 코드 재배치의 효과를 극대화하기 위한 대상 함수의 최적 조합을 제시한다. 최종적으로 제시된 코드 재배치 기반 전력 관리 기법은 기본 메모리 구조 기반으로 설계되었으므로 메모리, 나아가 임베디드 시스템의 전력을 효율적으로 관리하고 배터리의 성능을 최대로 활용할 수 있을 것이라고 기대된다. 특히나 탑재되는 운영체제와 관계없이 소프트웨어 수준의 수정 즉, 프로그램 코드의 수정을 통해 구현 가능하기 때문에 어떠한 시스템에서도 사용 가능하다는 확장성을 가진다는 점에서 의의가 있다. 또한, 향후 진행될 추가 연구를 통하여 현존하는 마이크로프로세서의 전력 관리 기법과 상호 보완적인 효과를 발휘할 수 있을 것이다. 특히나 소비하는 전력의 양을 줄이기 위해 하드웨어와 소프트웨어를 동시에 고려하여 설계할 수 있다는 점에서 다른 관련 연구의 기반 기술로 사용될 수 있을 것으로 보인다.;Owing to the rapid developments in associated technology, embedded systems are being employed in various applications, according to user requirements. Embedded systems are used in mobile devices such as smartphones and tablets, wearable devices such as smartwatches, and Internet of Things (IoT) devices. A majority of these systems are manufactured in small sizes to maximize their portability. However, such designs are often battery dependent, and as limited battery resources can threaten the system, a low power operation is crucial. To address this issue, this paper proposes a power management method that employs a basic memory structure consisting of non-volatile and volatile memory. Non-volatile memory has significant capacity, and it is loaded with most of the program code. Contrarily, volatile memory offers high efficiency relative to power and speed, despite its small capacity. The code relocation method proposed in this study is based on these characteristics and refers to a technique that loads and executes code in volatile memory, unlike typical programs. This enables management at the software level without replacing the hardware to implement a low power system. Lesser power is consumed when applying the relocation method, i.e., relocating code that assigns different locations to volatile memory rather than non-volatile memory based on the characteristics of volatile memory, as compared to a conventional program. This result was confirmed through experiments. In this study, the relocation method was proposed, and this method was extended to analyze factors that directly impact the efficiency of the code relocation method. This paper devises a policy for the single function code relocation method depending on each factor and proposes and applies scoring models. The main purpose of these models is to separate the program into functions, i.e., basic blocks, and to predict and list functions in descending order of the power reduction efficiency, thereby efficiently driving the embedded system at low power. In this regard, the models are meaningful and can be used as criteria for selecting target functions to maximize the efficiency of code relocation in an embedded system with capacity constraints. Although the degree of efficiency varies depending on the target function selected in the experimental environment, the maximum power reduction efficiency is about 12% and the average power reduction efficiency is 3%. Furthermore, to extend the policy of the multi-function code relocation method, a brute force algorithm is used to analyze the relationships between the functions. Based on this, an optimal combination of target functions is proposed to maximize the effect of code relocation. Wed, 01 Jan 2020 00:00:00 GMT https://dspace.ewha.ac.kr/handle/2015.oak/259074 2020-01-01T00:00:00Z https://dspace.ewha.ac.kr/handle/2015.oak/257937 Title: Versatile Encountered-type Haptics for Immersive VR Environments Using Collaborative Robot Ewha Authors: 김예솔 Abstract: Due to the surging interest in immersive virtual reality (VR), various types of haptic systems have been proposed and researched. Among the diverse form factors, the encountered-type haptic system provides free-to-touch and move-and-collide haptic sensation to a user while allowing natural interaction. According to the characteristics of the system that do not maintain contact with the user, the haptic manipulator’s reachability with respect to the user’s workspace needs to be considered for encountered-type haptic rendering. In addition, since the encountered-type haptic system allows a user to interact with virtual objects with one’s bare hand, the system needs a haptic rendering algorithm that provides both kinesthetic and tactile feedback. In this dissertation, an encountered-type haptic system that guarantees free and natural interaction while increasing the immersion to VR is introduced. To realize the research objective, a versatile haptic rendering method is proposed for representing various haptic forces and textures, active and passive haptic feedbacks, and haptic feedback for static and dynamic virtual objects. To provide encountered-type haptic feedback that renders various physical properties, a seven degrees of freedom (DoF) collaborative robot is used as a haptic manipulator, and a per-plane reachability map is proposed to check the reachability of a haptic manipulator. To enrich a VR experience by providing tactile feedback, a roughness synthesizing method for an encountered-type haptic display is proposed. For the robust haptic rendering, we also propose a contact prediction method to directly generate a haptic response by inferring the manipulator trajectory from the observation of human hand gestures. Firstly, the encountered-type haptic system using a manipulator of seven-DoF is introduced to haptically and visually simulate an indoor VR environment with static and dynamic virtual objects such as vertical walls and revolving doors. In runtime, our system tracks user hand motion, and the robotic manipulator plans a trajectory for the end-effector with a rigid rectangular board attached to make contact with the hand to deliver a sense of touch as long as the perceived hand contact force is substantial. The force feedback is generated in a passive sense for static objects by holding the position of the rigid board corresponding to a vertical wall. For the dynamic objects, the force feedback is generated in an active sense based on impedance control. In order to address the issue of limited workspace, we also propose a new reachability map, called per-plane reachability map, that is optimized to answer whether passive haptic feedback can be generated by a manipulator when the user touches a vertical wall at a given orientation. We successfully demonstrate our system to provide an illusion to the user in a virtual environment with a touch sensation to the surrounding environment. To provide cutaneous feedback along with kinesthetic feedback, inducing haptic-texture sensation without complicated tactile actuators is challenging for encountered-type haptic rendering. We propose a novel texture synthesizing method for an encountered-type haptic display using the spatial and temporal encoding of roughness, which provides both active and passive touch sensation requiring no complicated tactile actuation. Focused on macro-scale roughness perception, we geometrically model the textured surface with a grid of hemiellipsoidal bumps, which can provide a variety of perceived roughness as the user explores the surface with one’s bare hand. Our texture synthesis method is based on two important hypotheses. First, we assume that perceptual roughness can be spatially encoded along the radial direction of a textured surface with hemiellipsoidal bumps. Second, perceptual roughness temporally varies with the relative velocity of a scanning human hand with respect to the surface. To validate these hypotheses on our spatiotemporal encoding method, we performed psychophysical user tests and verified the main effects of spatiotemporal encoding of a textured model on the user’s roughness perception. Our empirical experiments imply that the users perceive a rougher texture as the surface orientation or the relative hand motion increases. Based on these findings, we show that our visuo-haptic system can synthesize an appropriate level of roughness corresponding to diverse visual textures by suitably choosing encoding values. To generate a robust haptic response instead of relying on a deterministic contact prediction algorithm in VR, an end-to-end haptic response generation method is required. Since the haptic rendering system highly depends on the deterministic contact prediction between the virtual object and the user’s hand, the failure of the contact prediction in VR leads to the failure of the entire haptic rendering system. We propose a learning from demonstrations method to predict the contact configuration solely by observing the human hand motion and no longer dependent on the conventional contact prediction approach, which uses ray shooting and projection in a VR environment. To generate the training data, which consists of human-robot interactions, we integrate three independent systems: a robot simulator, a VR environment, and a real-world tracking system. Then, we record the joint trajectories of the haptic manipulator simulated by the robot simulator and the cartesian trajectories of human fingertips and the center of the palm. The training data is represented within a basis function space and encoded as a probabilistic representation by learning from demonstrations. Using this probabilistic distribution as a prior, the system observes the partial trajectory of user hand motion and performs Bayesian filtering to infer the next hand motion and generate robot response. We successfully demonstrate the end-to-end encountered-type haptic response generation for VR users by referring only to the user’s hand gesture. The result shows that the hand motion of touching a virtual object is enough to infer the haptic response spatially and temporally.;몰입감 있는 가상현실(VR)에 대한 관심이 높아짐에 따라 다양한 유형의 햅틱 시스템이 제안 및 연구되고 있다. 다양한 햅틱 인터페이스의 폼팩터 중 조우형(Encountered-type) 햅틱 시스템은 사용자와의 불필요한 접촉을 유지하지 않고, 자유로운 터치와 움직임에 따른 충돌 역감을 제공하여 가상현실에서의 자연스러운 상호작용을 보장한다. 조우형 햅틱 시스템의 특성에 따라, 사용자의 작업 공간에 대한 햅틱 매니퓰레이터의 도달가능성(reachability)이 고려되어야 하며, 맨손으로 조우형 햅틱 피드백을 느끼는 사용자를 위해 운동 감각(Kinesthetic feedback)과 촉각(Tactile feedback)을 동시에 제공하는 햅틱 렌더링 알고리즘이 필요하다. 본 논문에서는 자유로운 상호작용을 보장하면서도 가상현실로의 몰입감을 증대시키는 조우형 햅틱 시스템을 소개한다. 연구 목적을 이루기 위해, 다양한 역감 및 질감, 능동적 및 수동적 햅틱 피드백, 정적 및 동적 가상 객체에 대한 햅틱 피드백을 제공하기위한 다목적 랜더링을 제안한다. 다양한 물리적 특성을 나타내는 조우형 햅틱 피드백을 제공하기 위해 7 자유도의 협동 로봇을 햅틱 햅틱 매니퓰레이터로 사용하였으며, 햅틱 매니퓰레이터의 도달가능성을 확인하기 위해 평면별 도달가능성 맵을 제안하였다. 또한, 촉감을 제공함으로써 풍부한 가상현실 경험을 제공하기 위해 조우형 햅틱 디스플레이를 위한 거칠기 합성 방법을 제안하였으며, 강경한 햅틱 랜더링을 위해 사용자의 손 움직임을 관찰하여 접촉 예상 지점을 추론하는 방법을 제안한다. 첫째로, 본 논문에서는 7 자유도의 협업 로봇을 햅틱 디바이스로 사용하여 수직인 벽과 회전하는 문 등의 정적 및 동적 가상 객체로 구성된 실내 VR 환경을 사용자에게 시각적, 촉각적으로 제공하기 위한 조우형 햅틱 시스템을 제안한다. 본 시스템은 사용자의 실시간 손 추적 데이터에 기반하여 직사각형의 단단한 보드가 부착된 로봇 말단의 궤적을 계획함으로써 사용자에게 가상 물체와의 접촉에 따른 역감을 전달한다. 정적 가상 물체의 경우, 사용자와 햅틱 디바이스의 접촉이 유지되는 동안 햅틱 디바이스가 가상 물체 표면에 해당되는 상태를 유지함으로써 역감을 전달한다. 동적 가상 물체의 경우 임피던스 기반으로 햅틱 디바이스를 제어하여 가상 물체를 이동시키는 역감을 전달한다. 또한, 제한된 작업 공간에 따른 문제를 다루기 위해 햅틱 매니퓰레이터의 평면 별 도달가능성 맵을 계산하여 사용자가 만지려고 하는 가상 객체의 각도에 따라 햅틱 피드백의 제공 가능성을 실시간으로 확인하는 방법을 제안한다. 새롭게 제안한 최적화된 평면 별 도달가능성 맵을 사용한 본 시스템은, 사용자 평가 실험을 통해 가상현실 참여자에게 몰입감 있는 가상현실 체험을 제공함을 확인하였다. 복잡한 촉각 제공 장치(tactile actuator)를 추가하지 않고 조우형 햅틱 랜더링을 통해 사용자에게 표면 질감 등의 촉감을 제공하는 것은 어려운 문제이다. 본 논문에서는 조우형 햅틱 디스플레이를 위한 새로운 질감 합성 방법으로 시공간적 거칠기 인코딩을 제안한다. 제안하는 방법은 사용자에게 능동적 터치 감각과 수동적 촉감을 모두 제공하며, 추가적인 촉각 제공장치를 필요로 하지 않는다. 본 연구에서는 거시적 거칠기 인식에 초점을 맞추어, 사용자가 맨손으로 표면을 탐색할 때, 표면을 만지는 방향과 속도에 따라 다양한 거칠기를 느낄 수 있도록 반 타원구 돌기를 이용하여 물체 표면을 기하학적으로 모델링한다. 제안하는 질감 합성 방법은 두 가지 중요한 가설을 기반으로 한다. 첫째, 사람이 인식하는 거칠기는 반 타원형 돌기로 구성된 표면의 방사 방향을 따라 공간적으로 인코딩 될 수 있다. 둘째, 사람이 인식하는 거칠기는 사람 손이 표면을 쓰다듬는 속도에 따라 다르다. 본 연구에서는 시공간적 거칠기 인코딩 방법에 대한 두 가설을 검증하기 위해 심리물리학적 사용자 평가 실험을 수행하였고, 질감 모델의 시공간적 거칠기 인코딩 방법이 사용자의 거칠기 인식에 미치는 주요 효과를 확인하였다. 또한, 본 연구의 경험적 실험을 통해, 사용자가 거칠기를 인코딩한 표면 물체를 쓰다듬는 방향과 각도가 증가할 수록 질감을 더 거칠게 인식한다는 것을 확인하였다. 사용자 평가 결과를 바탕으로, 거칠기 인코딩 인자를 적절하게 선택하여 다양한 시각적 질감에 해당하는 적절한 수준의 거칠기를 합성할 수 있음을 보였다. 가상현실에서의 결정론적 접촉 예측 알고리즘에 의존하지 않고 강경한 햅틱 반응을 생성하기 위해서는 종단간 햅틱 반응을 생성 방법이 필요하다. 햅틱 랜더링 시스템은 가상 객체와 사용자 손 사이의 결정론적 접촉 예측 방법에 크게 의존하기 때문에 가상현실에서의 접촉 예측의 실패는 전체 햅틱 랜더링 시스템의 실패로 이어진다. 본 논문에서는 광선 슈팅과 투사를 이용하여 접촉을 예측하는 기존 방법에 의존하지 않고, 사람 손의 움직임만을 관찰하여 접촉을 예측하는 모방학습 방법을 제안한다. 먼저, 훈련 데이터(training data)로 사용되는 인간-로봇 상호작용 시범 데이터를 생성하기 위해 로봇 시뮬레이터, 가상현실 환경, 실제 환경의 추적 시스템을 통합하여 훈련 데이터를 얻기 위한 환경을 구성하였다. 이후, 시뮬레이션을 통해 움직이는 매니퓰레이터의 관절 경로와 가상 물체와 상호작용하는 사람의 손가락 끝 점 및 손바닥의 중앙 지점의 경로를 기록하였다. 훈련 데이터는 모방학습을 통해 기저 함수 공간에서 확률 분포로 표현된다. 생성된 확률 분포를 사전분포로 사용하여 시스템 실행 시간에 관측한 사용자의 손 움직임에 따라 다음 사용자 손 움직임을 추론하고 로봇 반응을 생성하는 베이지안 필터링을 수행한다. 본 논문에서는 가상현실 참여자의 손 움직임만을 고려하여 종단간 햅틱 반응을 성공적으로 생성하는 것을 보였다. 본 연구의 결과를 통해 가상 물체를 만지기 위한 손의 동작을 통해 시공간적으로 적절한 햅틱 반을 추론할 수 있음을 확인하였다. Fri, 01 Jan 2021 00:00:00 GMT https://dspace.ewha.ac.kr/handle/2015.oak/257937 2021-01-01T00:00:00Z