Teleoperation with Haptic and Visual Display for Tip-force Sensing, Tendon-driven Active Needles

Abstract

Robot-assisted surgery offers numerous benefits, but in teleoperation, there is a lack of haptic feedback. Surgeons usually rely on haptic feedback during minimally invasive surgery. In traditional surgery, surgeons directly feel reaction forces from the tissue through manual instruments, but teleoperation lacks this feedback. Haptic feedback can help users better perceive the change in mechanical properties of tissue during needle insertion, such as in biopsies and brachytherapy. Previous studies have explored conveying haptic information through visual, auditory, and vibration feedback based on passive needle force data. However, passive needles are limited in steering and position adjustments. Furthermore, the axial base force, as conveyed to the user through haptic feedback, represents the resultant force from the tissue, rather than the actual force at the needle tip. While active needles, with improved steerability and tip force sensing, have been proposed, they currently lack suitable user interfaces and effective haptic displays. This study introduces a teleoperation system with a tip force-sensing active needle, enhancing needle tip control and providing haptic feedback via electrical stimulation. The system was evaluated through usability tests, demonstrating its effectiveness in surgery. Key contributions include the development of a force-sensing teleoperation system, the implementation of electrical stimulation for haptic feedback, and the recommendation for future research to focus on tip force feedback. User experiments evaluated the impact of electrical stimulation haptics on needle manipulation in single and multi-layer tissues. In one participant's results, haptic feedback significantly improved task performance in multi-layer tissues by enhancing boundary perception and maneuverability. Accuracy improved by approximately 65%, and task time was reduced by about 8%. In single tissues, accuracy improved by 56%, although task time increased slightly due to confusion from base force feedback. Similar trends were observed in experiments with three participants, showing that haptic feedback consistently enhances performance, particularly in multi-layer tissues. The challenges in marker tracking have been recognized, and future research proposes the integration of Elasto-Magnetic (EM) sensors for more accurate pose tracking. Furthermore, future research proposes substituting base force with tip force for haptic feedback, enhancing tactile perception at the needle tip. This approach aims to enhance understanding of needle-tissue interaction and improve robotic-assisted surgical procedures. This study highlights the potential of active needles and electrical stimulation haptic feedback in teleoperation systems, providing a foundation for future advancements and applications in robotic-assisted surgeries.;로봇 보조 수술은 수술 과정에서 많은 이점을 제공하지만, 원격 조작 시 촉각 피드백이 부족하다. 외과의는 최소 침습 수술 동안 일반적으로 촉각 피드백에 의존하는 경향이 있다. 전통적인 수술에서는 외과의가 수동 도구를 통해 조직으로부터의 반력을 직접 느낄 수 있지만, 원격 조작에서는 이러한 촉각 피드백이 부족하다. 촉각 피드백은 생검 및 근접 치료와 같은 바늘 삽입 과정에서 조직의 기계적 특성 변화를 사용자에게 더 잘 인식하도록 도울 수 있다. 이전 연구에서는 수동 바늘 힘 데이터를 기반으로 시각적, 청각적, 진동 피드백을 통해 촉각 정보를 전달하는 방법이 연구되어 왔다. 그러나 수동 바늘은 방향 및 위치 조정에 제한이 있다. 또한, 촉각 정보로 사용한 축 방향의 힘은 실제 바늘 팁에서의 힘이 아닌 조직으로부터의 결과적인 힘의 합력을 반영한다. 따라서, 더 나은 조향 능력과 바늘 팁에서의 힘 감지가 가능한 능동형 바늘(active needle)이 제안되었으나, 적절한 사용자 인터페이스와 효과적인 촉각 피드백 디스플레이에 대한 연구가 진행되지 않아 임상 적용에 어려움이 있었다. 이 연구는 팁 힘 감지 조정 바늘을 사용하는 원격 조작 시스템을 도입하여 바늘 팁 제어를 향상하고 전기 자극을 통한 촉각 피드백을 제공한다. 시스템은 사용자 작업 수행 능력 테스트를 통해 평가되었으며, 촉각 피드백의 효과를 보였다. 따라서, 본 연구는 힘 감지 원격 조작 시스템 개발, 전기 자극을 이용한 촉각 피드백 제공, 향후 연구에서 팁 힘 피드백에 중점을 둘 것을 제안하며 사용자 평가 실험에 대한 가능성을 열었다. 사용자 실험에서는 단일 및 다층 조직에서 전기 자극 촉각이 바늘 조작에 미치는 영향을 평가했다. 한 피험자의 결과에서, 촉각 피드백은 다층 조직에서 경계 인식 및 조작 능력을 향상시켜 작업 성능을 크게 개선함을 보였다. 목표 지점까지의 정확도는 약 65% 향상되었고, 작업 시간은 약 8% 단축되었다. 단일 조직에서는 정확도가 56% 향상되었으나, 팁을 조향하며 발생한 힘에 의한 햅틱 피드백이 생겨 혼란으로 작업 시간이 약간 증가했다. 세 명의 참가자를 대상으로 한 실험에서도 유사한 경향이 관찰되어 촉각 피드백이 특히 다층 조직에서 성능을 일관되게 향상시킴을 보여주었다. 마커 추적에 대한 문제점이 인지되었으며, 향후 연구에서는 보다 정확한 바늘 팁 위치의 추적을 위해 EM(Elasto-Magnetic)센서를 통합하고, 촉각 피드백의 향상을 위해 팁 힘 피드백을 사용할 것을 제안한다. 이 연구는 원격 조작 시스템에서 능동 바늘과 전기 자극 촉각 피드백의 잠재력을 강조하며, 로봇 보조 수술에서의 향후 발전과 응용을 위한 기초를 마련한다.