It is a long-standing goal for many research to develop an interface system that allows humans and machines to interact in the way humans interact with each other. Nevertheless, compared to vision and audition, the sense of touch has been used very limitedly even though it is expected to improve a user's perceived veracity of the sensory experience much further. In this thesis, two types of tactile feedback systems, one for the finger pad and the other for other body parts such as torso, arms, and legs, able to output information via tactile sensation, are developed and their usages in HCI and BCI applications are explored.
In Chapter 2, a tactile feedback system for finger pad that consists of a pin-array type tactile display and a method that derives the optimal spatiotemporal patterns of a given tactile display to deliver a desired tactile perception to humans by incorporating the neurophysiological model of the finger pad are presented. The developed tactile display is composed of off-the-shelf actuators, yet has simple construction process while maintaining high stiffness and temporal bandwidth of the display. The optimization algorithm successfully found the optimal spatiotemporal stimulation patterns in both frequency and amplitude domains to present twelve inclined lines with a 5 degree difference. The cost function of the optimization algorithm was constructed as to minimize the difference between the mean firing rate of the afferents located outside of the target tactile shape and that of afferents overlapping the target shape. Human experiments revealed that the neurophysiologically optimized stimulation patterns indeed lowers the identification threshold of inclinations of the lines compared to previous studies. This result implicates that the proposed tactile stimulation system was able to deliver more detailed tactile perception with coarser tactile display by employing spatiotemporally optimized patterns.
In Chapter 3, a tactile feedback system for lower neck that consists of a 1D vibrotactile array type tactile display and a control algorithm based on tactile illusion of apparent motion and phantom sensation are presented. In addition, its application to brain-computer interfaces (BCIs) is thoroughly examined, and the possibility of extending the developed 1D tactile illusion algorithm to 2D area for HCI applications are briefly discussed. Operating a brain-actuated vehicle in a real-world environment requires much of our visual attention in observing our surroundings. However, in most of BCIs, the feedback that helps users to operate BCIs is also presented visually. As a result, users must divide their visual attention in two, which is undesirable for both operating a BCI and interacting with surroundings. Therefore, we propose a tactile feedback system that can replace visual feedback and thus free our visual channel. Six coin motors attached on the neck provided tactile feedback to users. The spatial resolution of the feedback was improved by the tactile illusion of movement. A multitasking experiment that consisted of an online BCI task and the visual multiple object tracking task was performed to investigate the advantages of tactile over visual feedback in operating a BCI. The online BCI experiment results showed that all subjects controlled the BCI with tactile feedback equally as well with visual feedback. In the multitasking experiment results, subjects tracked more targets correctly and showed higher BCI performance when tactile feedback was used. The proposed tactile feedback system enables us to use our visual channel for other purposes while operating a BCI. This could be a very important advantage when we are operating brain-actuated vehicles, especially in a complex real-world environment outside the laboratory setting.
현실 세계에서 인간과 인간이 상호작용하는 것 처럼, 인간과 기계가 자연스럽게 상호작용할 수 있도록 하는 인터페이스 시스템을 개발하는 것은 많은 연구에서 시도하고 있는 오랜 목표이다. 시청각뿐만 아니라 촉각 또한 인간이 자연스럽고 사실적으로 느낄 수 있도록 하는데 중요한 감각이지만, 시청각에 비해 매우 제한적으로 인터페이스 시스템에 사용되고 있다. 따라서 본 논문에서는 촉각을 통해 손가락 및 몸통/팔/다리에 정보를 전달할 수 있는 두 가지 유형의 촉각 피드백 시스템을 개발하고, 이를 인간-컴퓨터 인터페이스(HCI) 및 뇌-컴퓨터 인터페이스(BCI)에 적용할 수 있는 예제들을 제시한다.
2장에서는 핀어레이형 질감 제시 장치와 계산적 모델링을 통한 시뮬레이션 및 최적화에 기반한 제어 알고리즘으로 구성된 손가락 끝마디용 촉각 피드백 시스템을 제시한다. 시간적 해상도가 높고 작은 크기를 갖는 질감 제시 장치와 인간의 손가락 끝마디의 계산적 모델, 그리고 이 모델을 기반으로 질감 제시 장치의 최적 자극 패턴을 찾는 최적화 방법으로 구성된 새로운 촉각 자극 시스템을 제안한다. 최적화 알고리즘을 통해 5도 차이로 기울어진 12개의 선을 나타낼 수 있는 최적의 시공간 자극 패턴이 성공적으로 도출되었다. 이전 연구들에서는 질감 제시 장치에서 각 액추에이터의 주파수 또는 진폭 둘 다 동시에 변경하면서 자극 패턴을 최적화 할 수 있는 방법이 없었기 때문에, 동시에 이들 중 한 가지만을 변경하였다. 본 연구에서는 두 도메인에서 최적화 된 자극 패턴을 찾기 위해 손가락 끝마디의 신경생리학적 모델을 사용하여 시뮬레이션을 통해 두 도메인 모두에서 최적화된 자극 패턴을 찾을 수 있었다. 인간대상 실험에서는 피험자가 간략한 패턴을 사용하여 기울어진 선을 표현하였던 기존의 연구들 보다 더 세밀하게 인식 할 수 있음이 확인 되었다. 이 결과는 본 논문에서 제안한 최적화된 자극 패턴을 사용함으로써 촉각 디스플레이의 제한된 공간 해상도를 보완하고, 더욱 세밀한 형태를 전달 할 수 있음을 의미한다.
3장에서는 1D 진동촉각배열형 질감 제시 장치와 촉각적 착각을 기반으로한 제어 알고리즘으로 구성된 촉각 피드백 시스템을 제시한다. 또한 이를 BCI에 적용 및 검증하고, HCI의 다양한 분야로 확장 할 수 있는 방법이 제안되었다. 제한된 연구실 환경이 아니라 실제 환경에서 뇌로 작동되는 차량을 작동하려면 주변을 관찰하는데 많은 시각적주의가 필요하다. 그러나 대부분의 BCI에서는 사용자가 지속적을 확인해야하는 BCI피드백 또한 시각적으로 표시된다. 결과적으로 사용자는 시각적 주의력을 둘 로 나누어야 하기 때문에 바람직하지 않다. 따라서 본 연구에서는 목에 부착된 6개의 코인 모터로 구성된, 시각적 피드백을 대체할 수 있는 촉각 피드백 시스템을 제안한다. 피드백의 공간 해상도는 촉각적 착각을 적용한 조절 알고리즘을 통해 향상되었다. 또한, 온라인 BCI 작업과 시각적 다중객체추적 작업으로 구성된 멀티 태스킹 실험을 수행하여, BCI를 운영 할 때 시각에 비해 촉각 피드백을 사용하였을 때의 장점을 확인하였다. 온라인 BCI 실험 결과, 촉각 피드백이 시각적 피드백을 성공적으로 대체 할 수 있음이 확인되었다. 또한, 멀티 태스킹 실험 결과 피험자들은 촉각 피드백을 사용하였을 때 더 많은 표적을 올바르게 추적하고 더 높은 BCI 성능을 달성함 이 확인되었다. 결과적으로, 제안한 촉각 피드백 시스템을 이용해, BCI로 작동되는 차량을 운영하는 등의, 복잡한 실제 환경에서 BCI를 조작할 때 큰 이점을 얻을 수 있음이 확인되었다. 또한, 개발된 1D 진동촉각배열형 질감 제시 장치를 2D로 확장하고, 이를 HCI의 다양한 분야에 적용할 수 있는 방법이 논의되었다.
