Cardiovascular disease is one of the most causes of death in the world. Percutaneous coronary intervention(PCI) is a frequently used surgical method for cardiovascular disease. Recently, many studies are conducted to automatically navigate a guidewire to reduce the doctor's effort. Most of the researches need additional sensors or modification to the guidewire, but they are difficult to use in coronary arteries with narrow blood vessels. Also, several studies that apply reinforcement learning do not learn changes in the environment, so they only work in a specific environment. In addition, it was difficult to improve the performance because only the action of the discrete space was available. Therefore, there is a need for a technology that automatically controls the guidewire through the action of the continuous space while using only image information. In this study, we trained Resnet-LSTM based actor-network that receives segmented images and previous actions so that it can operate in various environments. Afterwards, the expert algorithm was designed for efficient learning. And the actor network was trained through behavior cloning. In order to improve performance by allowing the action of the continuous space, reinforcement learning was conducted in a virtual environment through the DDPG algorithm. As a result of testing in a virtual environment and a real validation environment, the time required to reach the destination was significantly reduced compared to the expert algorithm.
심혈관 질환은 세계적으로 사망 원인의 1순위인 질환으로 심혈관 중재 시술을 통해 치료한다. 최근에 많은 연구자가 이것을 자동화하여 의사의 수고를 덜어주는 연구를 진행 중이다. 그중 많은 연구가 새로운 센서와 새로운 종류의 가이드와이어를 사용하지만, 혈관의 지름이 좁은 관상동맥에서 사용하기에는 어려움이 있다. 또한, 기존의 장비를 사용하는 강화학습을 사용한 연구에서는 환경의 변화를 학습하지 못해 특정 환경에서만 작동하거나 전⋅후진 행동과 회전 행동을 따로 수행하기 때문에 성능을 향상하는 데 어려움이 있다. 따라서 새로운 장비를 사용하지 않고 영상의 정보만을 통해서 효율적으로 가이드와이어를 자동제어하는 기술이 필요하다. 이 연구에서는 다양한 환경에서도 작동할 수 있도록 세분화된 이미지와 이전의 행동을 입력받는 Resnet-LSTM의 구조를 가진 액터 신경망을 설계하였다. 이후, 효율적인 학습을 위해 엑스퍼트 알고리즘을 설계하고 행동복제를 통해 액터 신경망을 학습하였다. 회전과 전⋅후진 운동을 동시에 수행할 수 있도록 하여 성능을 향상하기 위해 가상 환경에서 DDPG 알고리즘을 통해 강화학습을 진행하였다. 학습된 액터 신경망을 가상 환경과 실제 검증 환경에서 실험한 결과 목적지에 도달하는데 걸린 소요 시간이 엑스퍼트 알고리즘에 비해 크게 감소하였다.
