In this paper, a bat-inspired high-resolution ultrasound 3D imaging system is presented. Live bats demonstrate that the properly used ultrasound can be used to perceive 3D space. With this in mind, a neural network referred to as a Bat-G network is implemented to reconstruct the 3D representation of target objects from the hyperbolic FM (HFM) chirped ultrasonic echoes. The Bat-G network consists of an encoder emulating a bat's central auditory pathway, and a 3D graphical visualization decoder. For the acquisition of the ultrasound data, a custom-made Bat-I sensor module is used. The Bat-G network shows the uniform 3D reconstruction results and achieves precision, recall, and F1-score of 0.896, 0.899, and 0.895, respectively. The experimental results demonstrate the implementation feasibility of a high-resolution non-optical sound-based imaging system being used by live bats. And a noise-immune Bat-inspired Graphical visualization network Guided by the radiated ultrasonic call (Bat-G2 net) that can reconstruct 3D shapes of a target from ultrasonic echoes under low SNR conditions like live bats is presented. Bat-G2 net is implemented by emulating robust noise-resilient bat's auditory system that process echoes along with the highly correlated radiated ultrasonic call (RUC). In order to extract the information contained in the RUC robustly and effectively, two implementation ideas have been applied to the Bat-G2 net: (1) RUC-guided attention (2) non-local attention. The Bat-G2 net is trained with ECHO-4CH dataset acquired by a custom-made Bat-I sensor. Noise-resistant property of the Bat-G2 net is demonstrated by the outstanding reconstruction result for the noise added sensory input as compared to the result of current state-of-the-art ultrasonic image reconstruction network. This study clearly demonstrates the implementation feasibility of the new modality of “seeing by hearing” in more practical environments.
이 논문에서는, 박쥐를 모방하여 고해상도 3차원 초음파 이미징 시스템에 관해 다루었다. 살아있는 박쥐의 뛰어난 3차원 인지 능력으로부터 초음파 정보를 적절히 사용하면 고해상도 3차원 이미징이 가능하다는 것을 유추할 수 있었다. 이러한 점에 기인하여 물체에 방사한 hyperbolic한 형태의 주파수 변조 첩핑 신호가 반사되어 돌아온 에코를 이용해 물체의 3차원 형상을 복원해내는 Bat-G 네트워크를 구현하였다. 이 Bat-G 네트워크는 박쥐의 중추 청신경망을 모방하여 설계한 인코더와 3차원 그래픽컬 시각화 디코더로 구성되어있다. 초음파 측정 데이터를 수득하기 위해 자체 개발한 Bat-I 센서 모듈을 사용하였다. 결과적으로 Bat-G 네트워크는 균일한 3차원 형상 복원 결과들을 얻었으며 precision, reall, F1-score에서 각각 0.896, 0.899, 그리고 0.895 수치를 기록했다. 이러한 실험 결과들은 박쥐들이 사용하는 것과 같이 광학이 아닌 소리에 기반한 고해상도 이미징 시스템 구현의 가능성을 검증해주는 의미있는 결과였다. 또한 이 논문에서는 박쥐와 같이 낮은 SNR 조건에서 초음파 에코로부터 물체의 3D 형상을 재구성 할 수 있는 방사된 초음파 신호에 의해 가이드되는 잡음에 강한 Bat-G2 네트워크가 제시되었다. Bat-G2 네트워크는 에코와 높은 상관 관계를 갖는 방사된 초음파 신호 (RUC)과 함께 에코를 처리함으로써 잡음에 강한 박쥐의 청각 시스템을 모방하여 구현되었다. RUC에 포함 된 정보를 안정적이고 효과적으로 추출하기 위해 Bat-G2 네트워크에 (1) RUC에 의해 가이드되는 attention (2) 비지엽적인 attention 두 가지 구현 아이디어가 적용되었다. Bat-G2 네트워크는 자체 개발한 Bat-I 센서로 획득한 ECHO-4CH 데이터 세트로 훈련되었다. Bat-G2 네트워크의 내잡음성은 최신 초음파 이미지 재구성 네트워크의 결과와 비교하여 낮은 신호대잡음비를 가지는 센서 입력에 대한 뛰어난 재구성 결과로 입증되었다. 이 연구는 보다 실용적인 환경에서“청각으로 보는” 새로운 방식의 센서 구현 가능성을 분명히 보여주었다.
