Ultrasound (US) is one of the most versatile medical imaging modalities. Due to its fast frame rate and radiation-free nature, it is the first choice for applications such as fetal imaging and cardiac imaging. Reconstruction of high-quality images from a limited number of radio-frequency (RF) measurements is highly desired in portable, three-dimensional, and ultrafast ultrasound imaging systems. Unfortunately, a standard beamformer produces images with limited measurements that are unsuitable for diagnostic purposes. Towards this end, a deep learning-based beamformer is proposed to generate significantly improved images under widely varying measurement conditions and channel subsampling patterns. In particular, a deep neural network is designed to directly process full or sub-sampled radio-frequency (RF) data acquired at various subsampling rates and detector configurations so that it can generate high-quality ultrasound images using a single beamformer. Unfortunately, a separate beamformer should be trained and stored for each application, demanding significant resources such as training data and memory. Accordingly, a switchable and tunable deep beamformer is proposed that can switch between various types of output such as the DAS, MVBF, DMAS, and GCF, and also adjust speckle noise removal levels at the inference phase by using a simple switch or tunable nozzle.
The aforementioned methods rely on the paired RF dataset for supervised training. In many real-world imaging situations, access to RF data is limited and acquisition of paired images is infeasible. For example, to improve the visual quality of the US images acquired using a low-cost imaging system, one needs to scan the same part using a high-end machine, which is practically impossible. Inspired by the recent theory of unsupervised learning, the applicability of optimal transport driven CycleGAN (OT-CycleGAN) is investigated for the US artifact removal problems without matched reference data. Two types of OT-CycleGAN approaches were employed; one with the partial knowledge of image degradation physics and another with the lack of such knowledge. Various US artifact removal problems are then addressed using the two types of OT-CycleGAN. Experimental results for various unsupervised US artifact removal tasks confirmed that the proposed unsupervised learning method delivers results comparable to supervised learning in many practical applications.
In conclusion, the proposed deep neural network-based framework can be used to generate output for different applications. Furthermore, the proposed method can be trained in supervised and unsupervised fashion eliminating the need for paired training data. Therefore, it can be an important platform for efficient B-mode US imaging.
초음파(US) 영상은 가장 다양하게 활용되는 의료영상 기법 중 하나로, 빠른 프레임 속도를 가지며 X-ray 등과 달리 방사선을 사용하지 않기 때문에 태아 영상, 심장영상과 같은 응용분야에서 가장 먼저 고려될 수 있다. 초음파 영상에서 제한된 수의 무선 주파수 (RF) 측정으로부터 고품질의 이미지를 재구성하는 기술은 휴대용, 3차원 및 초고속 초음파 영상 시스템의 발전에 매우 필요한 기술이나, 일반적으로 사용되는 빔 형성기 (beam former)는 이러한 제한된 측정으로부터 진단에 부적합한 이미지를 생성하게 되기 때문에 해당 기술의 적용이 제한되어 왔다.
이를 해결하기 위해, 본 연구에서는 다양한 조건과 다양한 채널 데이터 추출 비율 상에서 표본추출 또는 전체 획득된 무선주파수 (RF) 데이터로부터 개선된 이미지를 만들어내는 심층신경망 기반 빔 형성기를 제안하고자 한다.
제안된 빔형성기는 전체 획득하거나 다양한 비율로 추출된 무선 주파수 (RF) 데이터를 직접 처리하도록 설계하였기 때문에 하나의 빔형성기로 고화질의 이미지를 만들어 낼 수 있다.
기존의 빔형성기는 적용 분야에 따라 추가적인 훈련이 필요하여 훈련 데이터의 저장에 필요한 메모리 등과 같은 리소스가 소모되었다.
따라서 본 연구에서는, 간단한 스위치 또는 튜닝이 가능한 노즐을 이용해 DAS, MVBF, DMAS, GCF와 같은 다양한 출력형식을 제공하거나 추론단계에서 반점 노이즈 (speckle noise)를 사용자가 원하는 정도로 제거할 수 있는 전환 및 조정 가능 심층 빔형성기를 제안한다.
이러한 심층신경망 기반 빔형성기의 훈련에는 쌍을 이루는 무선주파수 (RF) 데이터 세트를 이용한 지도학습 방법이 사용되나, 실제 많은 이미징 상황에서 무선 주파수 (RF) 데이터에 대한 접근이 어렵고 쌍으로 된 이미지를 수집하는 것이 불가능하기 때문에 다양한 상황에서의 적용이 제한될 수 있다. 예를 들어, 저비용 이미징 시스템을 사용하여 획득한 초음파 이미지의 시각적 품질을 지도학습 방법으로 향상시키기 위해서는 동일한 이미지를 고급 장비를 사용하여 얻어야 하나 이는 현실적으로 거의 불가능하다.
이러한 문제를 해결하고자, 쌍을 이루는 참조 데이터가 없는 초음파 이미지의 노이즈 제거 문제에 대해 최적 운송 기반 CycleGAN(Optimal Transport-CycleGAN)을 적용하여 성능을 평가하였다. 여기에서는 초음파 신호 저감에 대한 물리학적 사전지식을 적용한 경우와 이러한 사전지식이 없다고 가정한 경우 등 두가지 유형의 OT-CycleGAN 방식이 평가되었다. 그 결과 다양한 초음파 이미지 노이즈 제거 문제에 대해 OT-CycleGAN 방식의 비지도 기반 학습방법이 다양한 실제 적용 분야에서의 지도학습과 유사한 결과를 제공함을 확인 할 수 있었다.
결론적으로, 본 연구는 적용분야에 적합한 초음파 이미지를 제공할 수 있는 심층 신경망 기반 프레임워크를 제안했다. 또한, 이러한 모델의 지도 및 비지도 방식 훈련 방법을 동시에 제안함으로 초음파 이미지의 고속, 고품질화 등의 효율적인 B-모드 초음파 영상 촬영에 기여할 수 있을 것으로 생각한다.
