Digital holography is one of the next-generation displays attracting attention, but there are still many obstacles impeding commercialization. Among them, a key problem is that the amount of computation required to generate a hologram is too large, and the computation time is very long. For example, it takes tens of minutes to convert a 1-minute 1K resolution image into a hologram. This makes it quite difficult to reproduce video on a holographic display. Recently, methods for generating real-time holograms while maintaining high quality through deep learning-based methods have been proposed, and they have a speed that is fast enough to process 30 frames per second. However, the hologram generated by the deep neural network was able to reproduce the image only at a specific distance because the target depth was fixed during the learning process. In other words, if it is necessary to adjust the target depth of the holographic image, the deep learning model must be learned from the beginning using the new target depth. Since this is very inefficient, a way of adjusting the target depth without re-learning is required.
In this thesis, a deep neural network that can continuously control the depth of a phase-only hologram is proposed and implemented. The network receives the target depth and the input image and generates a phase-only hologram, which can restore the hologram to excellent quality. A depth embedding block has been added that moves the holographic latent vector according to the target depth, and thus the position of the image plane can be changed without re-learning. It was shown that the proposed network understands the relationship between the depth and shape of the phase-only hologram, and th proposed method was verified through a computer simulation and optical reproduction. The deep learning model received an image and a target depth and generated a corresponding phase-only hologram within 35 ms. In addition, it was shown that high-quality holograms could be generated even at depths not used for learning, such as generating holograms at longer distances using networks learned from 20 cm to 30 cm. It has been demonstrated that holographic images can be reproduced from a long distance without re-learning because the suggested approach in this thesis can have generality about depth. The proposed method has high utility as it can be applied together with previously proposed deep learning networks.
Since how to adjust the target depth by adding a depth embedding block is learned, the next task is to propose a deep learning model that can reconstruct a holographic image for multiple planes rather than a single plane. In particular, in the case of a phase-only hologram, there was no deep learning model capable of reconstructing holographic images in multiple planes. Here, first, a plurality of fixed target depths are used to train a deep learning model that reconstructs images in multiple planes. Ultimately, it should be possible to adjust the target depth, but an approach to find an appropriate loss function and hyperparameter is used while fixing the target depth. The target depth was then input and a phase-only hologram corresponding to the target depth was generated. In order to achieve stable learning even in the state of having multiple target depths, a new target function has been added to suit the learning goals. Using the characteristic that the hologram is diffracted through space, the diffraction pattern was included in the loss function to learn, and it was newly calculated each time by modeling the way light travels in space. When the diffraction pattern calculated by simulation was included in the learning, it was confirmed that the learning progressed stably. As a result of testing on the test dataset, it was confirmed that the PSNR increased by 5.3 dB and the SSIM by 0.11.
디지털 홀로그래피는 주목받는 차세대 디스플레이 중 하나이지만, 아직 상용화되기에는 많은 장애물들이 남아있다. 그 중에서도 핵심적인 문제는 홀로그램을 생성하는데 필요한 연산 량이 너무 많아 계산 시간이 매우 길다는 점이다. 1분짜리 1K 해상도 영상을 홀로그램으로 변환하는데 수십분이나 걸려 동영상을 홀로그래픽 디스플레이로 재생하는 일은 상당히 어려웠다. 최근에는 딥 러닝 기반의 방법을 통해 고화질을 유지하면서 실시간 홀로그램을 생성하는 방법들이 제안되었고, 초당 30 프레임을 처리할 정도로 빠른 속도를 갖게 되었다. 그러나 심층 신경망에서 생성된 홀로그램은 학습 과정에서 목표 깊이가 고정되어 있기 때문에 특정 거리에서만 이미지를 재생할 수 있었다. 즉 홀로그램 영상의 목표 깊이를 조절하고 싶으면 새로운 목표 깊이를 이용해 딥러닝 모델을 처음부터 학습해야 하는 것이다. 이는 매우 비효율적이기 때문에 재학습 없이 목표 깊이를 조절할 수 있는 방법이 필요했다.
본 학위논문에서는 위상 전용 홀로그램의 깊이를 지속적으로 제어할 수 있는 심층 신경망을 제안하고 구현하였다. 네트워크는 대상 깊이와 입력 이미지를 입력 받아 위상 전용 홀로그램을 생성해 홀로그램을 우수한 품질로 복원할 수 있다. 대상 깊이에 따라 홀로그램 잠재 벡터를 이동하는 깊이 임베딩 블록이 추가됐고, 따라서 재학습 없이 이미지 평면의 위치를 변경할 수 있다. 제안된 네트워크가 위상 전용 홀로그램의 깊이와 모양 사이의 관계를 이해하고 있음을 보였고, 제안된 방법들은 컴퓨터 시뮬레이션 및 광학 재생성을 통해 검증하였다. 딥러닝 모델은 이미지와 목표 깊이를 입력 받아 이에 대응하는 위상 전용 홀로그램을 35ms 이내로 만들어 냈고, 이 홀로그램은 이미지 평면에서 복원되어 원본 이미지와 25 dB 이상의 PSNR 로 높은 유사도를 보였다. 또한 20 cm 부터 30 cm까지 학습된 네트워크를 이용해 더 먼 거리에서의 홀로그램을 생성하는 등 학습에 사용하지 않은 깊이에 대해서도 고품질의 홀로그램을 생성할 수 있음을 보였다. 깊이에 대해 일반성을 가질 수 있어 재학습 없이 먼 거리에도 홀로그램 영상을 재생할 수 있음을 증명했고, 80 cm 이상 먼 거리에 대해서도 20 dB 이상의 PSNR을 유지했다. 추론 속도 역시 1K 해상도 영상을 30 fps 이상으로 생성할 수 있어 실시간 변환이 가능함을 보였고, 제안 방식은 이전에 제안된 딥러닝 네트워크들과 함께 적용될 수 있어 활용도가 높다.
깊이 임베딩 블록을 추가해 목표 깊이를 조절하는 방법이 유의미하므로, 그 다음 목표로는 단일 평면이 아닌 복수 평면에 대해 홀로그램 영상을 복원할 수 있는 딥러닝 모델을 제안한다. 특히 위상 전용 홀로그램의 경우 복수 평면에서 홀로그램 영상을 복원할 수 있는 딥러닝 모델은 부재했다. 여기서는 복수 평면에서 이미지를 복원하는 딥러닝 모델을 학습하기 위해 우선 고정된 복수의 목표 깊이를 이용했다. 궁극적으로는 목표 깊이를 조절할 수 있어야 하지만, 목표 깊이를 고정시킨 상태에서 적절한 손실 함수와 하이퍼파라미터를 찾아보는 접근법을 사용했다. 그 뒤에는 목표 깊이를 입력받아 목표 깊이에 대응하는 위상 전용 홀로그램을 생성하도록 했다. 복수의 목표 깊이를 가진 상태에서도 학습이 안정적으로 이루어지기 위해, 학습 목표에 맞는 새로운 목표 함수를 추가했다. 홀로그램이 공간을 지나며 회절되는 특성을 이용해 회절 패턴을 손실함수에 포함시켜 학습을 진행했고, 이는 공간 상에서 빛이 진행하는 방법을 모델링해 매번 새롭게 계산되었다. 시뮬레이션으로 계산한 회절 패턴을 학습에 포함시키는 경우 학습이 안정적으로 진행되는 것을 확인할 수 있었고, 테스트 데이터셋에 대해 테스트한 결과 PSNR 이 5.3 dB, SSIM 이 0.11 만큼 높아진 것을 확인할 수 있었다. 뿐만 아니라 회절 패턴으로부터 관찰 깊이를 예측해 회절 패턴을 사실적으로 만들도록 유도하는 깊이 예측 블록을 추가했다. 깊이 예측 블록은 원본 이미지, 회절 패턴이 포함된 이미지, 목표 깊이를 입력 받아 관찰 깊이를 예측한다. 이로 인해 관찰 깊이에 따라 달라지는 회절 패턴을 분석할 수 있는 능력을 갖게 되고, 동시에 더 정교한 회절 패턴을 만들 수 있게 된다.
