Recently, Ultra high definition (UHD) videos are being prevailed in UHD TV and IPTV services, and smartphone applications. While many high-end TVs and smartphones support 4K UHD video, there are still many video streams with full high-definition (FHD) resolution (1,920×1,080) due to legacy acquisition devices and services. Therefore, a delicate up-scaling technique, which is able to convert low-resolution (LR) contents into high-resolution (HR) ones, is essential, especially when it comes to video up-scaling for 2K FHD to 4K UHD conversions. In this dissertation, we present a novel hardware-friendly super-resolution (SR) method based on convolutional neural networks (CNN) and its dedicated hardware (HW) on Field Programmable Gate Array (FPGA) for up-scaling full-high-definition (FHD) video streams to 4K ultra-high-definition (UHD) video streams in real-time 60 fps. In addition, we propose the CNN-based SR hardware architecture that can be expanded to 3× and 4× up scaling, not just 2× up scaling. Our dedicated CNN-based SR HW, low resolution (LR) input frames are processed line-by-line, and the number of convolutional filter parameters is reduced significantly by incorporating depth-wise separable convolutions with a residual connection. Our CNN-based SR HW incorporates a cascade of 1D convolutions having large receptive fields along horizontal lines while keeping vertical receptive fields minimal, which allows to save required line memory space in achieving comparable SR performance against full 2D convolution operations. For efficient HW implementation, we use a simple and effective quantization method with little peak signal-to-noise ratio (PSNR) degradation. Also, we propose a compression method to efficiently store intermediate feature map data to reduce the number of line memories used in HW. Our CNN-based SR HW implementation on the FPGA generates 4K UHD frames of higher PSNR values at 60 fps and shows better visual quality, compared to conventional CNN-based SR methods that are trained and tested in software.
최근에는 UHD TV 및 IPTV 서비스 및 스마트 폰 애플리케이션에서 UHD (Ultra High Definition) 비디오가 널리 보급되고 있다. 많은 고급형 TV 및 스마트 폰이 4K UHD 비디오를 지원하지만 레거시 수집 장치 및 서비스로 인해 풀 HD (FHD) 해상도 (1,920×1,080)의 비디오 스트림이 여전히 많이 있다. 따라서 특히 2K FHD에서 4K UHD 로의 비디오 업 스케일링과 관련하여 저해상도 (LR) 컨텐츠를 고해상도 (HR) 비디오로 변환 할 수 있는 정교한 업스케일링 기술이 필수적이다. 본 논문에서는 2K FHD 비디오 영상을 실시간 60fps의 4K UHD 비디오 영상으로 변환하기 위한 심층 콘볼루션 신경망 (CNN)을 기반으로 한 새로운 하드웨어 친화적인 초해상화 (Super-Resolution) 방법을 제시하고, 그의 전용 하드웨어를 FPGA 상에서 구현하였다. 또한, 2배 업스케일링뿐만이 아니라 3배, 4배 업스케일링으로 확장 가능한 CNN 기반 하드웨어 구조를 제안하고 이를 구현하였다. 전용 CNN 기반 SR HW는 저해상도 (LR) 입력 프레임을 라인 단위로 처리하며, 잔여 연결로 구성된 Depth-wise Separable Convolution을 통합하여 컨볼루션 필터 매개 변수의 수를 크게 줄인다. 또한, 제안한 CNN 기반 SR HW는 수직 수용 필드를 최소한으로 유지하면서 수평 라인을 따라 큰 수용 필드를 갖는 1D 컨볼루션의 캐스케이드를 통합하여 완전한 2D 컨볼루션 작업에 비해 유사한 SR 성능을 달성하는 데 필요한 라인 메모리 공간을 절약 할 수 있다. 효율적인 HW 구현을 위해 PSNR 저하가 거의 없는 간단하고 효과적인 양자화 방법을 사용하며, HW에서 사용되는 라인 메모리의 수를 줄이기 위해 중간 피처 맵 데이터를 효율적으로 저장하기 위한 압축 방법을 제안하였다. 제안한 CNN 기반 SR HW FPGA 구현은 60 fps에서 더 높은 PSNR 값의 4K UHD 프레임을 생성하고 소프트웨어로 훈련 및 추론된 기존 CNN 기반 SR 방법과 비교하여보다 우수한 시각적 품질을 보여준다.
