Although high dynamic range (HDR) display has become popular recently, the legacy content such as standard dynamic range (SDR) video is still in service and needs to be properly converted on HDR display devices. Therefore, it is desirable for HDR TV sets to have the capability of automatically converting input SDR video into HDR video, which is called reverse tone mapping (RTM). In this work, we propose a novel modeling-based low-complexity RTM scheme that not only expands the suppressed dynamic ranges (DR) of the SDR videos (or images), but also effectively restores lost detail in the SDR videos. Most existing conventional RTM schemes have focused on how to expand the DR of global contrast, resulting in limitations in recovering lost detail of SDR videos. On the other hand, the recent convolutional neural network based approaches show promising results, but they are too complex to be applied on users’ devices in practice. In this work, our modeling-based RTM scheme is computationally simple but effective in recovering lost detail. To optimize the SDR-to-HDR relation, training data for ‘SDR-HDR’ images are first separated into their base layer components and detail layer components by applying a guided filter. The detail layer components of ‘SDR-HDR’ pairs are used to optimize the SDR-to-HDR mapping. The mapping matrices are computed based on kernel ridge regression. In the meantime, the global contrast of the base layers is expanded by a nonlinear function that suppresses darker regions and amplifies brighter regions to fit the full DR of a target HDR display. To verify the effectiveness of our modeling-based RTM scheme, we performed subjective quality assessment for images and videos. The experimental results show that our RTM scheme outperforms the existing RTM scheme with successful restoration of lost detail in SDR images.
근래에 High Dynamic Range (HDR) 디스플레이가 보급되고 있으나, 기존의 Standard Dynamic Range (SDR) 비디오는 여전히 서비스 되고 있으며 HDR 디스플레이에서 보기 위해 적절한 변환 과정이 필요하다. 따라서 HDR TV는 입력 SDR 비디오를 자동으로 HDR 비디오로 변환할 수 있는 기능(역톤매핑)을 갖추는 것이 바람직하다. 본 논문에서는 SDR 비디오(또는 영상)의 압축된 동적 범위(DR)를 확장하는 것은 물론, 효과적인 학습 기반의 SDR 비디오에서 잃어버린 세부 사항을 복원하는 저복잡도의 RTM 방법을 제안한다. 대부분의 기존 RTM 방법은 전역 밝기의 DR 확장 방법에 초점을 맞추었으며, 이로 인해 SDR 비디오의 손실된 세부 정보를 복구하는 데 한계가 있었다. 한편, 최근의 심층신경망 기반의 접근은 우수한 결과를 보여주지만, 실제로 사용자의 기기에 구현 및 적용하기에는 너무 복잡하다. 본 논문에서, 제안하는 학습 기반 RTM 방법은 계산 복잡도가 낮음에도 불구하고 손실된 세부사항을 복구하는 데 효과적이다. SDR-HDR 관계를 배우기 위해 학습 'SDR-HDR' 이미지에 먼저 가이디드 필터를 적용하여 기본 계층과 세부 계층으로 분리한다. SDR-HDR 쌍의 세부 계층은 SDR-HDR 매핑을 훈련하는 데 사용된다. 선형 매핑 매트릭스는 커널 회귀 분석을 기반으로 계산된다. 한편, 기본 계층의 전역 밝기 확장은 출력 HDR 디스플레이의 전체 DR에 적합하도록 어두운 영역을 억제하고 밝은 영역을 증폭시키는 비선형 함수에 의해 확대된다. 학습 기반 RTM 방식의 효과를 검증하기 위해 이미지 및 비디오에 대한 주관적인 화질 평가를 수행했다. 실험 결과는 우리의 RTM 방식이 SDR 영상에서 손실된 세부사항을 성공적으로 복원함으로써 기존의 RTM 방식보다 우수하다는 것을 보여준다.
