Live video accounts for a significant volume of today’s internet video traffic and is steadily growing. There has been an effort to enhance user quality of experience (QoE) by looking into both ingest and distribution of the end-to-end live video delivery process. However, there still exists a fundamental limitation in live video delivery: user QoE highly depends on the ingest side bandwidth resource. This bandwidth constraint restricts the upload quality of live video from origin and, as a result, deprives end users of their opportunities to watch high-quality live stream.
We present LiveNAS, a new live video ingest framework that enhances the live video quality independent of the ingest side network bandwidth. LiveNAS achieves this by utilizing super-resolution DNNs at the ingest point leveraging its computational power.
Due to the unpredictable nature of live video, pre-trained DNNs cannot deliver its training accuracy for unseen/new content. To improve this, we propose a content-adaptive online training approach that consists of two major components. First, origin streamer transmits partial high-quality frames to the ingest point along with encoded real-time video. Second, at the ingest point, server adapts DNNs to live streaming content by learning a mapping from low-quality video to a high-quality version using partial frames received from the streamer. We address several challenges in enabling this key approach such as 1) balancing allocation of upload bandwidth between training data and real-time video, 2) scheduling GPU usage dedicated to online training.
Our online training approach improves generic DNN quality by average 1.36 dB in PSNR and achieves an average of 2.57 dB overall video quality improvement in PSNR over state-of-the-art ingest framework.
라이브 비디오는 오늘날 인터넷 비디오 트래픽의 상당 부분을 차지하며 꾸준히 증가하고 있다. 엔드 투 엔드 라이브 비디오 전송 프로세스의 수집 및 배포를 조사하여 사용자 경험 품질(QoE)을 향상시키기 위한 노력이 있어왔다. 그러나 라이브 비디오 전송에는 여전히 근본적인 한계가 존재한다: 사용자 QoE는 수집 측 대역폭 리소스에 크게 의존한다. 이 대역폭 제한은 라이브 비디오의 원산지부터의 업로드 품질을 제한하여 최종 사용자에게 고품질 라이브 스트림을 시청할 기회를 박탈한다.
본 학위논문은 라이브 비디오 품질을 수집 측 대역폭 리소스에 독립적으로 향상시키는 새로운 라이브 비디오 수집 프레임워크 인 LiveNAS를 제시한다. LiveNAS는 인제스트 지점의 컴퓨팅 파워 이점을 활용하여 초고해상도 심층 신경망을 통해 이를 달성한다.
라이브 비디오의 예측할 수 없는 특성으로 인해 사전 학습된 심층 신경망은 보이지 않는/새로운 콘텐츠에 대한 학습 정확도를 제공 할 수 없다. 이를 개선하기 위해 본 학위논문에서는 두 가지 주요 구성 요소로 구성된 콘텐츠 적응 온라인 학습 방법을 제안한다. 먼저, 오리진 스트리머는 인코딩 된 실시간 비디오와 함께 부분적인 고품질 프레임을 인제스트 지점으로 전송한다. 둘째, 인제스트 지점에서 서버는 스트리머로부터 수신한 부분 프레임을 사용하여 저품질 비디오에서 고품질 버전으로의 매핑을 학습함으로써 심층 신경망을 라이브 스트리밍 콘텐츠에 적응시킨다. 1) 학습 데이터와 실시간 비디오 간 업로드 대역폭 할당 균형 조정, 2) 온라인 학습 전용 GPU 사용량 스케줄링과 같은 온라인 학습 방식을 구현하는 데 있어 발생하는 몇 가지 과제를 해결한다.
온라인 학습 방식은 일반적인 심층 신경망 품질을 PSNR수치의 평균 1.36 dB 향상시킨다. 또한 전체 비디오 품질을 WebRTC에 비해 PSNR수치의 평균 2.57dB 개선시킨다.
