Internet video has experienced tremendous growth over the last few decades.
Current video delivery infrastructure has been successful in handling scalability challenges with two key technologies: 1) at the server side, distributed computing technologies and content delivery networks (CDNs) have enabled content delivery at the Internet scale; and 2) at the client side, adaptive bitrate (ABR) streaming has addressed the problem of bandwidth heterogeneity and its variations across time and space.
However, there is a fundamental limitation that the quality of existing video delivery critically depends on the bandwidth resource. Consequently, user quality of experience (QoE) inevitably suffers when network conditions become unfavorable.
This dissertation proposes an alternative and complementary approach to enhancing video quality, inspired by the ever-increasing computational power and recent advances in deep learning. Our thesis is that one can substantially improve user QoE in video streaming by neural enhancement based on the client and server computation. Unlike traditional streaming, which heavily depends on network resources, we apply a deep neural network (DNN)-based quality enhancement on video content to obtain high-definition (e.g., 1080p) video from lower quality transmissions. This provides a powerful mechanism for maximizing QoE on top of the existing video delivery infrastructure.
However, realizing neural-enhanced video streaming poses two fundamental challenges. First, the performance of DNN predictions is unreliable for unseen/new content. Ensuring consistent quality enhancement is especially difficult, which presents a significant barrier to practical deployment. Second, a DNN used for quality enhancement requires too much computation to run on commodity servers and clients. This severely limits its applicability to Internet-scale streaming services. For downstream video streaming, where a DNN runs at clients, it is infeasible to support real-time neural enhancement on mobile devices. For upstream video ingest, where a DNN runs at media servers, it is too costly to support commercial-scale live streaming using a public cloud.
To prove the thesis, this dissertation presents a collection of algorithmic and architectural solutions that address these challenges based on domain-specific insights into DNNs and video streaming.
First, we develop a content-aware approach to ensure reliable quality enhancement powered by a DNN. In this approach, we train a separate DNN for each content to exploit the DNN's overfitting property, which delivers reliable and predictable training accuracy instead of relying on unpredictable test accuracy. Next, we reduce the computing cost of a DNN by devising a selective inference approach. In this approach, the DNN is applied only to a few select frames, and the results are then reused to benefit the entire video, by leveraging the vast amount of temporal redundancies within a video. Lastly, we validate our solutions using full-fledged systems to demonstrate significant improvements in user QoE for video streaming.
지난 수십 년간 인터넷 비디오 스트리밍에 대한 수요는 폭발적으로 증가하였다. 현재의 비디오 스트리밍 인프라는 두 가지 핵심 기술을 통해 확장성 문제를 성공적으로 처리해 왔다: 1) 서버 측에서는 분산 컴퓨팅 기술 및 콘텐츠 전송 네트워크를 통해 인터넷 규모의 콘텐츠 전송이 가능해졌고, 2) 클라이언트 측에서는 적응형 비트 레이트 스트리밍을 통해 사용자 간 및 시간에 따른 대역폭 변화 문제를 해결했다. 그러나 현재 비디오 스트리밍 인프라는 비디오 화질이 대역폭에 지나치게 의존적이라는 근본적인 한계점을 가지고 있다. 그래서 네트워크가 혼잡해져 대역폭이 부족해지면 사용자의 체감 품질 만족도가 급격히 하락한다.
본 학위 논문에서는 최근 급속히 증가한 연산 능력과 딥러닝의 기술 발전에서 영감을 받아 비디오 스트리밍 품질을 향상할 수 있는 새로운 방법론을 제시한다. 구체적으로 본 학위 논문에서는 클라이언트와 서버의 연산 자원을 활용해 심층 신경망 기반 화질 향상을 적용하여 비디오 스트리밍에서 사용자 체감 품질을 크게 개선할 수 있음을 보인다. 네트워크 대역폭에 크게 의존하는 종래의 스트리밍과는 달리, 제안하는 방법론에서는 비디오 콘텐츠에 심층 신경망 기반 화질 향상을 적용하여 저화질 전송에서 고화질 비디오를 복원한다. 이 방법론은 현재 비디오 스트리밍 인프라를 기반으로 사용자 체감 품질을 극대화할 수 있는 강력한 메커니즘을 제공한다
그러나 심층 신경망 기반 화질 향상을 비디오 스트리밍에 적용하는데 두 가지 근본적인 문제점이 있다. 첫 번째로 심층 신경망 예측의 성능은 새로운 콘텐츠에 대해 신뢰할 수 없다. 특히 상용 애플리케이션 상의 방대한 양의 비디오에 대해 일관된 품질 향상을 보장하기는 굉장히 힘들다. 두 번째로 화질 향상에 사용되는 심층신경망의 컴퓨팅 비용은 상업용 클라이언트 및 서버에 적용하기에 지나치게 비싸다. 이 문제점은 제안된 방법론의 적용 가능한 범위를 심각하게 제한한다. 사용자 기기에서 심층 신경망을 적용하는 경우 (예시: 서버에서 사용자로의 비디오 전송), 상용 모바일 기기에서 실시간으로 실행될 수 없기 때문에 모바일 사용자를 지원하지 못한다. 미디어 서버에서 심층 신경망을 적용할 경우 (예시: 스트리머에서 미디어 서버로의 비디오 전송), 지나치게 큰 컴퓨팅 비용이 발생해 상용 스트리밍 어플리케이션 지원이 불가능하다.
본 학위 논문에서는 이러한 근본적인 문제점을 해결하는 일련의 방법론을 제시한다. 첫째, 심층 신경망을 통한 안정적인 품질 향상을 보장하기 위해 각 콘텐츠에 대해 심층 신경망을 개별적으로 학습시키는 콘텐츠 인식 접근 방식을 제안한다. 이 방법론은 예측할 수 없는 테스트 정확도에 의존하는 대신 심층 신경망의 과적합 속성을 활용하여 예측할 수 있고 정확한 학습 정확도를 제공한다. 다음으로, 심층 신경망의 컴퓨팅 비용을 줄이기 위해 일부 선택된 비디오 프레임에만 심층 신경망을 적용하고, 이 결과를 재사용하여 전체 비디오의 화질을 개선하는 선택적 추론 방식을 제안한다. 이 방법론은 비디오 내에서 방대한 양의 시간적 중복성을 활용하여 심층 신경망의 컴퓨팅 복잡도를 획기적으로 감소시킨다. 마지막으로 본 학위논문에서는 제안된 방법론을 종단 간 시스템으로 구현하여 심층 신경망 기반 화질 향상을 통해 사용자 체감 품질을 획기적으로 향상할 수 있음을 보인다.
