Streaming services gradually support high-quality videos for the better user experience. However, high-quality video streaming on mobile devices consumes a considerable amount of energy. This thesis presents the design and prototype of two systems, EVSO and NeuSaver, which achieve power savings by applying adaptive frame rates to parts of videos with a little degradation of the user experience. Both EVSO and NeuSaver utilize a novel perceptual similarity measurement method based on human visual perception specialized for a video encoder. EVSO's streaming server preprocesses the videos into several videos according to the similarity intensity of each part of the video and then provides the client with the processed video suitable for the battery status of the client's mobile device. Meanwhile, NeuSaver's streaming server uses Reinforcement Learning (RL) to select the appropriate frame rates for each video chunk based on previous observations. NeuSaver automatically reinforces the RL model in response to the feedback of the environments, without relying on pre-defined models or policies. The EVSO and NeuSaver were implemented on the commonly used H.264/AVC encoder. We conduct various experiments and a user study with ten videos. Our experimental results show that EVSO effectively reduces the energy consumption of mobile devices by 22% on average and up to 27% while maintaining the quality of the user experience.
스트리밍 서비스는 더 나은 사용자 환경을 위해 높은 품질의 비디오를 점차적으로 지원한다. 하지만 모바일 장치들에서 높은 품질의 비디오 스트리밍은 상당한 양의 에너지를 소모한다. 본 학위논문에서는 EVSO와 NeuSaver의 디자인과 프로토 타입을 제시한다. EVSO와 NeuSaver는 비디오들의 각 부분마다 적응적 프레임율을 적용하여 사용자 경험의 품질 저하 없이 전력 소모를 절약하는 시스템이다. EVSO와 NeuSaver는 모두 비디오 인코더에 특화된 인간의 시각적 인식을 기반으로 한 새로운 지각 유사성 측정 방법을 사용한다. EVSO의 스트리밍 서버는 비디오 각 부분의 유사성 강도에 따라 여러 비디오로 비디오를 사전에 가공한 다음, 클라이언트의 모바일 장치의 배터리 상태에 적합한 가공된 비디오를 클라이언트에 제공한다. 한편 NeuSaver의 스트리밍 서버는 최신 강화 학습을 사용하여 이전의 관찰들을 기반으로 각 비디오 청크에 적합한 프레임 속도를 선택한다. NeuSaver는 사전 정의 된 모델이나 정책에 의존하지 않고 오로지 환경의 피드백에만 따라 강화학습 모델을 자율적으로 강화해 나간다. EVSO와 NeuSaver는 보편적으로 사용되는 H.264/AVC 인코더를 사용하여 구현되었다. 10개의 동영상을 통해 다양한 실험과 사용자 학습을 수행하였다. 실험 결과에 따르면 EVSO는 사용자 경험의 품질을 유지하면서 평균 22% 및 최대 27%의 모바일 장치의 에너지 소비를 효과적으로 줄였다.
