High-definition video streaming services are in growing demand in mobile network environments with the remarkable development of smartphones and wireless networks, such as LTE and WiFi. As these technologies evolve, various types of new wireless streaming services are attracting attention rather than down-link streaming services, such as mobile VoD. The representative service is a personal mobile streaming service in which the user’s mobile device is the center of real-time content provision. To provide such a service, a mobile device must handle encoding and streaming functions which are roles of a dedicated encoder and servers in a legacy streaming system. In addition, there is a technical challenge to deliver video data through not a broadcast-dedicated network but a best-effort wireless network, such as WiFi or LTE. In such a service, direct communication between two devices is performed for one-to-one streaming, such as drone racing control, requiring a strict real-time property. To stream to a large number of users, a streaming server that streams to a plurality of users must be provided. The bandwidths of current wireless networks vary. In many countries, broadband wireless access networks, such as 4G LTE, are not available nationwide, so handoffs are inevitable between networks with different characteristics depending on users’ mobility. This results in large changes in the network bandwidth and degrades the video streaming quality. In this dissertation, we propose two types of mobile streaming mechanisms.
The first is an up-link streaming protocol for one-to-one mobile streaming service in which the mobile device is the center of providing real-time contents. To satisfy the real-time requirements, the size of the buffer must be minimized in the sender and receiver device, which causes serious deterioration in the video quality with even small changes in the network state. To solve this problem, we propose a NERV (network-aware encoding rate-control algorithm for real-time up-link video streaming services) protocol that predicts the state of the wireless network, adjusts the encoding rate in real-time according to the predicted network status, and streams it through the up-link interface. NERV predicts the network state without degrading the performance of the mobile device based on the inter-video frame delay value, which is the delay value between video frames measured at the receiving device. By comparing the predicted inter-video frame delay value with the three reference parameters (α, β and γ) defined by the algorithm, the encoding rate is adaptively adjusted and streamed through the up-link. We implemented NERV on a mobile device based on Google Android and measured performance on commercial network systems, such as LTE and WiFi, used by general users. Performance measurements in commercial LTE and WiFi networks as well as network emulation environments that artificially degrade network performance with predefined scenarios show that the average encoding rate increases by 35%, and the packet loss rate decreases by 45%.
Second, we propose a MOSQUITO (mobile video streaming protocol for high-level QoE provisioning over heterogeneous wireless access networks), which is a buffer-based adaptive-bit-rate streaming protocol for down-link streaming service that transmits from server to multiple mobile devices for one-to-many streaming. MOSQUITO consists of a buffer-based adaptive-bit-rate (B2-ABR) algorithm that adaptively streams the network state according to the buffer size of the receiving device and a chunk file download-time-minimization (DTM) algorithm that minimizes the chunk file download time even network bandwidth is fluctuated severely. Through two algorithms, if the network state is good, the streaming bit rate is conservatively increased, and if the network condition is bad, the streaming rate is rapidly decreased. Also, in an environment in which only the minimum network bandwidth is provided
higher than the lowest encoding rate of the chunk file, the chunk file can be downloaded within twice the target duration. This can reduce the screen stoppage due to buffer underflow when the wireless network bandwidth changes drastically. The protocol is transparently designed so that application developers who do not know how to operate the algorithm can easily use it. It is implemented in a commercial Google Android-based device for performance analysis and measurement in a commercial network system. Performance comparison with the MPEG-DASH protocol was performed in a heterogeneous wireless network environment in which 3G, 4G, and WiFi coexisted. Experiments demonstrated that the screen stoppage caused by buffer underflow is significantly reduced when a sudden change in bandwidth occurs due to handoff between different networks.
LTE 및 WiFi와 같은 무선 네트워크의 눈부신 발전으로 모바일 네트워크 환경에서 고화질 비디오 스트리밍 서비스가 폭발적으로 증가 하고 있다. 이러한 기술 발전에 따라 모바일 VoD 서비스와 같이 서버에서 모바일 단말로 전송하는 다운링크 형태의 스트리밍 만이 아닌 다양한 형태의 무선 스트리밍 서비스가 주목 받고 있다. 그 대표적인 서비스가 사용자의 모바일 단말이 콘텐츠 제공의 중심이 되는 개인 스트리밍 서비스이다. 이 서비스는 기존 인터넷 방송 서비스에서 전용 카메라와 고성능 서버가 감당하던 인코딩 및 스트리밍의 기능을 제한된 성능을 갖는 모바일 단말이 처리해야 하며 방송 전용망에 의해 실시간으로 전송되던 영상 데이터 들을 WiFi 혹은 LTE와 같은 best-effort 무선 네트워크를 통해서 전달해야 하는 기술적인 도전이 있다. 엄격한 실시간 성이 요구되는 드론 제어와 같은 서비스를 위해서는 2개의 단말간 직접 통신을 수행한다. 다수의 사용자에게 스트리밍을 하기 위해서는 개인의 모바일 단말이 인터넷에 위치한 스트리밍 서버로 촬영하는 영상을 실시간으로 전달하고, 이를 수신한 서버가 다수의 사용자들에게 스트리밍 하는 형태의 구조가 제공되어야 한다. 이러한 구조에서 사용자의 이동에 따라 모바일 단말들이 접속되어 있는 무선 네트워크 환경의 대역폭 변화가 발생하게 된다. 특히, 아직도 많은 나라들에서는 4G LTE와 같은 광대역 무선 가입자 네트워크가 전국망 규모로 제공되지 않아서 사용자 이동성에 따라 서로 다른 특성을 갖는 네트워크 간에 핸드오프 발생은 불가피하다. 이는 결국 네트워크 대역폭의 큰 변화를 발생시키며 비디오 스트리밍 품질에 저하를 야기하게 되다. 이러한 문제를 해결하고자 본 논문에서는 두 가지 형태의 모바일 스트리밍 메커니즘을 제안한다.
첫번째는 모바일 단말이 실시간 콘텐츠 제공의 중심이 되는 일대일 개인 모바일 스트리밍 서비스를 위한 업링크 스트리밍 프로토콜이다. 실시간 요구사항을 만족하기 위해 송수신 단말에는 버퍼 사이즈를 최소화 해야 한다. 그 결과 네트워크 상태의 작은 변화에도 비디오 품질에 치명적인 저하를 야기하게 된다. 이러한 문제를 해결하고자 실시간으로 무선 네트워크의 상태를 예측하고 예측된 네트워크 상황에 맞춰서 실시간으로 인코딩 율을 조절하여 업링크로 스트리밍하는 NERV (A Network-Aware Encoding Rate Control Algorithm for Real-time Up-streaming Video Services) 프로토을 제안한다. NERV는 수신 단말에서 측정
한 video frame 간의 지연 값인 inter-video frame delay 값에 기반하여 모바일 단말의 성능 저하 없이network 상태를 예측한다. 예측된 Inter-video frame delay 값을 프로토콜에서 정의한 세개의 기준 파라미터들 (α, β, γ) 과 비교하여 인코딩 율을 적응적으로 반영하고 업링크를 통해서 스트리밍 하여 비디오 품질에 대한 사용자 QoE를 제공 한다. NERV를 상용 구글 안드로이드 d운영체제 기반의 모바일 단말에 구현하고 일반 사용자들이 사용하는 LTE 및 WiFi 와 같은 상용 무선 네트워크 시스템 상에서 성능 측정을 실시 하였다. 상용 무선 네트워크뿐만 아니라 정해진 시나리오를 가지고 인위적으로 네트워크 성능을 저하시키는 네트워크 에뮬레이션 환경에서의 성능 측정 결과 평균 인코딩 율은 35% 증가함과 패킷 손실율은 45% 감소함을 보였다.
두번째는 일대다 스트리밍 전송을 위해 서버에서부터 다수의 모바일 단말로 전송하는 다운링크 스트리밍 서비스를 위한 HTTP 기반의 Adaptive Bit Rate Streaming 알고리즘인 MOSQUITO (Mobile Video Streaming Protocol for the high level QoE provisioning over heterogeneous wireless access networks) 프로토콜을 제안한다. MOSQUITO는 수신 단말에 버퍼링된 데이터의 양과 네트워크 상태에 따라 적응적으로 스트리밍 하는 Buffer-based Adaptive Bit Rate 알고리즘과 청크화일의 다운로드 시간을 최소화 하는 Chunk file download time minimization 알고리즘으로 구성된다. 두 개의 알고리즘을 통해서 네트워크 상태가 좋은 경우에는 스트리밍 비트 율을 보수적으로 증가 시키고, 네트워크 상태가 나빠지는 경우에는 빠르게 스트리밍 비트율을 감소시킨다. 또한, 최소한의 네트워크 대역폭만 제공되는 환경에서는 청크 파일의 길이인 target duration 값의 2배 시간 이내에 청크화일을 다운로드 완료 함을 보인다. 이를 통해서 무선 네트워크 대역폭이 심하게 변화하는 상황에서도 buffer underflow에 의한 화면 멈춤 현상을 줄일 수 있다. MOSQUITO 알고리즘 동작 방식을 세부적으로 이해하지 못하는 어플리케이션 개발자들도 쉽게 사용할 수 있도록 투명하게 설계 하였다. 상용 네트워크 시스템에서의 성능 분석 및 측정을 위해서 상용 구글 안드로이드 운영체제 기반의 단말에 구현하였고 3G, 4G 및 WiFi와 같은 다양한 네트워크 상태가 공존 하는 실제 네트워크 환경에서 MPEG-DASH 프로토콜과의 성능 비교를 실시 하였다. 급격한 대역폭 변화 시에 버퍼 언더플로우에 의한 화면 멈춤 현상을 줄이는 것을 실험을 통해 증명 한다.
