The clustering of multiple video servers is a popular architecture for scalable VOD systems. In clustered video servers, user requests are distributed among the video servers by the dispatcher. Each video server contains independent disks and buffer memory. The buffer sharing mechanism is recognized helpful to the improvement of the throughputs of video servers. However, its effects have not been effectively utilized so far for the request distribution strategies of the clustered video servers.
In this dissertation, we investigate the effects of buffer sharing on the throughput of the clustered video servers. And, based on the results, we propose two request distribution methods for the clustered video servers, where the buffer sharing effects are fully utilized for improving the cluster's throughput. One method is designed for a static workload environment and another method for a dynamic workload environment. Both two proposed methods periodically build a $\emph{distribution plan}$ based on an estimated current workload and the analyzed buffer sharing effects, and then distribute incoming requests among video servers according to the plan. The plan specifies each server's role: the number of requests for each video that the server will take.
The method for static workload focuses on finding an $\emph{ideal service state}$ as a distribution plan whose throughput is the maximum among all possible service states for a given workload by maximizing buffer sharing. The experimental results for static workload show that our method can dramatically improve the cluster's throughput by effectively utilizing the buffer sharing compared with the conventional request distribution methods. We also verify the optimality of the algorithm of finding an ideal service state.
When the distribution plan is frequently updated under the dynamic workload, the cluster's performance may be degraded due to temporarily non-optimal request assignments during the transition to a new plan. Therefore, the method for dynamic workload focuses on building a $\emph{target service state}$ as distribution plan to which the cluster's current state can be smoothly transformed without the performance degradation while still maximizing buffer sharing. From the experiments driven by various dynamic workloads, we show that our method still outperforms other methods under extremely dynamic workloads.
고성능의 확장성 있는 주문형 비디오 서비스 시스템을 구축하기 위한 비용 효율적인 방법은 여러 개의 비디오 서버를 묶어 클러스터로 만드는 것이다. 비디오 서버 클러스터는 독립적인 디스크와 버퍼 메모리를 가진 여러 비디오 서버들과 사용자 요청을 서버들에 분배하는 하나의 요청 분배기로 구성된다. 각 비디오 서버에서는 디스크를 효율적으로 사용하기 위한 버퍼 공유 기술이 사용된다. 버퍼 공유는 동일한 비디오에 대한 두 요청이 있을 때, 앞선 요청을 서비스하기 위하여 디스크로부터 전송된 데이터를 뒤이은 요청의 서비스에 디스크 전송 없이 바로 이용하는 것으로서, 병목 자원인 디스크 전송 대역폭을 절감하여 개별 서버의 성능을 향상시키는데 도움을 준다. 하지만, 지금까지 비디오 서버 클러스터에서의 요청 분배 전략들은 서버들 간에 균등한 부하를 유지하려 했을 뿐 버퍼 공유 효과를 효과적으로 이용하기 위한 노력을 하지 않았다. 직관적으로 버퍼 공유 효과가 최대가 되려면 한 비디오에 대한 요청들은 동일한 서버가 처리해야 한다. 따라서, 순환 순서(Round Robin)와 같은 요청 분배 방법은 한 비디오에 대한 요청을 여러 서버에 할당함으로써 버퍼 공유 효과를 전혀 향상시키지 못 한다. 반면, 개별 서버의 처리 용량을 고려하지 않은 채, 한 비디오에 대한 요청을 동일한 서버에 할당하는 방법은 일부 서버만을 과부하 상태로 만들어 결국 클러스터 전체 성능을 떨어뜨릴 수 있다.
본 논문에서는 클러스터 비디오 서버에서의 버퍼 공유 효과에 대하여 분석하고, 그 결과를 바탕으로, 클러스터의 처리량을 최대화할 수 있도록 개별 서버의 처리 용량을 넘지 않으면서 버퍼 공유 효과를 최대화하는 요청 분배 방법을 제안하였다. 제안한 방법은 현재 부하를 예측하고, 예측된 부하 및 분석된 버퍼 공유 효과를 기반으로 요청 분배 계획을 수립하고, 그 계획에 따라 요청을 분배한다. 부하는 비디오 별 동시에 스트리밍되는 요청들의 수로서, 비디오가 실제 재생되는 평균 시간에 달라진다. 그리하여, 제안한 방법은 실제 재생 시간에 영향을 주는 시작, 정지, 앞으로 건너뛰기, 뒤로 건너뛰기 등과 같은 사용자의 VCR 제어 명령을 모두 고려하여 부하를 정확히 예측한다. 요청 분배 계획은 어떤 서버가 어떤 비디오에 대한 요청을 얼마나 많이 처리하는지를 나타내는, 클러스터의 가상적인 서비스 상태이다. 제안한 방법은 부하 예측 후, 버퍼 공유를 높이는 세가지 규칙을 바탕으로 클러스터의 성능이 최대가 되는 '이상적인 서비스 상태'라는 분배 계획을 만들고, 요청 도착 시 클러스터의 현재 서비스 상태가 이상적인 서비스 상태와 가깝게 되도록 요청을 할당한다. 실험을 통하여, 제안한 방법이 기존 요청 분배 방법들에 비해 버퍼 공유 효과를 극대화하여 클러스터의 처리량을 크게 향상시키는 것을 확인하였다. 또한, 이상적인 서비스 상태를 찾는 알고리즘의 최적화 수준을 검증하였다.
분배 계획은 부하가 바뀜에 따라 다시 만들어야 한다. 부하가 빠르게 변화하는 경우, 분배 계획은 자주 갱신되어야 하며, 새로운 계획으로의 잦은 전이는 클러스터를 지속적으로 전이 중 최적화되지 않은 서비스 상태로 만든다. 특히, 전체 부하가 큰 상태를 유지하며 인기 있는 비디오의 집합만 매우 빠르게 변화하는 경우, 전이 중 최적화되지 않은 서비스 상태로 인하여 성능 저하가 발생할 수 있다. (이러한 성능 저하를 '공유 손실'이라 이름 붙였다.) 이 문제를 해결하기 위하여, 본 논문에서는 동적 부하 환경을 대상으로 하는 DynaBS라는 개선된 요청 분배 방법을 추가로 제안하였다. DynaBS는 버퍼 공유와 공유 손실을 종합적으로 고려한 새로운 규칙을 바탕으로, 자체 처리량만 최대화한 이상적인 서비스 상태가 아닌 현재 서비스 상태에서 전이되는 동안의 누적 처리량을 최대화하는 '목표 서비스 상태'라는 분배 계획을 생성한다. 또한, 분배 계획 갱신 주기 사이에서도 계속 변화하는 부하에 대처하기 위하여 목표 서비스 상태에 따라 요청을 할당할 때, 목표 서비스 상태를 이탈하는 요청 할당도 일정 비율 허용한다. 다양한 변화 속도를 가진 동적 부하 실험에서, DynaBS가 빠른 부하 변화에도 버퍼 공유 효과의 손실을 최소화하여 다른 요청 분배 방법들보다 여전히 높은 성능을 내는 것을 확인하였다. 또한, 부하 변화 속도에 알맞은, 목표 서비스 상태의 갱신 주기, 부하 예측 위한 요청 및 VCR 명령의 유지 시간, 요청 할당 이탈 허용 비율 값을 제시하였다.
