Recently, the development of smart devices causes a lot of traffic. To deal with the increment of traffic, high data rate is required in mobile networks. There are many schemes to achieve the high data rate. In this thesis, we adopt base station (BS) cooperative communication scheme. In BS cooperative communication, lots of problems occured. Among these problems, we are interested in making combinations of BSs that are participated in the same cooperation. This combination of the BSs are called cluster.
There are two popular schemes in BS clustering issue. One is static clustering, and the other is dynamic clustering. In static clustering, the cluster set is fixed. Their objective is usually maximizing SINR or minimizing outage probability. Static clustering has no computation complexity during service because the cluster set does not change. However, the performance gain is not stable. It depends on the user distribution. When the mobile stations (MSs) are concentrated at the edge of cluster, there is no performance gain due to clustering. On the other hand, dynamic clustering uses instantaneous channel state information. It calculates joint SINR for every BS combination and then finds appropriate BS combination which achieves maximum joint SINR. The performance gain of dynamic clustering is greater than that of static clustering. However, computational complexity of dynamic clustering is very high. It is hard to implement dynamic clustering in real environment. Between the concept of static and dynamic clustering, semi-dynamic clustering is proposed. In semi-dynamic clustering, the system has a number of static clustering sets. The system dynamically chooses one static clustering set in a time slot. Semi-dynamic clustering can get the advantage from the dynamical property of dynamic clustering while reducing the computational complexity.
In this thesis, we propose a novel algorithm for managing the semi-dynamic cluster. We apply a reinforcement learning algorithm in control theory. In reinforcement learning, the agent learns the optimal behavior by reward and state. Therefore, we design the system model for reinforcement learning. We suggest a novel concept of states and reward function that can be suitable for mobile networks. And then, we analyze the algorithm in terms of convergence and computational complexity. In addition, we verify the performance of proposed algorithm by simulation. We simulated spectral efficiency, SINR, convergence property, and computational complexity. In the simulation, the spectral efficiency and SINR of proposed algorithm is better than static clustering but worse than dynamic clustering. However, we showed computational complexity is greatly reduced than dynamic clustering when we apply our proposed algorithm. Therefore, our proposed algorithm can be applied when there is a limited computation resource.
최근 스마트 기기가 널리 보급되면서 높은 데이터 전송 용량을 필요로 하게 되었다. 높은 데이터 전송 용량을 얻기 위해서는 여러 가지 방법이 존재하는데, 본 논문에서는 협력 통신을 이용하여 높은 데이터 전송 용량을 얻고자 한다. 협력 통신에 있는 많은 연구 주제 중에서 본 논문에서는 어떤 기지국들이 협력에 참여해야하는가에 대한 문제를 다룬다. 협력 통신에서 협력하기 위하여 같이 참여하는 기지국들의 집합을 클러스터라 부르며, 협력 통신에서 클러스터를 만드는 문제를 협력 통신에서의 클러스터링 문제라고 부른다.
협력 통신에서의 클러스터링 방법은 크게 두 가지로 나뉜다. 먼저 정적 클러스터링은 협력하는 기지국 집합이 변하지 않는다. 즉, 한 번 만들어진 클러스터가 정적으로 유지된다. 정적 클러스터링의 경우 클러스터가 변하지 않기 때문에 운영이 간편하고 시스템 계산 복잡도가 적다. 하지만 클러스터 경계에 있는 사용자의 경우 클러스터링 이득을 얻기 어렵기 때문에 사용자 분포의 영향을 크게 받는다. 이와 비교되는 방법으로 동적 클러스터링 방법이 있다. 동적 클러스터링 방법은 사용자에게 맞는 클러스터를 그때그때의 순간 채널 정보를 이용하여 만들게 된다. 동적 클러스터링을 이용하는 경우 전체 네트워크의 성능은 정적 클러스터링에 비해 좋아지지만, 시스템의 계산 복잡도가 상당히 높아 구현이 어려워진다. 이러한 두 개념의 중간으로, 준-동적 클러스터링 방식이 있다. 준-동적 클러스터링 방식은 여러 가지의 정적 클러스터 조합을 상황에 맞게 동적으로 운영하게 된다. 준- 동적 클러스터링 방식의 성능은 정적 클러스터링보다는 우수하지만 동적 클러스터링에 비해 저하되며, 계산 복잡도 또한 정적 클러스터링과 동적 클러스터링의 사이에 존재한다. 하지만 준-동적 클러스터링 방법의 경우 적절한 운영 방법이 제안되지 않았다.
본 논문에서는 이러한 준-동적 클러스터링을 운영하는 방법으로 강화 학습 알고리즘을 이용한 방법을 제안하였다. 강화 학습 알고리즘은 기계 학습의 일종으로, 보상을 통해서 학습을 진행해나간다. 하지만 강화 학습 알고리즘을 사용하기 위해서는 적절한 시스템 설계가 필요하다. 따라서 본 논문에서는 강화 학습 알고리즘을 사용하기 위한 시스템 모델을 제안하였고, 그에 따른 보상, 상태, 행동을 정의하였다. 또한 제안하는 시스템 모델에 Q-학습 알고리즘이라는 대중적인 강화 학습 알고리즘을 적용하였다. Q-학습 알고리즘을 시스템에 적용하여 알고리즘을 만든 뒤, 제안하는 알고리즘의 수렴성, 계산 복잡도, 특성 등을 수학적으로 분석하였다.
수학적인 분석에 이어 제안하는 알고리즘의 주파수 효율, 신호 대 간섭 및 잡음 비, 알고리즘의 수렴성, 계산 복잡도 등을 매트랩을 이용한 시뮬레이션을 통하여 검증하였다. 제안하는 알고리즘의 주파수 효율 및 신호 대 간섭 및 잡음 비는 정적 클러스터링보다 우수하지만 동적 클러스터링에 비해 저하된다. 그리고 중앙관리장치의 선택이 진행될수록 동작- 상태 값과 클러스터 선택 확률이 특정 값으로 수렴하는 것을 보였다. 또한, 제안하는 알고리즘과 동적 클러스터링 알고리즘, 최적 알고리즘의 계산 복잡도 그래프를 그려 제안하는 알고리즘이 동적 클러스터링 방안과 비교하여 대단히 적은 계산 복잡도를 가지는 것을 입증하였다. 따라서 제안하는 알고리즘이 동적 클러스터링에 비해 적은 성능 향상을 가져오지만, 계산 복잡도에 있어서는 유리함을 알 수 있다. 결론적으로, 제안하는 알고리즘은 계산에 필요한 자원이 제한된 환경에서 협력 통신을 구현할 때 유용하게 사용할 수 있을 것으로 예상된다.
