This dissertation considers machine learning aided physical layer security for wireless communications. At first, we propose an artificial noise (AN)-aided secure multiple-input single-output non-orthogonal multiple access (NOMA) scheme. In the design of the proposed scheme, we consider fairness that all the users have higher secrecy rates as compared to those given by a competing orthogonal multiple access (OMA) scheme. Despite its importance, the fairness aware design has remained rarely touched since it is mathematically intractable. This work shows that this problem can be efficiently solved by utilizing a deep neural network as the precoder for the information and AN signals even without resorting to some assumptions such as a large antenna array and/or a high signal-to-noise ratio. We will also propose an adaptive mode that switches the access protocol from the OMA scheme to the NOMA scheme only when fairness is met. The performance of the proposed secure NOMA scheme will be extensively evaluated and compared with existing NOMA and OMA schemes. The comparisons clearly show that the sum secrecy rate can be significantly improved while guaranteeing the fairness, which however cannot be achieved with the existing NOMA scheme. Secondly, we study a covert communication scheme for an uplink multi-user scenario in which some users are opportunistically selected to help a covert user. In particular, the selected users emit interference signals via an orthogonal resource dedicated to the covert user together with signals for their own communications using orthogonal resources allocated to the selected users, which helps the covert user hide the presence of the covert communication. For the covert communication scheme, we carry out extensive analysis and find system parameters in closed forms. The analytic derivations for the system parameters allow one to find the optimal combination of system parameters by performing a simple one-dimensional search. In addition, the analytic results elucidate relations among the system parameters. In particular, it will be proved that the optimal strategy for the non-covert users is an on-off scheme with equal transmit power. The theoretical results derived in this work are confirmed by comparing them with numerical results obtained with exhaustive searches. We demonstrate that the results of work can be utilized in versatile ways by demonstrating a design of covert communication with energy efficiency into account. Finally, we study a covert communication scheme in which some users are opportunistically selected to emit interference signals for the purpose of hiding the communication of a covert user. The study is conducted in a generic setup where the channels between pairs of entities in the scheme are allowed to be correlated. For the setup, we optimize system parameters of the scheme utilizing Q-learning, which however is plagued with long learning time and large storage space when the dimension of the state gets large and/or a fine resolution of reward function value is necessary. To resolve the technical challenge, this work proposes a scalable Q-learning which recursively narrows down the discretization level of the continuous state in an iterative fashion. To confirm the results in this work, the system parameters are evaluated with theoretical results for independent channels and compared with the ones from the proposed scalable Q-learning results. In addition, this work demonstrates that the channel correlation is beneficial to have a higher throughput of covert communication, which has never been discussed before.
본 논문에서는 무선 통신을 위한 기계 학습 기반 물리 계층 보안 연구를 수행하였다. 첫째로, 인공잡음을 이용하여 도청채널을 열화시키는 심층 신경망 기반의 보안 다중 입력 단일 출력 비직교 다중 접속 방식에 관한 연구를 제안하였다. 보안 비직교 다중 접속 방식에 대한 설계시, 비직교 다중 접속 방식의 지원을 받는 모든 사용자들의 보안 전송률이 직교 다중 접속 시스템에서의 보안 전송률보다 높게 설정되도록하는 공평성을 고려하였다. 공평성은 사용자들이 비직교 다중 접속 시스템을 사용하는 매우 중요한 이유이므로 공평성을 고려한 비직교 다중 접속 시스템 설계는 필수적이나, 이러한 중요성에도 불구하고, 기존의 연구들에서는 수학적으로 다루기 어렵다는 이유로 공평성을 고려한 연구들이 진행되지 않았다. 따라서, 본 논문은 심층 신경망을 사용하여 무한한 다중 안테나, 높은 신호대 잡음비 같은 비현실적인 가정 없이 공평성을 고려한 보안 프리코더를 설계가 가능함을 보인다. 또한, 공평성이 충족되는 경우에만 시스템 프로토콜을 직교 다중 접속 방식에서 비직교 다중 접속 방식으로 전환하는 적응형 모드를 제안한다. 제안된 보안 비직교 다중 접속 시스템이 기존 비직교 다중 접속 시스템 및 직교 다중 접속 시스템 방식에 비해 공평성을 확보하면서 보안 합 전송률을 크게 향상될 수 있음을 성능 평가를 통해 입증한다. 둘째로, 일부 사용자가 은밀 사용자의 정보 전송을 위해 선택적으로 간섭 신호를 보내는 상향링크 다중 사용자 기반의 새로운 은밀 통신 방식에 대해 연구한다. 이 연구에서는 은밀 통신을 위한 다중 사용자 기반 상향링크에서 최적화 된 시스템 파라미터들을 닫힌 식 형태로 찾아내어 파라미터들 관계를 명백하게 유도하였다. 특히, 은밀 통신을 위한 다중 사용자의 최적의 전략이 동일한 전송 전력을 갖는 온-오프 방식임을 증명하고 시스템 파라미터에 대한 수학적 분석을 통해 1차원 검색 수행만으로 전체 시스템 파라미터의 최적 설계가 가능함을 보인다. 또한, 유도된 이론적 결과와 실험적 결과의 비교를 통해 이론적 결과 검증을 진행하고 에너지 효율성을 고려한 은밀 통신 설계가 가능함을 보임으로써 유도된 닫힌 식 형태의 최적 시스템 파라미터 분석 결과들이 다양한 방식으로 활용 가능함을 보인다. 마지막으로, 다중 사용자가 존재하는 상향링크 상황에서 사용자 채널 사이의 상관도가 존재하는 경우 다중 사용자 은밀 통신에 대해 연구한다. 이때, 은밀 통신을 위한 최적의 파라미터 설계를 위해 강화 학습 방법 중 하나인 Q-학습을 활용한다. Q-학습은 상태 차원이 큰 경우, 긴 학습 시간과 큰 저장 공간이 필요한 문제점이 존재한다. 이 문제 해결을 위해, 반복적인 방법을 이용하여 빠른 학습과 높은 정확도의 학습 결과를 얻을 수 있는 확장 가능 Q-학습 방식을 제안한다. 제안한 확장 가능 Q-학습 결과 검증을 위해 사용자 사이의 채널이 독립적인 경우에서의 이론적인 결과와 비교하였으며, 검증된 결과 바탕으로 채널의 상관도가 있는 상황에서 성능평가를 한다. 결과적으로, 채널 상관도가 은밀 통신에서 적법 사용자 사이의 높은 처리량을 얻게 할 수 있음을 입증한다.
