As machine learning (ML) becomes prevalent in our daily lives, it is now employed to make critical decisions that affect our lives, cultures, and rights, e.g., screening job applicants and informing bail & parole decisions. With a surge of such applications, one major criterion in the design of ML systems is trustworthiness. To this end, there has been increasing interest in developing an ML system that is not only accurate but also fair and privacy-preserving. In this dissertation, we make efforts toward trustworthy ML on decentralized frameworks. Specifically, we make progress on how we ensure fairness in machine learning, as well as how we enable a higher data rate via feedback for efficient decentralized learning in wireless networks.
In the first part, we focus on fairness in machine learning. Fairness, which aims to design a model that does not discriminate among different demographics and/or individuals, is one key aspect for enabling trustworthy ML. First, we study fairness issues that occur in the context of classifiers. We develop a kernel density estimation (KDE) methodology for a fair classifier that comes with a high accuracy-fairness tradeoff. Second, we explore the fairness issue that arises in recommender systems. Biased data due to inherent stereotypes of particular groups (e.g., male students' average rating on mathematics is often higher than that on humanities, and vice versa for females) may yield a limited scope of suggested items to a certain group of users. We introduce a novel fairness notion (that we call equal experience), which can serve to regulate such unfairness in the presence of biased data. We also propose an optimization framework that incorporates the fairness notion as a regularization term, as well as introduce computationally-efficient algorithms that solve the optimization.
In the second part, we study the fundamental role of feedback in wireless communication. Privacy-preserving machine learning is another key aspect of trustworthy ML. To this end, decentralized learning has been employed instead of collecting all data which contains the private information of users. This decentralized training requires a significant amount of information exchange in wireless networks during the training process. Therefore, wireless impairments such as interference and noise significantly affect the training performance. So as an initial effort to develop an efficient decentralized machine learning framework, we study interaction via feedback in wireless networks to improve the capacity performance of networks. In this dissertation, we explore a deterministic two-way IC which captures key properties of the wireless Gaussian channel, and completely characterize the capacity region of this channel (w.r.t. the forward and backward sum-rate pair) via a new achievable scheme and a new converse. One surprising consequence of this result is that not only we can get an interaction gain over the one-way non-feedback capacities, but we can also sometimes get all the way to perfect feedback capacities in both directions simultaneously.
우리는 기계학습이 만연한 시대에 살고있다. AI 비서, 자율주행. 이제는 이를 넘어서 인권이나 공정성 관련된 영역까지 AI가 인간을 대체하고 있다. 이러한 시대에 기계학습 시스템을 디자인할 때 중요한 요소는 신뢰성이다. 신뢰할 수 있는 기계학습의 중요한 두 가지 요소로는 공정성과 프라이버시가 있다. 본 논문에서는 분산 프레임워크에서 신뢰할 수 있는 기계학습을 향한 노력을 하였다. 구체적으로, 우리는 기계학습에서 공정성을 어떻게 보장하는지, 그리고 효율적인 분산 학습을 위해, 무선통신에서 피드백을 통해 데이터 전송속도를 늘리는 방법에 대하여 연구하였다.
첫 번째 파트에서는, 공정성을 보장하는 기계학습 내용을 다뤘다. 기계학습에서의 공정성은 학습된 모델이 특정 그룹이나 개인을 차별하지 않는 것을 목표로한다. 첫째, 우리는 분류기에서 발생하는 공정성 이슈들을 살펴보고, 최적의 정확도-공정성 트레이드오프 성능을 달성하는 커널밀도추정 기반의 공정성 보장 알고리즘을 개발하였다. 둘째, 우리는 추천시스템에서 발생할 수 있는 공정성 이슈를 연구하였다. 편향된 데이터로부터 학습된 추천시스템의 경우 특정 유저그룹에게 제한된 아이템만을 추천하는 문제가 발생할 수 있다. 이를 해결하기 위해 우리는 새로운 공정성 개념을 소개하였으며, 이 공정성을 보장하는 최적화 문제 기반의 학습 프레임워크, 그리고 최적화 문제를 푸는 효율적인 알고리즘을 개발하였다.
두 번째 파트에서는, 무선 네트워크에서 피드백의 역할을 연구하였다. 프라이버시 보장 학습은 신뢰할 수 있는 기계학습의 또 다른 중요한 요소이다. 이를 위해 사용자들의 데이터를 모아서 학습하는 방식이 아닌 분산학습 방법들이 이용되어 왔다. 분산학습 과정에서는 무선네트워크를 통해 많은 정보교환이 발생하고, 이로인해 간섭, 노이즈와 같은 무선장애 등이 학습 성능에 많은 영향을 미친다. 효율적인 분산학습 프레임워크 개발을 위한 기초적인 노력으로 우리는 무선네트워크의 피드백을 통한 협력이 간섭채널의 통신용량에 어떤 영향을 주는지 연구하였다. 본 논문에서 우리는 무선 가우시안 채널의 특성을 잘 캡쳐하는 특정 양방향 간섭채널을 고려하였으며, 새로운 통신기법과 컨버스기법 개발을 통해 통신용량을 완벽히 규명하였다. 여기서 놀라운 사실은 피드백이 통신용량 증가를 일으킬 뿐만 아니라 때로는 양방향으로 동시에 완전한 피드백이 주어졌을 때의 이상적인 용량을 얻을 수 있다.
