In this paper, we studied a method of transmitting information using neural joint source-channel coding in a noisy communication channel environment. According to the source-channel separation theorem defined by Shannon, it was possible to construct a communication system that separately optimizes source-channel coding. These has limitations in the assumption that infinite-blocklength regime. Through the previous studies that optimize the joint source-channel coding based on machine learning, the encoding and decoding performance has been improved. The neural joint source-channel network still did not show remarkable performance due to the limitation of optimizing the discrete code to compress it into fixed-length codewords and correct errors. In this paper, unlike previous studies that implemented neural joint source-channel coding that maximizes mutual information between data and codewords, the coding process is reparameterized using the Gumbel-Max trick. For baysesian perspective, optimizing variational autoencoder (VAE) by log-likelihood function method is proposed. The experimental results show higher compression and error correction performance in same datasets. By introducing more realistic channel model, we clarify the limitations of the overall model and show the overcome possibilities of our model by using model-agnostic meta-learning (MAML).
본 논문에서는 잡음이 있는 통신 채널 환경에서 뉴럴 결합 소스-채널 코딩을 사용하여 정보를 송신하는 방법에 관하여 연구하였다. 기존 Shannon이 정의한 소스-채널 세퍼레이션 정리 (source-channel separation theorem)에 따르면 소스코딩과 채널고[코]딩을 각각 근사적으로 최적화하는 통신 시스템을 구성할 수 있었으나, 이는 무한 길이의 문자를 전송한다는 가정에 한계가 있다. 소스-채널 코딩을 결합하여 최적화하는 기존의 연구들과 이를 머신러닝 기반 뉴럴네트워크로 구성하는 최근의 연구를 통해 인코딩과 디코딩 성능에 발전을 이루었으나, 인공신경망으로 고정 길이의 비트 문자열로 압축하여 오류를 정정하기에는 이산 코드를 최적화한다는 한계로 인해 뛰어난 성능을 보여주지는 못했다. 본 논문에서는 전송하려는 데이터와 인코딩한 문자열 사이의 상호 정보량을 최대화하는 기존의 뉴럴 결합 소스-채널 코딩 연구와 달리, 데이터를 문자열화 하는 과정을 Gumbel-Max 트릭을 이용해 재매개변수화하여 베이지안 관점에서 변이형 오토인코더의 로그 우도를 최대화하는 방법론을 제안하였다. 학습시 높은 경사 분산 값에 한계를 갖던 기존 연구보다, 실험 결과 동일한 데이터셋에서 더 높은 압축/오류정정 성능을 보여준다. 또한, 선행 연구들 보다 좀 더 현실적인 채널 모델을 제시하여 전체적인 모델 성능의 한계점을 밝히고 모델-불가지론 메타-학습까지 적용하여 극복 할 수 있는 가능성까지 보여 줄 것이다.
