Numerous systems in nature, such as biological systems and active matter, use the energy of fuels in the surrounding environment to perform work through nonequilibrium processes. For example, all life phenomena occur by consuming a fuel called ATP. To understand such processes, we should describe the transformation process between work and heat with thermodynamics. In this thesis, we developed a new method to measure generated heat in the nonequilibrium process of complex systems with high degrees of freedom using deep learning; we also studied to find out the optimal mechanism for maximizing the work of such systems. First, we developed the neural estimator for entropy production (NEEP), a novel method for inferring entropy production (EP) in a nonequilibrium process. While EP is a key quantity in stochastic thermodynamics to describe the energetics of the process, it is difficult to measure using the conventional methods due to the curse of dimensionality when the system has high degrees of freedom. Our NEEP can efficiently address this problem by using deep learning. In particular, this method estimates EP with only trajectory data of the relevant variables, without information about the underlying mechanism of the process. Next, we studied through deep reinforcement learning what the optimal mechanism would be for the nonequilibrium system to perform work optimally. To be specific, we investigated the transport phenomena in small biological systems that have been described by a collective flashing ratchet model. This model transports particles using an asymmetric potential, and the net current of the particles can be increased by feedback control based on the particle positions. Several feedback strategies for maximizing the current have been proposed, but optimal policies have not been reported for a moderate number of particles. The results showed that policies discovered by deep reinforcement learning outperform the previous policies. Moreover, we demonstrated this approach by application to a time-delayed feedback situation that occurs in actual experiments. Our AI-based approaches presented in this thesis are expected to be useful for understanding complex nonequilibrium systems in nature.
자연의 생물학적 시스템 및 활성 물질과 같은 수많은 시스템은 주변 환경의 연료 에너지를 사용하여 비평형 과정을 통해 일을 수행한다. 예를 들어, 모든 생명 현상은 ATP라는 연료를 소비함으로써 발생한다. 이러한 과정을 이해하려면 일과 열 사이의 에너지 변환 과정을 열역학이라는 프레임워크로 기술해야 한다. 본 논문에서는 딥 러닝을 이용하여 자유도가 높은 복잡한 시스템의 비평형 과정에서 발생하는 열을 측정하는 새로운 방법을 개발하고, 이러한 시스템이 일을 최대화하는 최적의 메커니즘을 찾기 위한 연구를 수행했다. 먼저, 우리는 비평형 과정에서 엔트로피 생산량을 추론하는 새로운 방법인 엔트로피 생산량 추정 신경망을 개발하였다. 엔트로피 생산량은 확률적 열역학에서 프로세스의 에너지 역학을 기술하는 핵심 양이지만 시스템의 자유도가 높은 경우 차원의 저주로 인해 기존 방법으로는 측정하기 어렵다. 엔트로피 생산량 추정 신경망은 딥 러닝을 사용하여 이러한 기존 방식의 한계를 극복했다. 특히 이 방법은 프로세스의 작동 메커니즘에 대한 정보 없이 관련 변수의 궤적 데이터만 사용하여 엔트로피 생산량을 추정한다. 다음으로, 우리는 비평형 시스템이 일을 최대로 수행하기 위한 최적의 메커니즘이 무엇일지를 심층 강화 학습을 통해 연구하였다. 구체적으로, 우리는 집단적 점멸 래칫 모델에 의해 설명되는 작은 생물계의 수송 현상을 조사하였다. 이 모델은 비대칭적인 포텐셜을 이용하여 입자를 운반하며, 입자 위치에 따른 피드백 제어를 통해 입자들의 흐름을 증가시킬 수 있다. 흐름을 최대화하기 위한 몇 가지 피드백 전략이 제안되었지만 여러 입자에 대한 최적의 전략은 보고되지 않았다. 연구 결과, 심층 강화 학습으로 학습한 전략이 기존 전략들보다 더 큰 흐름을 만들 수 있었다. 또한 실제 실험에서 발생하는 시간 지연 피드백 상황에서도 이러한 접근 방식을 적용하여 마찬가지로 흐름 향상을 확인하였다. 본 논문에서 제안한 인공지능 접근 방법들이 자연에 존재하는 복잡한 비평형 시스템들을 이해하는 데 큰 도움이 될 것으로 기대한다.
