Cyber-Physical Systems (CPS) continuously interact with their physical environment through software controllers that observe the environment and determine actions. Engineers can verify to what extent the software controller under analysis can achieve given goals by analyzing its Field Operational Test (FOT) logs. However, repeating many FOTs to obtain statistically significant results is expensive in practice. Simulation-based verification is an efficient alternative for reducing the FOT cost for CPS goal verification. However, it requires an accurate virtual environment model that can replace the real environment interacting with the CPS, and it is challenging to craft the environment model manually.
This dissertation proposes a novel data-driven approach that automatically generates the virtual environment model from a small amount of FOT logs. It generates an environment model that mimics the behavior of the real environment using Imitation Learning (IL). Specifically, this dissertation provides 1) a systematic and comprehensive survey on environment modeling, 2) a formal framework of CPS goal verification and a formal problem definition of environment model generation, 3) a data-driven environment model generation approach using IL, and 4) an empirical evaluation based on case studies of an autonomous driving system goal verification and reusable datasets. The evaluation results show that the approach can generate accurate virtual environment models for CPS goal verification with small FOT log data. Therefore, CPS software engineers can automatically obtain accurate virtual environment models and efficiently verify the controller based on the simulation.
사이버 물리 시스템은 환경을 관측하고 행동을 결정하는 소프트웨어 컨트롤러를 통해 물리적 환경과 지속적으로 상호 작용한다. 엔지니어는 사이버 물리 시스템의 필드 운행 테스트 로그를 분석하여 분석 대상 소프트웨어 컨트롤러가 주어진 목표를 어느 정도 달성할 수 있는지 검증할 수 있다. 그러나 통계적으로 유의미한 검증을 위해 필드 운행 테스트를 다회 반복하는 것은 큰 비용이 든다. 시뮬레이션 기반 검증은 사이버 물리 시스템의 목표 검증에 필요한 필드 운행 테스트의 비용을 줄여주는 효율적인 대안이다. 그러나 이를 위해서는 사이버 물리 시스템과 상호작용하는 실제 환경을 대체할 수 있는 정확한 가상 환경 모델이 필요하고, 그 환경 모델을 수작업으로 만드는 것은 어렵다.
본 학위 논문은 소량의 필드 운행 테스트 로그에서 가상 환경 모델을 자동으로 생성하는 새로운 데이터 기반 기법을 제안한다. 이 기법은 실제 환경의 행동을 모방하는 환경 모델을 모방 학습을 사용하여 생성한다. 구체적으로 본 논문은 1) 환경 모델링에 대한 체계적이고 포괄적인 조사, 2) 사이버 물리 시스템의 목표 검증의 정형 프레임워크와 환경 모델 생성의 정형 문제 정의, 3) 모방 학습을 이용한 데이터 기반 환경 모델 생성 기법, 그리고 4) 자율 주행 시스템의 목표 검증 사례에 기반한 실험적 평가 및 재사용 가능한 데이터를 제공한다. 연구 결과는 본 기법이 사이버 물리 시스템 목표 검증을 위해 정확한 가상 환경 모델을 소량의 필드 운행 테스트 로그 데이터로부터 자동 생성할 수 있음을 보인다. 이로써 사이버 물리 시스템 소프트웨어 엔지니어는 물리 환경에 대한 지식이 부족하더라도 정확한 가상 환경 모델을 자동으로 얻을 수 있고, 컨트롤러를 시뮬레이션에 기반해 효율적으로 검증할 수 있다.
