Automated understanding and reasoning of semantic knowledge of multimedia are an intrinsic problem in the area of multimedia information analysis. Their ultimate goal is to come up with integral computational model of semantic knowledge understanding and reasoning in view of human visual perception. Multimedia contents are equivalent to human sensory data. Even though understanding and reasoning on those sensory data are innate skills in human beings, these become extremely difficult tasks for multimedia information analysis in analogous way. As digital multimedia is getting popular, a great amount of researches has been done for enhanced functionalities in specific applications. In particular, lots of archiving technologies have been raised for managing, organizing, and searching desired images in a fast and convenient way.
In this thesis, we propose a schematic model for representation and understanding of semantic knowledge in personal image collection, mostly focused on photographs. The main contribution is that multiple types and levels of semantic knowledge of photos is represented and modeled with a variety of syntactic and semantic features that are from photo-acquisition devices, and also they are understood by aids of temporal and spatial context within a photo collection. Herein, the major types of photo semantic knowledge are defined as category, situation or event, and person-identity semantics, each of which is separately modeled by different methodology, but the basic idea behind the proposed semantic photo albuming method is semantic knowledge discovery incorporated with syntactic information. The semantic knowledge in photo is related to contexts in view of temporal and spatial domains. The detailed contributions are presented as follow: (1) a schematic model for representation and understanding semantic knowledge of photo in a semantic hierarchy; (2) enhanced photo categorization approach that integrates local and global semantic detection with aids of syntactic features on multi-layered classification models for multi-label photo categorization; (3) situation or event based photo indexing approach for quick browsing and navigation, which considers both temporal and visual photo contexts in a small period of taken time; (4) person identity based photo indexing that uses human appearance information including facial and clothes features as person identity, employed on a hierarchical clustering approach based on situation semantics; and (5) a promising photo album system that operate based on a new application format to digital photo album that enables consuming personal image collection via semantic-oriented navigation and browsing.
영상 데이터로부터 유효한 의미 정보를 이해하고 추론하는 일은 영상 정보처리 분야에서 매우 중요한 문제이다. 상기 문제 해결의 궁극적 목표는 인간의 시각 인지 원리를 이해하고, 구체적인 모듈에 대응되는 통합적 수학 모델을 개발하는 일이다. 영상 데이터는 인간의 시간 인지 데이터와 동등하게 간주될 수 있는데, 이러한 시각 인지 데이터들을 이해하고 추론하는 일은 인간의 기본 능력이지만, 영상 정보 처리 시스템이 인간과 유사한 방법으로 동등한 일을 수행하는 것은 매우 어렵다. 이는 영상 데이터로부터 추출한 특징들과 인간의 시각 인지 시스템을 연결시키는 통합적 수학 모델이 부재하거나 어렵기 때문이다. 최근 수 많은 연구자들이 관련된 문제들을 해결하기 위한 방안을 제시하였고, 특히 내용 기반 영상 색인 기술은 영상의 신속한 검색 및 관리를 위한 유용한 해결책으로 간주되었다. 그럼에도 불구하고, 색상/질감/모양 등의 내용 기반 특징들만으로 인간이 인지하는 의미 정보를 자동으로 추출하는 일은 여전히 도전 과제로 남아있다. 본 논문에서는 보다 효과적인 영상 색인 방법으로 사진으로부터 의미 정보를 표현하고 추출하는 과정에 있어서, 사진의 의미 정보를 다중의 타입과 레벨로 표현하고, 의미 정보의 자동 추출을 위하여 다양한 신택틱 특징들을 활용하는 방법을 제안한다. 신택틱 특징들은 내용 기반 비주얼 특징 정보와 카메라 메타데이터 특징 정보로 구성된다. 카메라 메타데이터는 영상의 픽셀 이외의 다양한 부가 정보를 제공해줌으로써, 한 장의 사진 혹은 일련의 사진 집합에 대한 컨텍스트 특징을 유추하는데 이용된다.
본 논문에서는 사진을 촬영하는 당시의 주변 환경에 대한 정보를 가지는 획득 컨텍스트 특징 정보, 공간적 컨텍스트 특징 정보, 그리고 시간적 컨텍스트 특징 정보를 주요 컨텍스트 특징 정보로 이용한다. 본 논문에서는 사진에 포함된 상황, 카테고리, 인물에 따라 사진을 색인하는 방법을 제안한다. 상황 기반 사진 색인은 신속한 사진 브라우징을 위한 색인 방법으로써 비슷한 시간 내에 촬영한 사진들은 비슷한 비주얼 컨텍스트를 가진다는 점에 착안한 색인 방법이다. 카테고리 기반 사진 색인은 사진에 촬영된 의미 있는 장면의 개념들에 기반하여 사진을 색인하는 방법으로써 사진내에 포함된 다중의 의미 정보를 추출하기 위하여 로컬 및 글로벌 식별 모델을 가진 다중 계층의 카테고리 식별자를 구성하는 색인 방법이다. 인물 기반사진 색인은 사진에 촬영된 관심 인물들에 기반하여 사진을 색인하는 방법으로써 전통적으로 이용되었던 인물의 얼굴 정보 뿐만 아니라, 인물의 옷 정보를 함께 이용하는 색인 방법이다. 상기 사진 색인 방법들은 비록 색인하고자 하는 의미 정보에 따른 방법의 차이가 존재하나 컨텍스트 특징 정보를 활용 한다는 점에서 동일하다. 마지막으로, 본 논문에서는 상기 사진 색인 정보를 사진 앨범 메타데이터로 구성하는 방법을 제안하고, 일련의 사진 집합과 관계된 메타데이터를 하나의 형태로 통합하는 새로운 미디어 응용 형식을 제안 한다. 상기 사진 색인 방법에 따른 사진 앨범 메타데이터 생성 시스템 및 사진 앨범 응용 시스템을 구현하였으며, 제안된 사진 색인 방법 및 제안된 미디어 형식이 사진의 의미적 소비를 가능하게 함을 확인하였다.
