In this thesis, a novel multimedia identification system based on quantum-inspired hashing is considered. Many traditional systems are based on binary hash which is obtained by encoding intermediate hash extracted from multimedia content. In the system considered, the intermediate hash values extracted from a query are encoded into quantum hash values by incorporating uncertainty in the binary hash values. For this, the intermediate hash difference between the query and its true-underlying content is considered as a random process. Then, the uncertainty is represented by the probability density estimate of the intermediate hash difference. The quantum-inspired hashing system is evaluated using both audio and video databases, and with marginal increment in computational cost, the quantum-inspired hashing system is shown to be more robust against various distortions than the binary hashing system using the same intermediate hash values. In addition, this thesis also considers a query video clip with shot insertion and deletion. Previous multimedia hashing systems have focused on extracting robust multimedia hash values against various quality degradations of video such as brightness change, frame rate change, camcoder attack, etc. Recently, some systems have focused on the temporal distortions such as linear play-speed changes. To consider the shot insertion and deletion, the query is modeled a cyclic Markov random field model whose nodes are associated with the shots in the query video. The latent variable of a node is defined as the index of binary hash vector in the database that matches with a shot. When the query is fed into the system, the system segments the query into shots to construct its graph. Then, the best-matched latent variables are estimated using the loopy belief propagation algorithm. To reduce the computational cost of the loopy belief propagation algorithm, the domain of the latent variable of a node is defined as the nearest neighbors of the shot associated with the node. For this, we use an efficient search algorithm based on the reliability of multimedia hash values. The experimental results show that the shot-identification performance can be improved by considering its adjacent shots when the short shots are deleted and inserted.
이 학위 논문에서는 양자 개념을 도입한 멀티미디어 식별 시스템을 제안한다. 기존의 많은 시스템들은 실수 값의 중간 해시 값을 이진 값으로 부호화 한 이진 해시를 이용하여 멀티미디어 식별을 수행한다. 제안된 시스템에서는 멀티미디어 식별 시스템의 입력이 여러 종류의 왜곡을 통하여 원본과는 다른 형태로 변형되었다고 가정한다. 이러한 가정하에서, 입력이 들어오면 이 입력에 해당하는 원본의 이진 해시 값이 0또는 1일 불확실성을 측정하고 이를 이용하여 양자 해시라 불리는 값을 추출한다. 이를 위해, 변형된 멀티미디어 컨텐츠에서 추출한 중간 해시 값과 원본 멀티미디어 컨텐츠에서 추출한 중간 해시 값의 차이가 확률 과정(random process)를 따른다고 가정하고, 이를 이용하여 이진 해시 값의 불확실성을 추정된 중간 해시 값의 확률 밀도 함수를 이용하여 측정한다. 제안된 양자 개념을 도입한 멀티미디어 식별 시스템은 다양한 종류의 왜곡에 대해 기존의 이진 해시 시스템에 비해 강인함을 실험적으로 확인할 수 있었다. 또한 이 논문은 샷(shot) 단위의 삽입 및 삭제에 강인한 멀티미디어 식별 시스템을 제안한다. 기존의 멀티미디어 식별 시스템은 영상/소리의 화질/음질 왜곡에 강인한 멀티미디어 식별을 수행하는데 목표를 두고 있다. 본 학위 논문에서는 샷 단위의 삽입 및 삭제가 존재하는 멀티미디어를 인식하기 위해, 입력 비디오를 샷들의 연결로 이루어진 순환적인(cyclic) 마르코프 랜덤 필드(Markov random field) 형태로 모델링한다. 먼저 입력 비디오가 들어오면, 시스템은 이 입력을 샷 단위로 분리한다. 각각의 샷에 대해 이 샷에 해당하는 멀티미디어 컨텐츠의 DB 상의 인덱스에 대한 추정치를 잠재 변수(latent variable)로 가지는 노드를 만들고, 이 샷에 해당하는 양자 해시 값을 그 샷의 관측치(observation)로 설정한다. 이러한 그래프를 구성한 후, 믿음 전파(belief propagation) 알고리즘을 이용하여 각 샷 들에 해당하는 최적화된 DB 인덱스를 찾아낸다. 제안된 그래프 모델 기반 인식 시스템은 샷 단위의 삽입과 삭제가 있는 경우 기존의 시스템에 비해 보다 강인한 성능을 보임을 실험적으로 확인할 수 있었다.
