In this dissertation, a single stage linear semi-supervised extraction of discriminative independent features is proposed. Discriminant ICA $\It{d}$ICA presents a framework of linearly projecting multivariate data to a lower dimension where the features are maximally discriminant and have minimal redundancy. The optimization problem is formulated as the maximization of linear summation of Negentropy and weighted functional measure of classification. Motivated by independence among features, Fisher linear discriminant is used as the functional measure of classification. Under the unit covariance constraint of extracted $\It{d}$ICA features, maximization of between-class scatter of features matrix is theoretically the same as the maximization of Fisher linear discriminant. It not only reduces the computational complexity of the algorithm but also avoids singularity posed by small within-class scatter. Experimental results show improved classification performance when $\It{d}$ICA features are used for recognition tasks in comparison to unsupervised and supervised feature extraction techniques. $\It{d}$ICA features also give reduced data reconstruction error in comparison to LDA and ICA method based on Negentropy maximization.
Prior to the work on $\It{d}$ICA, a new feature selection (filtering) method was proposed to select discriminant features from a set of unsupervised features. Proposed hybrid feature selection (HFS) method is applied to the union of feature subspaces selected by Fisher criterion and univariate feature-class mutual information (MI). It scores each feature as a linear weighted sum of its MI with multinomial class distribution and Fisher criterion score. HFS selects features with higher class discrimination in comparison to feature-class MI, Fisher criterion or unsupervised selection using variance of features; thus, resulting in improved recognition performance. In addition, it was also highlighted that HFS is an optimal feature selector for statistically independent features.
An attempt is also made to customize web search experience by modeling an adaptive search agent which resides in between the user interface and popular search engine. A model for customized web search, Search-in-Synchrony S$\It{i}$S, is presented. At the heart of S$\It{i}$S, is an adaptive user profile model (UPM) which implicitly has the information seeking behavior of the users. UPM is a set of informative and representative features extracted from the high frequency words in the web search repository. MI can be used as a preprocessing step for supervised selection of discriminant word features from the high frequency word features. Experimental results show improved information retrieval performance from world wide web (WWW) with reduced latency when S$\It{i}$S is used for re-ranking. The web-pages of user`s interest appear with top ranking with a better mean and less deviation when orthonormal or $\It{d}$ICA features are used for modeling of user profile.
본 논문에서는, 변별적 독립 특징을 추출하는 단일 단계의 반 교사적 방법을 제안하였다. 제안된 변별적 독립 성분 분석 $\It{d}$ICA 방법은 다차원 자료를 가장 변별적이면서 중복이 적은 저차원 공간으로 사상하는 틀을 제공한다. 이를 위한 최적화 문제를 음엔트로피와 분류를 위한 척도의 가중치가 고려된 합으로 표현하였다. 특징들 간의 독립이 가정되기 때문에, 분류를 위한 척도로는 Fisher 선형 판별식이 사용될 수 있다. 추출된 $\It{d}$ICA 특징들의 공분산 행렬이 단위 행렬이라는 제한 하에, 특징들의 종류간 흩어짐 척도의 최대화는 이론적으로 Fisher 선형 판별식의 최대화와 동일하다. 이 특성을 이용하여 알고리즘의 복잡도를 감소시키면서 동시에 특징의 종류내 흩어짐 척도가 작을 때 발생하는 특이점 문제를 피할 수 있었다. 실험 결과로부터 제안된 $\It{d}$ICA 특징이 인식 실험에 사용되었을 때 비교사적 방법과 교사적 방법들보다 좋은 성능을 보였다. $\It{d}$ICA 특징은 또한 LDA 방법과 음엔트로피 최대화에 기반한 ICA 방법보다 낮은 자료 복원 오류를 보였다.
$\It{d}$ICA에 대한 연구의 선행 연구로, 비교사적으로 추출된 특징의 집합으로부터 변별적 특징의 집합을 선택하는 방법을 제안하였다. 제안된 복합 특징 선택 방법 (HFS) 은 Fisher 척도를 이용하여 추출한 특징과 개별 특징과 자료 종류와의 상호 정보량 (MI) 을 이용하여 추출한 특징의 합집합에 적용되었다. 제안한 방법은 각 특징의 적합성을 그 상호 정보량과 Fisher 척도의 가중치가 고려된 선형 결합으로 나타낸다. HFS 방법은 특징-자료 종류의 상호 정보량, Fisher 척도, 또는 특징의 분산을 사용한 비교사적 특징 선택 방법에 비해 높은 자료 종류 분별력을 가지는 특징을 선택하였고, 따라서 인식 성능의 향상을 얻을 수 있었다. 또한, HFS 방법은 통계적으로 상호 독립인 특징 집합에 대해 최적의 특징 선택 방법임을 강조하였다.
또한 사용자와 유명한 검색 엔진 사이에서 동작하여 사용자 적응적인 검색 결과를 제공하는 방법을 제안하였다. Search-in_Synchrony S$\It{i}$S 라고 이름 붙여진 사용자 맞춤 웹 검색 엔진이 제시되었다. S$\It{i}$S 의 핵심부는 사용자의 정보 검색을 위한 행동을 대신하는 적응적 사용자 명세 모델 (UPM) 이다. UPM 은 웹 검색 기록에서 나타나는 높은 빈도의 단어들로부터 추출된 유용하고 대표적인 특징의 집합이다. 고빈도 단어 특징으로부터 변별적인 단어 특징을 교사적으로 추출하기 전 단계로 상호 정보량을 이용한 특징 선택이 사용될 수 있다. 실험 결과는 S$\It{i}$S 를 이용하여 검색 결과를 다시 정렬했을 때 사용자가 인터넷으로부터 정보를 성공적으로 얻는 빈도와 얻는 데 드는 시간이 감소함을 보여 주었다. 사용자 명세를 모델링하기 위해 직교 규격화 또는 $\It{d}$ICA 특징이 사용되었을 때 사용자의 관심 대상인 페이지의 우선 순위가 보다 높은 평균과 낮은 편차를 보였다.
