Chapter 1.
With the advent of hyper-connected society, the researches of smart flexible sensor systems have been reported to demonstrate the sensing/recognition interface. The voice user interface (VUI) has been spotlighted as the most intuitive human–machine interface, replacing conventional touch-based electronic systems. Due to extremely convenient and bilateral communication, smart acoustic sensors are the core technology of internet of things (IoT) and artificial intelligence (AI) for speaker recognition, biometrics, personalized AI secretary, and smart home appliances.
Recently, flexible piezoelectric acoustic sensors (f-PAS) have attracted significant attention to
improve the sensitivity and recognition rate by mimicking the resonance mechanism of basilar membrane in human cochlea. Narrow part (base) intensively responds to high frequency sound, while low voice frequencies can vibrate the membrane at wide region (apex). The flexible piezoelectric membrane of trapezoidal shape can detect minute sound from far distance by generate the electrical voltage signal via extreme resonant vibration according to voice wave. The self-powered f-PAS shows higher sensitivity over human utterance frequency range compared to commercial condenser microphone, because this capacitive sensors belongs to non-resonant type designed to resonate above voice spectrum for flat frequency response. In addition, analogous to 3,500 inner hair cells, the f-PAS can produce
abundant voice information for speech processing depending on channel width, due to multiple IDE channels. The highly sensitive piezoelectric membrane can consistently exhibit above merits without degradation over humidity and heat, via the durability of inorganic thin film materials. In this thesis, the advanced biomimetic flexible piezoelectric acoustic sensors were demonstrated by considering the
material effect (piezoelectric coefficient, modulus, and density) and mechanical design (width, thickness, and pores).
Chapter 2.
In the era of artificial intelligence of things (AIoT), enabling the signal detection and recognition/prediction simultaneously, machine learning-base flexible piezoelectric acoustic sensors (f-PAS) have attracted intensive interest as a potential key technology of voice user interfaces (VUI). However, the most challenging obstacle for real-life application of highly sensitive biomimetic f-PAS is signal distortion issue caused by the fundamental difference compared with the commercial microphones. In addition, previous f-PAS exhibited narrow frequency response up to 4 kHz, which is insufficient to cover the full phonetic region of human voices (0.1 ~ 8 kHz). Here, a noise-robust flexible piezoelectric acoustic sensor (NPAS) was fabricated by locating the multi-resonant bands outside the noise dominant spectrum. To broaden the voice coverage up to 8 kHz, an advanced piezoelectric membrane (Nb-doped PZT; PNZT) was adopted with the optimized material/dimension design. Deep learning-based multi-channel NPAS showed the outstanding improvement in speech processing including speaker recognition and speech enhancement under noisy condition, compared to a conventional microphone.
Chapter 3.
For the personalized Artificial Intelligence of Things (AIoT) services, the electronics should accurately respond to the command via the voice recognition of deep learning (DL) algorithms. In addition, to stimulate the auditory nerve of patients with the deafness, the hearing aids should be developed for amplifying the mechanical vibrations over high-frequency range. The detected voice intensity in the range of 6 – 8 kHz is crucial for the accurate speech recognition. The fundamental resonances should be designed with the additional dimension variation of f-PAS, since the most informative voice data such as the voiced consonants of /s/, /z/, /$\theta$/, /$\eth$/, /f/, and /v/ is located above 6
kHz range. Since the electromagnetic interference (EMI) noise is a critically undesirable signal to affect intrinsic speech information, such as the fundamental frequency, harmonics, formant, and spectrum, the inherent less noise-interfered voice signals of hardware sensor should be acquired.
Herein, we have demonstrated a thickness-changed (gradual and step type) piezoelectric acoustic sensor (GPAS and SPAS) with flexible PMN-PNN-PT membrane by mimicking the thickness structure of human basilar membrane for full-phonetic spectrum coverage. While the gradual PI substrates were fabricated vi the molding process of vanish solution, the UV laser ablation method was
adopted to form the 7 step-structured film. In addition, to compensate the high bending rigidity of thick PI parts, the PMN-PNN-PZT was optimized to have almost 2 times higher piezoelectric properties than PZT. In addition, the differential electrode design was successfully demonstrated to show the opposite piezoelectric signs of splitted IDEs. Via the differential signal processing, high-frequency electrical noise was removed. Finally, the recorded signals of GPAS and SPAS were utilized to process the speaker recognition, and transmit far-distance voices for hearing aids, respectively.
Chapter 4.
Since the VUI systems are applied in social communications, business meeting, and court trials, the acoustic sensors should have the capability of far-distant voice recording and multi-speaker identification. Therefore, the accurate speech separation is required to improve the speech recognition rate by producing the clean signals of target voices without the undesirable interferences. The human ear can easily detect what each people said simultaneously even in the noisy condition, due to the frequency-selectivity. Recent research reported the sensitivity and frequency-selectivity are attributed to tectorial membrane (TM). However, the high frequency-selectivity (low damping) induces the narrow bandwidth (high quality factor), which should be compensated by the high piezoelectric properties for
full-phonetic coverage. Furthermore, for the real-life VUI applications, multiple f-PAS with the uniform properties should be fabricated based on the large-scale process.
Herein, we successfully demonstrated the large-scale fabrication of tectorial membrane-inspired
flexible piezoelectric acoustic sensors (TM-PAS) via the parylene-C deposition on La-doped PZT (PLZT) surface. The optimized PLZT film showed the 1.5 times higher piezoelectric voltage coefficient compared to PZT, which indicated the capability of detecting more far-distant voices. To obtain the uniformly detached PLZT membrane from a rigid 4-inch wafer, the coupling agent was treated on the
surface before the parylene coating. The analysis result of finite element method (FEM) simulation suggested the higher sensitivity and frequency-selectivity, which was verified by the measured TM-PAS properties. At last, the speech signals of TM-PAS were successfully separated from the mixtures with undesirable data to each user voice.
1장.
초연결 사회의 도래와 함께 센싱/인식 인터페이스를 실증하기 위한 스마트 플렉서블 센서 시스템에 대한 연구가 보고되고 있다. 음성 사용자 인터페이스(VUI)는 기존의 터치 기반 전자 시스템을 대체하는 가장 직관적인 인간-기계 인터페이스로 각광받고 있습니다. 매우 편리한 양방향 통신으로 인해 스마트 음향 센서는 화자 인식, 생체 인식, 맞춤형 AI 비서 및 스마트 가전을 위한 사물 인터넷(IoT) 및 인공 지능(AI)의 핵심 기술입니다.
최근 유연한 압전 음향 센서(f-PAS)가 많은 관심을 받고 있습니다. 인간 달팽이관의 기저막의 공명 메커니즘을 모방하여 감도와 인식률을 향상시킵니다. 좁은 부분(베이스)은 고주파 소리에 집중적으로 반응하는 반면, 낮은 음성 주파수는 넓은 영역(정점)에서 막을 진동시킬 수 있습니다. 사다리꼴 형태의 유연한 압전막은 음파에 따라 극한의 공진진동을 통해 전압 신호를 발생시켜 먼 거리에서도 미세한 소리를 감지할 수 있다. 자체 전원 f-PAS는 상업용 컨덴서 마이크에 비해 인간 발화 주파수 범위에서 더 높은 감도를 나타냅니다. 이 정전 용량 센서는 평탄한 주파수 응답을 위해 음성 스펙트럼 이상에서 공진하도록 설계된 무공진 유형에 속하기 때문입니다. 또한 f-PAS는 3,500개의 내부 유모 세포와 유사하게 다중 IDE 채널로 인해 채널 폭에 따른 음성 처리를 위한 음성 정보가 풍부합니다. 고감도 압전막은 무기박막 소재의 내구성으로 습도와 열에 의한 열화 없이 위와 같은 장점을 지속적으로 발휘할 수 있습니다. 본 논문에서는 재료 효과(압전 계수, 모듈러스 및 밀도) 및 기계적 설계(폭, 두께 및 기공)를 바탕으로 첨단 생체모방 유연 압전음향센서를 시연하였다.
제 2 장.
신호 감지와 인식/예측이 동시에 가능한 사물인공지능(AIoT) 시대에 머신러닝 기반의 플렉서블 압전음향센서(f-PAS)는 음성사용자인터페이스(VUI)의 잠재적 핵심 기술로 주목받고 있다. 그러나 고감도 생체모방 f-PAS의 실생활 적용에 가장 큰 걸림돌은 상용 마이크와의 근본적인 차이로 인한 신호 왜곡 문제이다. 또한, 기존의 f-PAS는 최대 4kHz의 좁은 주파수 응답을 나타내어 사람 목소리의 전체 음성 영역(0.1~ 8kHz)을 커버하기에는 부족했습니다. 여기에서 다중 공진 대역을 잡음 우세 스펙트럼 외부에 위치시켜 잡음에 강한 유연한 압전 음향 센서(NPAS)를 제작했습니다. 음성 커버리지를 최대 8kHz까지 확장하기 위해 최적화된 소재/치수 설계로 고급 압전 멤브레인(Nb-doped PZT; PNZT)을 채택했습니다. 딥러닝 기반의 다채널 NPAS는 화자 인식, 시끄러운 조건에서의 음성 향상 등 음성 처리에서 기존 마이크에 비해 월등한 향상을 보였다.
3 장.
개인 맞춤형 사물인터넷(AIoT) 서비스를 위해서는 전자장치가 딥러닝(DL) 알고리즘의 음성인식을 통해 명령에 정확하게 반응해야 한다. 또한 난청 환자의 청신경을 자극하기 위해서는 고주파 영역에 기계적 진동을 증폭시키는 보청기의 개발이 필요하다. 6~8kHz 범위에서 감지된 음성 강도는 정확한 음성 인식에 매우 중요합니다. /s/, /z/, /$\theta$/, /$\eth$/, /f/, /v/의 유성자음과 같은 가장 유익한 음성 데이터는 6 kHz 범위 이상에 위치하기 때문에, 기존의 f-PAS는 추가적인 차원 변화 등을 통해 근본적인 공진을 새로이 설계해야 합니다. EMI(Electromagnetic Interference) 노이즈는 기본 주파수, 고조파, 포만트, 스펙트럼과 같은 음성 고유 정보에 영향을 미치는 매우 바람직하지 않은 신호이므로 하드웨어 센서의 고유한 노이즈 간섭이 적은 음성 신호를 획득해야 합니다.
여기에서 우리는 전체 음성 스펙트럼 커버리지를 위해 인간 기저막의 두께 구조를 모방하여 유연한 PMN-PNN-PT 멤브레인을 사용하여 두께 변화(점진적 및 단계적 유형) 압전 음향 센서(GPAS 및 SPAS)를 시연했습니다. 점진적인 PI 기판은 배니시 용액의 몰딩 공정을 통해 제조되는 반면, UV 레이저 어블레이션 방법은 7계단 구조의 필름을 형성하기 위해 채택되었습니다. 또한 두꺼운 PI 부품의 높은 굽힘 강성을 보완하기 위해 PMN-PNN-PZT는 PZT보다 거의 2배 높은 압전 특성을 갖도록 최적화되었습니다. 또한, 차동 전극 설계는 분할된 IDE의 반대 압전 신호를 보여주기 위해 성공적으로 시연되었습니다. 차동 신호 처리를 통해 고주파 전기 노이즈 제거를 할 수 있었습니다. 마지막으로, 녹음된 GPAS와 SPAS의 신호는 보청기용 화자 인식 처리와 원거리 음성 전송에 각각 활용되었다.
4장.
VUI 시스템은 사교 커뮤니케이션, 비즈니스 회의 및 법원 재판에 적용되기 때문에 음향 센서는 원거리 음성 녹음 및 다중 화자 식별 기능이 있어야 합니다. 따라서 바람직하지 않은 간섭 없이 대상 음성의 깨끗한 신호를 생성하여 음성 인식률을 향상시키기 위해서는 정확한 음성 분리가 필요합니다. 사람의 귀는 주파수 선택성으로 인해 시끄러운 상황에서도 각 사람이 동시에 말한 내용을 쉽게 감지할 수 있습니다. 최근 연구에서는 민감도와 주파수 선택성이 tectorial membrane(TM)에 기인한다고 보고했습니다. 그러나 높은 주파수 선택도(낮은 댐핑)는 좁은 대역폭(높은 품질 계수)을 유발하므로 전체 음성 범위를 감지하기 위해서 높은 압전 특성으로 보상되어야 합니다. 또한 실생활 VUI 적용을 위해서는 대규모 공정을 기반으로 균일한 특성을 가진 여러 개의 f-PAS를 제작해야 합니다.
여기에서 우리는 tectorial membrane에서 영감을 얻은 대규모 제작을 성공적으로 시연했습니다. La 도핑된 PZT(PLZT) 표면에 파릴렌-C 증착을 통한 유연한 압전 음향 센서(TM-PAS). 최적화된 PLZT 필름은 PZT에 비해 1.5배 높은 압전 전압 계수를 나타내어 더 멀리 있는 음성을 감지할 수 있음을 나타냅니다. 단단한 4인치 웨이퍼에서 균일하게 분리된 PLZT 멤브레인을 얻기 위해 커플링제를 파릴렌 코팅 전 표면. FEM(Finite Element Method) 시뮬레이션 해석 결과 높은 감도와 주파수 선택도를 제시하였으며, 측정된 TM-PAS 특성으로 이를 검증하였다. 마침내 TM-PAS의 음성 신호는 바람직하지 않은 데이터가 혼합된 혼합물로부터 각 사용자 음성으로 성공적으로 분리되었습니다.
