지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.8
- 수록면
- 1,004 - 1,013 (10page)
- DOI
- 10.9717/kmms.2024.27.8.1004
이용수
초록· 키워드
오류제보하기
Due to the increase in remote communication caused by the COVID-19 pandemic, the importance of emotion recognition in education and psychological counseling has becoming more prominent. Accordingly, multimodal approaches have recently received attention, and research on emotion recognition using these approaches is actively underway. The multimodal approach uses ensemble techniques that average or weight model predictions to predict the final result. However, if one modality shows relatively low performance, it can limit the performance of the entire model. Therefore, to improve the performance of multimodal emotion recognition, it is necessary to enhance the performance of individual modalities. In this paper, we propose a speech data adaptive emotion recognition model using progressive transfer learning by applying domain adaptation techniques. After initially training the designed deep learning model with text data, the fixed weights are progressively reduced and retrained with voice data to effectively combine the characteristics of text and voice for speech emotion recognition. Experimental results confirm that this approach achieves higher performance than models trained solely on voice data and models using general transfer learning. This methodology is expected to contribute to improving multimodal emotion recognition performance and enhancing interaction in non-face-to-face environments.
목차
ABSTRACT
1. 서론
2. 관련 연구
3. 제안하는 방법
4. 실험 결과 및 고찰
5. 결론
REFERENCE
참고문헌 (20)
참고문헌 신청
S. Kim, “Analysis of Press Articles in Korean Media on Online Education related to COVID-19,” Journal of Digital Contents Society, Vol. 21, No. 6, pp. 1091-1100, 2020.
H. Kim, S. Ko, K. Joung, and M. Hyun, “Changes in Topic Regarding Tele-psychotherapy with COVID-19,” Korean Journal of Health Psychology, Vol. 28, No. 2, pp. 259-278, 2023.
E.D. Cahyadi, H.N.H. Soesild, and M. Song. “Enhancing Multimodal Emotion Recognition in Speech and Text with Integrated CNN, LSTM, and BERT Models,” The Journal of Convergence on Culture Technology, Vol. 10, No. 1, pp. 617-623, 2024.
S. Park and D. Kim, “Comparison of Image Classification Performance in Convolutional Neural Network according to Transfer Learn,” Journal of Korea Multimedia Society, Vol. 21, No. 12, pp. 1387-1395, 2018.
A. Jo and K. Kwak, “Diagnosis of Depression Based on Transfer Learning Model Using Audio Data of Interview-Type,” The Transactions of the Korean Institute of Electrical Engineers, Vol. 70, No. 4, pp. 277-283, 2021.
H. Kim, S. Ko, K. Joung, and M. Hyun, “Changes in Topic Regarding Tele-psychotherapy with COVID-19,” Korean Journal of Health Psychology, Vol. 28, No. 2, pp. 259-278, 2023.
E.D. Cahyadi, H.N.H. Soesild, and M. Song. “Enhancing Multimodal Emotion Recognition in Speech and Text with Integrated CNN, LSTM, and BERT Models,” The Journal of Convergence on Culture Technology, Vol. 10, No. 1, pp. 617-623, 2024.
S. Park and D. Kim, “Comparison of Image Classification Performance in Convolutional Neural Network according to Transfer Learn,” Journal of Korea Multimedia Society, Vol. 21, No. 12, pp. 1387-1395, 2018.
A. Jo and K. Kwak, “Diagnosis of Depression Based on Transfer Learning Model Using Audio Data of Interview-Type,” The Transactions of the Korean Institute of Electrical Engineers, Vol. 70, No. 4, pp. 277-283, 2021.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Youtube와 Emotion API를 이용한 음성 기반 감정 인식 AI 시스템
대한전자공학회 학술대회
2018 .06
-
Consistency Regularization을 적용한 멀티모달 한국어 감정인식
대한산업공학회 추계학술대회 논문집
2021 .11
-
Consistency Regularization을 적용한 멀티모달 한국어 감정인식
대한산업공학회지
2021 .12
-
음성 강도를 이용한 감정 분류 연구
한국생산제조학회 학술발표대회 논문집
2021 .12
-
Deep Learning Based Data Fusion Methods for Multimodal Emotion Recognition
한국통신학회논문지
2022 .01
-
Emotion Recognition Implementation with Multimodalities of Face, Voice and EEG
Journal of information and communication convergence engineering
2022 .09
-
딥러닝 기반 얼굴 및 음성 인식을 통한 감정 분석 피드백 서비스
한국정보통신학회 종합학술대회 논문집
2023 .10
-
음성신호기반의 감정인식의 특징 벡터 비교
전기학회논문지
2018 .10
-
A Survey on Data Fusion Methods for Multimodal Emotion Recognition
한국통신학회 학술대회논문집
2022 .06
-
음성 특징과 텍스트 임베딩을 이용한 멀티모달 감정인식
전기학회논문지
2021 .01
-
음성 및 텍스트 데이터를 이용한 멀티모달 감정 인식 모델 개발
한국정보과학회 학술발표논문집
2024 .06
-
Real-time Multimodal Emotion Recognition Based on Multithreaded Weighted Average Fusion
대한인간공학회지
2023 .10
-
STFT를 사용한 음성 신호 기반의 감정 분류 연구
한국생산제조학회지
2021 .10
-
딥러닝 기반 감정인식 성능향상 방법
한국차세대컴퓨팅학회 논문지
2021 .10
-
Real-time Speech Emotion Recognition on Embedded system
한국통신학회 학술대회논문집
2022 .11
-
음성의 음향적 특징과 얼굴 이미지 시퀀스를 이용한 감정인식에 관한 연구
전기학회논문지
2020 .07
-
딥러닝 기반 한국어 감정인식 알고리즘
한국통신학회 학술대회논문집
2022 .06
-
감정 적응을 이용한 감정 인식 학습 방법
전기전자학회논문지
2020 .12
-
A Hybrid approach for speech emotion recognition using 1D-CNN LSTM
한국정보과학회 학술발표논문집
2020 .07
-
Survey on Emotion Recognition Databases
제어로봇시스템학회 국제학술대회 논문집
2022 .11
이 논문과 함께 이용한 논문
사전 학습 모델과 앙상블 기법을 통한 음성 감정인식
서재진
,
강태인
,
곽일엽
한국데이터정보과학회지
2024
.07
음성 및 텍스트 데이터를 이용한 멀티모달 감정 인식 모델 개발
지은주
,
박혜원
,
이원희
한국정보과학회 학술발표논문집
2024
.06
음성감정 추출을 위한 오픈소스 기반 인공지능 설계 및 개발
윤성건
,
권혁찬
,
박은주
외 1명
한국컴퓨터정보학회논문지
2024
.09
아두이노를 이용한 TinyML 기반의 음성인식 구현
구금서
,
서영건
디지털콘텐츠학회논문지
2023
.06
IOT 기술을 활용한 스마트 식물 재배기
김성진
,
이현식
,
김은서
외 4명
한국컴퓨터정보학회 학술발표논문집
2023
.01
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-090654438