인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 장준혁
- 발행연도
- 2024
- 저작권
- 한양대학교 논문은 저작권에 의해 보호받습니다.
이용수1
초록· 키워드
상세정보 수정요청해당 페이지 내 제목·저자·목차·페이지정보가 잘못된 경우 알려주세요!
자동 오디오 캡셔닝 (automated audio captioning)은 오디오 신호를 분석하여 해당 오디오에 대한 설명을 자연어로 생성하는 분야이다. 이 기술은 오디오의 다양한 내용을 정확하게 이해하고 텍스트로 변환하는 과정을 포함하며, 이는 언어 처리 기술과 결합되어 자동 자막생성, 미디어 콘텐츠 생성 등의 다양한 응용 분야에서 활용된다. 오디오 인코더로는 CNN과 RNN 같은 딥러닝 기술이 주로 사용되며, 텍스트 디코더로는 BART, GPT와 같은 대규모 언어 모델을 기반으로 한 연구가 활발히 이루어지고 있다. 최근 멀티모달 기술에 대한 관심이 증가함에 따라 오디오와 이미지를 결합한 오디오 캡셔닝 연구가 진행되고 있다. 이러한 접근 방식은 오디오 캡션의 정확성과 맥락을 크게 향상시킬 수 있는 잠재력을 지니고 있지만, 오디오, 이미지, 그리고 캡션을 모두 포함하는 종합적인 데이터셋의 부족으로 인해 연구에 상당한 제약이 따르고 있다. 이에 본 논문에서는 오디오-이미지 생성 모델을 통합하여 새로운 오디오 캡셔닝 모델을 제안하고, 다양한 오디오-이미지 결합 방법을 탐구한다. 제안된 구조는 기존 데이터셋의 한계를 극복하고, 향상된 성능을 제공함으로써 오디오 캡셔닝 분야의 발전을 촉진할 수 있다. 이 연구는 멀티모달 데이터의 통합을 통해 더 정교하고 맥락적으로 풍부한 캡션 생성이 가능함을 입증하며, 향후 오디오 캡셔닝 기술의 발전 방향을 제시한다. 이를 통해 자동 오디오 캡셔닝의 응용 범위를 넓히고, 다양한 산업에서의 실용적 활용 가능성을 높일 수 있을 것이다.
목차
- 제 1장 서론 1제1절 연구의 필요성 1제2절 연구 내용 4제 2장 관련 연구 6제1절 Automated audio captionig 6제2절 Audio-to-image 10제 3장 설계 및 구현 12제1절 전체 모델 구조 12제2절 세부 모델 구조 143.2.1 오디오, 이미지 임베딩 추출 143.2.2 오미오, 이미지 결합 173.2.3 Loss function 21제 4장 실험 및 결과 22제1절 실험 환경 224.1.1 데이터셋 및 학습 방법 224.1.2 평가 지표 23제2절 실험 결과 254.2.1 Audio-to-image 추론 254.2.2 Audio captioning 성능 27제 5장 결론 29참고 문헌 30ABSTRACT 34
최근 본 자료
