지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.48 No.3
- 발행연도
- 2021.3
- 수록면
- 340 - 351 (12page)
- DOI
- 10.5626/JOK.2021.48.3.340
이용수
초록· 키워드
오류제보하기
이미지 캡션 생성이란 주어진 이미지로부터 객체 요소를 파악하여 장면을 설명하는 자연어를 자동으로 서술하는 연구이다. 선행 연구에서는 주로 단일 특징 추출기를 통해 이미지에서 정보를 포착한 후, 순환 신경망 기반의 디코더를 통해 캡션을 생성한다. 하지만 단일 특징 추출기를 사용하기 때문에 다중관점의 이미지 정보를 사용할 수 없고, 순환 신경망 기반의 장기 의존성 문제를 가지는 디코더를 사용한다. 이를 해결하기 위해서 본 연구는 복수의 특징 추출기를 사용하는 다중 관점 인코더를 통해 다양한 각도의 이미지 정보를 가공하여 전달한다. 또한, 순환 신경망의 한계를 보완하기 위해서, 트랜스포머 모델 기반의 디코더 레이어에 추가적인 멀티-헤드 주의 기제 기법을 통해 생성된 문장을 재구축하여 문장의 완성도를 높이는 자가 교열 트랜스포머를 제안한다. 제안하는 모델의 검증을 위해 MSCOCO 데이터셋을 이용하여 다양한 비교실험으로 정량적, 정성적 평가를 통해 제안한 방법론의 우수성을 검증하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 모델 구조
4. 실험 및 결과
5. 결론
References
참고문헌 (38)
참고문헌 신청
S. Wu, J. Wieland, O. Farivar, and J. Schiller, "Automatic alt-text: Computer-generated image descriptions for blind users on a social network service," Proc. of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing, pp. 1180-1192, 2017.
V.-K. Vo-Ho, Q.-A. Luong, D.-T. Nguyen, M.-K. Tran, and M.-T. Tran, "A Smart System for Text-Lifelog Generation from Wearable Cameras in Smart Environment Using Concept-Augmented Image Captioning with Modified Beam Search Strategy," Applied Sciences, pp. 1886, 2019.
B. Mishra, D. Garg, P. Narang, and V. Mishra, "Drone-surveillance for search and rescue in natural disaster," Computer Communications, 2020.
A. Krizhevsky, I. Sutskever, and G.E. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems, pp. 1097-1105, 2012.
K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.
V.-K. Vo-Ho, Q.-A. Luong, D.-T. Nguyen, M.-K. Tran, and M.-T. Tran, "A Smart System for Text-Lifelog Generation from Wearable Cameras in Smart Environment Using Concept-Augmented Image Captioning with Modified Beam Search Strategy," Applied Sciences, pp. 1886, 2019.
B. Mishra, D. Garg, P. Narang, and V. Mishra, "Drone-surveillance for search and rescue in natural disaster," Computer Communications, 2020.
A. Krizhevsky, I. Sutskever, and G.E. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems, pp. 1097-1105, 2012.
K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Image Caption Generation using Recurrent Neural Network
Journal of KIISE
2016 .08
-
Recurrent Neural Network를 이용한 이미지 캡션 생성
한국정보과학회 학술발표논문집
2015 .12
-
Transformer를 이용한 이미지 캡션 생성
한국정보과학회 학술발표논문집
2019 .12
-
한국어 및 영어 이미지 캡션이 가능한 범용적 모델 및 목적에 맞는 텍스트를 생성해주는 기법
한국정보통신학회논문지
2022 .08
-
Boosting Image Caption Generation with Parts of Speech
Journal of KIISE
2021 .03
-
Image Caption Generation using Object Attention Mechanism
Journal of KIISE
2019 .04
-
Transformer의 개별 가지치기를 이용한 효율적인 이미지 캡셔닝 기법
방송공학회논문지
2024 .09
-
객체 검출 기반 이미지 캡션 알고리즘 연구
Journal of Advanced Marine Engineering and Technology (JAMET)
2017 .09
-
한국어 데이터 셋을 이용한 이미지 캡션에 대한 연구
재활복지공학회논문지
2019 .11
-
Image Captioning using Multiple Transformers for Self-Attention Mechanism
한국정보과학회 학술발표논문집
2020 .12
-
전문성 이식을 통한 딥러닝 기반 전문 이미지 해석 방법론
지능정보연구
2020 .06
-
다중 작업 학습 기반의 Highway LSTM 디코더를 이용한 이미지 캡션 생성
한국정보과학회 학술발표논문집
2018 .06
-
딥러닝을 이용한 한국어 이미지 캡션 생성
한국정보과학회 학술발표논문집
2016 .12
-
Learning Semantic Features for Dense Video Captioning
Journal of KIISE
2019 .08
-
노이즈 환경에서 특징 맵 복원을 통한 효과적인 Change Captioning 기법
한국방송미디어공학회 학술발표대회 논문집
2024 .06
-
Caption Generation Model for Images using Convolutional Neural Networks
한국정보과학회 학술발표논문집
2018 .06
-
Context-Gate를 이용한 이미지 캡션 생성
한국정보과학회 학술발표논문집
2018 .06
-
이미지 캡션 및 재귀호출을 통한 스토리 생성 방법
융합신호처리학회 논문지
2023 .03
-
Show, Attend and Tell 모델을 이용한 한국어 캡션 생성
한국방송미디어공학회 학술발표대회 논문집
2022 .11
-
Adaptive Attention 기반 한국어 & 영어 이미지 캡션 생성 기술 개발
한국통신학회 학술대회논문집
2020 .02
이 논문의 저자 정보
이 논문과 함께 이용한 논문
음향 이벤트 탐지를 위한 멀티-스케일 특징 기반 트랜스포머 모델
김수종
,
정용주
한국정보기술학회논문지
2022
.06
트랜스포머 블록과 윤곽선 디코더를 활용한 딥러닝 기반의 피부 병변 분할 방법
김지훈
,
박경리
,
김해문
외 1명
한국정보통신학회논문지
2022
.04
미세먼지 예측 성능 개선을 위한 시공간 트랜스포머 모델의 적용
김영광
,
김복주
,
안성만
지능정보연구
2022
.03
Visual SLAM을 위한 Transformer 기반 6DoF 자세 추정 기법
채재민
,
이수찬
전자공학회논문지
2021
.12
무인 감시 Transformer
최경훈
,
하종은
제어로봇시스템학회 논문지
2021
.12
최근 본 자료
댓글(0)
0