지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.46 No.8
- 발행연도
- 2019.8
- 수록면
- 753 - 762 (10page)
- DOI
- 10.5626/JOK.2019.46.8.753
이용수
초록· 키워드
오류제보하기
본 논문에서는 고밀도 비디오 캡션 생성을 위한 새로운 심층 신경망 모델을 제안한다. 고밀도 비디오 캡션 생성은 하나의 입력 비디오로부터 다수의 이벤트 구간들을 찾아내고, 이들 각각에 관한 자연어 설명 문장을 생성하는 작업이다. 기존의 모델들에서는 합성곱 신경망을 통해 입력 비디오의 시각 특징만을 추출하여 사용한 것과는 달리, 본 논문에서 제안하는 모델에서는 행위, 물체, 배경, 사람 등 중요한 이벤트 구성 요소들을 효과적으로 표현할 수 있는 고수준의 의미 특징들을 추가적으로 활용하였다. 또한 제안 모델에서는 순환 신경망인 LSTM을 이용하여 비디오 안에 포함된 이벤트 시간 영역들을 탐지하였다. 또, 제안 모델에서는 중요도에 따라 선택적으로 입력 특징들에 집중할 수 있도록, 캡션 생성 과정에 주의집중 메커니즘을 적용하였다. 고밀도 비디오 캡션 생성을 위한 대용량 벤치마크 데이터 집합인 ActivityNet Captions 데이터 집합을 이용한 다양한 실험을 통해, 본 논문에서 제안한 모델의 높은 성능과 우수성을 확인할 수 있었다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 고밀도 비디오 캡션 생성 모델
4. 구현 및 실험
5. 결론
References
참고문헌 (21)
참고문헌 신청
R. Krishna, K. Hata, F. Ren, L. Fei-Fei, and J. C. Niebles, "Dense-Captioning Events in Videos," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, "Learning Spatiotemporal Features with 3D Convolutional Networks," Proc. of IEEE International Conference on Computer Vision (ICCV), 2015.
S. Buch, V. Escorcia, C. Shen, B. Ghanem, and J. C. Niebles, "SST: Single-Stream Temporal Action Proposals," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
J. Wang, W. Jiang, L. Ma, W. Liu, and Y. Xu, "Bidirectional Attentive Fusion with Context Gating for Dense Captioning," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
H. Xu, B. Li, V. Ramanishka, L. Sigal, and K. Saenko, "Joint Event Detection and Description in Continuous Video Streams," arXiv preprint arXiv: 1802.10250, 2018.
D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, "Learning Spatiotemporal Features with 3D Convolutional Networks," Proc. of IEEE International Conference on Computer Vision (ICCV), 2015.
S. Buch, V. Escorcia, C. Shen, B. Ghanem, and J. C. Niebles, "SST: Single-Stream Temporal Action Proposals," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
J. Wang, W. Jiang, L. Ma, W. Liu, and Y. Xu, "Bidirectional Attentive Fusion with Context Gating for Dense Captioning," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
H. Xu, B. Li, V. Ramanishka, L. Sigal, and K. Saenko, "Joint Event Detection and Description in Continuous Video Streams," arXiv preprint arXiv: 1802.10250, 2018.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
의미 특징과 주의집중을 이용한 고밀도 비디오 캡션 생성
한국정보과학회 학술발표논문집
2018 .12
-
고밀도 비디오 캡션을 위한 객체 검출 및 속성 분석에 관한 연구
한국통신학회 인공지능 학술대회 논문집
2024 .09
-
객체 행동 및 속성에 기반한 비디오 캡션 생성에 관한 연구
한국통신학회 인공지능 학술대회 논문집
2023 .09
-
Multi-head Self-Attention을 이용한 비디오 캡션 생성
한국정보과학회 학술발표논문집
2019 .06
-
Caption Generation Model for Images using Convolutional Neural Networks
한국정보과학회 학술발표논문집
2018 .06
-
Image Caption Generation using Recurrent Neural Network
Journal of KIISE
2016 .08
-
Video Captioning with Vision Transformer
한국정보과학회 학술발표논문집
2021 .12
-
딥러닝을 이용한 한국어 이미지 캡션 생성
한국정보과학회 학술발표논문집
2016 .12
-
텍스트-비디오 검색 문제에서의 캡션을 이용한 공통-임베딩 공간에서의 특징벡터 결합 연구
한국정보과학회 학술발표논문집
2023 .06
-
Recurrent Neural Network를 이용한 이미지 캡션 생성
한국정보과학회 학술발표논문집
2015 .12
-
한국어 데이터 셋을 이용한 이미지 캡션에 대한 연구
재활복지공학회논문지
2019 .11
-
Image Caption Generation using Object Attention Mechanism
Journal of KIISE
2019 .04
-
Boosting Image Caption Generation with Parts of Speech
Journal of KIISE
2021 .03
-
Transformer를 이용한 이미지 캡션 생성
한국정보과학회 학술발표논문집
2019 .12
-
노이즈 환경에서 특징 맵 복원을 통한 효과적인 Change Captioning 기법
한국방송미디어공학회 학술발표대회 논문집
2024 .06
-
전문성 이식을 통한 딥러닝 기반 전문 이미지 해석 방법론
지능정보연구
2020 .06
-
텍스트-비디오 검색 모델에서의 캡션을 활용한 비디오 특성 대체 방안 연구
대한임베디드공학회논문지
2022 .12
-
객체 검출 기반 이미지 캡션 알고리즘 연구
Journal of Advanced Marine Engineering and Technology (JAMET)
2017 .09
-
Show, Attend and Tell 모델을 이용한 한국어 캡션 생성
한국방송미디어공학회 학술발표대회 논문집
2022 .11
-
Context-Gate를 이용한 이미지 캡션 생성
한국정보과학회 학술발표논문집
2018 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0