지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.6
- 수록면
- 643 - 662 (20page)
- DOI
- 10.9717/kmms.2024.27.6.643
이용수
초록· 키워드
오류제보하기
Referring Video Object Segmentation(RVOS) is a complex computer vision task that requires detecting, segmenting, and tracking a specific object in a video that is referred to by a given natural language expression. In this paper, we propose CDTD-RVOS(Cross-modal Decoding and Text Decoupling for RVOS), a novel Transformer-based deep neural network model for RVOS. The proposed model effectively extracts object-specific visual features at all levels of pixels, frames, and the entire video with Transformers. In order to capture correctly the meaning of the natural language referring expression, the model uses a text decoupling technique that divides the words of the referring expression into their functional components and encodes them into rich linguistic features. Moreover, the proposed model performs cross-modal fusion between the visual feature of video objects and the linguistic feature of the referring expression at all levels of pixels, frames, and the entire video to enhance alignment with two heterogeneous features. Extensive experiments conducted on three benchmark datasets, A2D-Sentences, Ref-Youtube-VOS, and Ref-DAVIS 17, show high performance of our proposed CDTD-RVOS model.
목차
ABSTRACT
1. 서론
2. 관련 연구
3. 참조 비디오 개체 분할 모델
4. 구현 및 실험
5. 결론
REFERENCE
참고문헌 (19)
참고문헌 신청
H. Ding, C. Liu, S. Wang, and X. Jiang, “VLT: Vision-Language Transformer and Query Generation for Referring Segmentation,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 16321-16330, 2021.
J. Wu, Y. Jiang, P. Sun, Z. Yuan, and P. Luo, “Language as Queries for Referring Video Object Segmentation,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 16321-16330, 2021.
A. Botach, E. Zheltonozhskii, and C. Baskin, “End-to-End Referring Video Object Segmentation with Multimodal Transformers,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4985-4995, 2022.
M. Han, Y. Wang, Z. Li, L. Yao, X. Chang, and Y. Qiao, “HTML: Hybrid Temporal-Scale Multimodal Learning Framework for Referring Video Object Segmentation,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 13414-13423, 2023.
Z. Luo, Y. Xiao, Y. Liu, S. Li, Y. Wang, Y. Tang, et al., “SOC: Semantic-Assisted Object Cluster for Referring Video Object Segmentation,” Advances in Neural Information Processing Systems (NeurIPS), 2023.
J. Wu, Y. Jiang, P. Sun, Z. Yuan, and P. Luo, “Language as Queries for Referring Video Object Segmentation,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 16321-16330, 2021.
A. Botach, E. Zheltonozhskii, and C. Baskin, “End-to-End Referring Video Object Segmentation with Multimodal Transformers,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4985-4995, 2022.
M. Han, Y. Wang, Z. Li, L. Yao, X. Chang, and Y. Qiao, “HTML: Hybrid Temporal-Scale Multimodal Learning Framework for Referring Video Object Segmentation,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 13414-13423, 2023.
Z. Luo, Y. Xiao, Y. Liu, S. Li, Y. Wang, Y. Tang, et al., “SOC: Semantic-Assisted Object Cluster for Referring Video Object Segmentation,” Advances in Neural Information Processing Systems (NeurIPS), 2023.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
A Novel Approach for Object Detection in Illuminated and Occluded Video Sequences Using Visual Information with Object Feature Estimation
IEIE Transactions on Smart Processing & Computing
2015 .04
-
지칭 표현을 이용한 작은 물체 세그멘테이션
한국정보과학회 학술발표논문집
2022 .12
-
객체의 움직임을 고려한 탐색영역 설정에 따른 가중치를 공유하는 CNN구조 기반의 객체 추적
멀티미디어학회논문지
2017 .07
-
Experiment on Intermediate Feature Coding for Object Detection and Segmentation
방송공학회논문지
2020 .12
-
Multi-scale Non-local Feature Enhancement Network for Robust Small-object Detection
IEIE Transactions on Smart Processing & Computing
2020 .08
-
비디오에서 객체의 시공간적 연속성과 움직임을 이용한 동적 객체추출에 관한 연구
디지털산업정보학회논문지
2016 .01
-
물체 움직임 및 시공간 특징지도를 이용한 비디오 물체 검출
한국자동차공학회 춘계학술대회
2021 .06
-
Intelligent Object Detection and Extraction Method for Surveillance Applications in Smart City
한국지능시스템학회 논문지
2018 .10
-
로봇 물체 조작을 위한 딥러닝 시맨틱 분할을 이용한 물체 검출
제어로봇시스템학회 논문지
2018 .09
-
참조 표현 증강과 마스크 통합을 이용한 제로 샷 참조 영상 분할
한국정보과학회 학술발표논문집
2024 .06
-
Background memory-assisted zero-shot video object segmentation for unmanned aerial and ground vehicles
[ETRI] ETRI Journal
2023 .10
-
딥러닝을 통한 움직이는 객체 검출 알고리즘 구현
반도체디스플레이기술학회지
2018 .01
-
영상 기반 위치 인식을 위한 대규모 언어-이미지 모델 기반의 Bag-of-objects 표현
센서학회지
2024 .03
-
Object Tracking with Sparse Representation based on HOG and LBP Features
International JOURNAL OF CONTENTS
2015 .09
-
유연물체 인식
한국정밀공학회 학술발표대회 논문집
2018 .10
-
The Effect of Decreasing Pooling Layers in Micro- Object Segmentation
한국정보과학회 학술발표논문집
2021 .06
-
딥러닝 모델을 이용한 실시간 객체 검출 기반 어포던스 특징 추출 시스템
제어로봇시스템학회 논문지
2017 .08
-
무인 감시 Transformer
제어로봇시스템학회 논문지
2021 .12
-
Activity-oriented visual relationship detection technique for context recognition
Journal of Advanced Marine Engineering and Technology (JAMET)
2022 .12
-
Mask R-CNN을 이용한 물체인식 및 개체분할의 학습 데이터셋 자동 생성
로봇학회 논문지
2019 .03
이 논문과 함께 이용한 논문
언어-기반 제로-샷 물체 목표 탐색 이동 작업들을 위한 인공지능 기저 모델들의 활용
최정현
,
백호준
,
박찬솔
외 1명
로봇학회 논문지
2024
.09
기사성광고 분석 및 딥러닝을 활용한 기사성광고 추출 방법 설계에 관한 연구
김석수
,
정재영
한국컴퓨터정보학회논문지
2024
.06
가상 융합 메타버스(Metaverse)의 트랜스미디어 활용 교수법 탐색 연구
박정아
,
김완섭
애니메이션연구
2023
.09
동적 위치 갱신을 이용한 트랜스포머 기반의 3차원 개체 분할
송성호
,
김인철
제어로봇시스템학회 국내학술대회 논문집
2023
.06
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-151-24-02-090135634