인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
피인용 0
초록·키워드
기존의 GAN 기반 토킹 헤드 생성 모델은 제한된 품질과 불안정한 훈련 과정이라는 단점이 존재한다. 확산 모델에 기반한 최근의 접근 방식은 이러한 한계를 해결하고 비디오 품질을 개선하는 것을 목표로 한다. 그러나 확산 모델의 높은 확률성으로 인해 샘플링 시간이 길어지고 시간적 일관성을 유지하기가 어렵다는 등의 문제가 여전히 남아 있다. 이러한 문제를 극복하기 위해 고품질 토킹 헤드 생성을 위한 새로운 모션 분리 확산 모델인 MoDiTalker를 제안한다. 오디오에서 동기화된 입술 움직임을 생성하도록 설계된 오디오-투-모션(AToM)과 생성된 모션에 따라 고품질 토킹 헤드 비디오를 생성하도록 설계된 모션-투-비디오(MToV)의 두 가지 모듈을 소개한다. AToM은 오디오 주의 메커니즘을 활용하여 미묘한 입술 움직임을 포착하는 데 탁월하며, MToV는 효율적인 3장의 엠베딩을 활용하여 시간적 일관성을 향상시킨다. 표준 벤치마크에서 수행한 실험을 통해 기존 모델에 비해 우수한 성능을 달성했음을 입증하였고, 이에 더해 포괄적인 절제 연구와 사용자 연구 결과 또한 제공한다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
UCI(KEPA) : I410-151-25-02-091204544
