인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
피인용 0
초록·키워드
본 논문은 Diffusion Transformer(DiT)의 셀프 어텐션(Self-Attention) 모듈을 Multi-Scale Retention(MSR)으로 대체한DiR(Diffusion with Retention) 모델을 제안한다. 기존 DiT는 O(N²) 연산 복잡도로 인해 고해상도에서 메모리 및 연산 효율이 급격히 저하된다. 이를 해결하기 위해, 청크 내부에는 정확한 γ|i−j| 감쇠를 적용하고 청크 간에는 KV 상태를 순방향·역방향으로 누적하는 양방향 청크 단위 MSR(Bidirectional Chunkwise MSR)을 도입하여 O(N) 메모리 복잡도를 달성하였다. CelebA-HQ 256 데이터셋을 이용한 학습 실험에서, DiR-B/2 모델은 약 200K 스텝 학습 후 FID 30.06을 기록하였다. 이는 동일 조건에서 학습된 DiT-B/2의 FID 26.92 대비 약 3.14점 높은 수준이다. 반면 처리 속도 측면에서는 1024×1024·배치 16 조건에서 FlashAttention을 적용한 DiT 대비 처리 시간이 약 40% 단축되었으며, O(N) 수준의 안정적인 메모리 사용량을 유지하였다. 본 연구는 성능 우위가 아닌 구조적 대체 가능성 검증에 목적이 있으며, 결과는 MSR이 확산 기반 이미지 생성에서 실용적인 어텐션 대안이 될 수 있음을 시사한다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
