인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 저자정보
피인용 0
초록·키워드
저랭크 학습(Low-rank training)은 효율적인 심층 학습을 위한 핵심 전략임에도 불구하고, 모델의 표현력을 영구적으로 제약하고 ‘랭크 붕괴(Rank Collapse)’를 가속화한다는 근본적인 한계를 내포한다. 본 논문에서는 이를 해결하기 위해 동적 랭크 학습(Dynamic-rank training) 프레임워크를 제안한다. 제안된 기술은 모델이 저랭크 제약에서 일시적으로 벗어나 학습 잠재력을 완전히 회복할 수 있다는 직관을 기반으로 한다. 특히 학습률의 노이즈 구간(noise regime)에 맞춰 풀랭크 학습 단계를 전략적으로 도입함으로써 가중치의 유효 랭크와 모델의 표현력을 효과적으로 복원한다. 실험을 통해 본 기술이 저랭크 학습의 연산 효율성을 유지하면서도 풀랭크 모델과 유사한 정확도를 달성함을 입증했다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
