메뉴 건너뛰기
소속 기관 / 학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
고객센터 ENG
주제분류

논문 기본 정보

저자정보
(서울대학교) (서울대학교) (서울대학교)
저널정보
Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.53 No.10
오류 신고하기

피인용 0

검색

    초록·키워드

    컨텍스트 기반 오프라인 메타 강화학습 (Context-based Offline Meta-RL, COMRL)은 정적 데이터만으로 새로운 태스크에 빠르게 적응하는 에이전트를 학습한다. 그러나 기존 방법들은 컨텍스트를 수집하는 행동 정책이 학습 분포와 다르면 정책이 학습된 적 없는 잠재에서 실행되어 성능이 붕괴하고, 이를 보완하는 고정 계수 비관주의는 환경별 튜닝과 과보수화 문제를 낳는다. 본 논문이 제안하는 DELPHI는 잠재 공간을 외삽한 뒤 디코더 앙상블의 합성 롤아웃으로 정책을 학습 분포 밖 잠재에서 미리 단련하되, 롤아웃을 따라 누적한 앙상블 불일치 (정보 드리프트)를 z-점수로 정규화하고 임계 초과분에만 비선형 게이트로 페널티를 부과하여 신뢰도가 낮은 합성 신호를 억제한다. 게이트는 정상 영역에서 페널티를 0으로 두어 분포 내 성능을 보존하고, 롤아웃 구조 파라미터는 환경별로 설정하되 정규화의 스케일 불변성 덕분에 게이트 상수에 한하여 전 환경 단일 값으로 공유되어 환경별 페널티 계수 탐색을 대체한다. MuJoCo 4개 환경의 행동 정책 분포 밖 (out-of-distribution, OOD) 평가에서 DELPHI는 최신 베이스라인을 일관되게 상회하였다.

    최근 본 자료 전체보기