인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
다각적인 보상 함수를 고려한 Multi-Critic 강화학습에 관한 연구: 추천시스템으로의 적용 A Study on Multi-Critic Reinforcement Learning Considering Multifaceted Reward Functions: Application to Recommender Systems
논문 기본 정보
- 저자정보
- 발행연도
- 2024.11
- 수록면
- 167 - 183 (17page)
- DOI
- 10.7838/jsebs.2024.29.4.167
다각적인 보상 함수를 고려한 Multi-Critic 강화학습에 관한 연구: 추천시스템으로의 적용
초록·키워드
일반적으로 강화학습에서 사용되는 복수개의 보상 함수의 경우 서로 다른 단위를 사용할 수 없는 문제로 인해 각 보상 함수들의 단위를 통일한 후 가중합 형태로 하나의 함수로 변환하여 사용한다. 이때, 단위를 통일하거나 가중합 형태로 변환 시 각 보상함수의 개별 특성들을 제대로 고려하지 못할 수 있으며, 각 보상함수 별 가중치 값을 결정해야하는 문제도 발생할 수 있다. 이에 본 연구는 복수개의 보상함수가 사용되는 강화학습 문제에서 성격이 다른 보상 요소를 분리하여 개별적으로 학습하는 강화학습 방법론을 제안한다. 특히 Actor-Critic 계열의 강화학습 알고리즘에서 복수개의 Critic 네트워크를 갖는 Multi-Critic 네트워크 구조를 활용한다. 구체적으로는 Actor-Critic 계열의 알고리즘에서 행동을 평가하는 Critic 네트워크가 다양한 보상 요소에 대해 각각 학습할 수 있도록 구성하고, 이를 통해 Actor 네트워크에서 출력한 정책을 다각적으로 평가할 수 있도록 한다. 해당 방법론을 검증하기 위해 다양한 보상 함수를 종합적으로 고려해야하는 추천시스템 문제를 활용하였다. 특히, 추천시스템의 추천 과정을 순차적 의사결정으로 간주하고 DDPG (Deep Deterministic Policy Gradient) 방법론을 사용하여 광범위한 행동 공간을 갖는 추천시스템 문제를 해결하고자 하였다. 실험 결과, 제안하는 다회 학습 형태의 Multi-Critic 네트워크 모델이 기존의 일회 학습 형태의 Single-Critic 네트워크 모델 및 타 추천 시스템 모델에 비해 높은 추천 성능을 보였다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
UCI(KEPA) : I410-151-25-02-091197213