인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
피인용 0
초록·키워드
본 연구는 강한 instruction-tuned 대형 언어모델에서 Direct Preference Optimization(DPO)의 효과를 실험적으로 분석한다. Gemma-4-E2B-it을 기반 모델로 하여 Supervised Fine-Tuning(SFT)과 DPO를 순차적으로 적용하고, 200개의 평가 데이터셋을 통해 모델 간 성능을 비교하였다. 자동 평가 및 GPT 기반 평가 결과, 대부분의 평가 항목에서 모델 간 유의미한 성능 차이가 나타나지 않았으며, 자연스러움·유용성·종합 평가 기준에서는 오히려 기반 모델이 더 우수한 결과를 보였다. 이는 이미 충분히 정렬된 모델에 대한 추가적인 선호도 기반 학습이 제한적인 효과만을 가질 수 있음을 시사하며, DPO의 성능이 모델의 초기 정렬 수준 및 선호도 데이터의 품질에 크게 의존함을 확인하였다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
