인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
학술저널
DBpia Top 5%
오류 신고하기해당 페이지 내 제목·저자·목차·페이지정보가 잘못된 경우 알려주세요!
초록·키워드
자연어 처리에서 벤치마크 데이터셋은 거대 언어 모델의 평가에 중요한 역할을 한다. 그러나 비용과 자원의 제한으로 인해 대부분의 자연어 처리 벤치마크는 주로 영어와 중국어로 개발되어 왔다. 이 연구에서는 한국어 능력 평가를 위해 다양한 도메인을 포괄하는 벤치마크 데이터셋을 구축하고, 이를 바탕으로 6개의 한국어 및 다국어 언어 모델(LLM)의 성능을 평가하였다. 평가를 위해 여섯 가지 평가 도메인과 일곱 가지 평가 지표를 사용하여 모델의 종합적인 한국어 능력을 분석하였다. 평가 과정은 정량적 평가와 더불어 일곱 명의 평가자가 수행한 인간 평가를 포함하며, GPT-4를 활용한 자동 평가 방법을 적용하여 인간 평가와의 상관관계를 검토하였다. 연구 결과는 제한된 자원으로도 다양한 평가 방식을 통해 LLM의 한국어 능력을 종합적으로 진단할 수 있음을 보여주었고, 한국어 능력 평가의 자동화 가능성을 검증하였다. 이 연구에서 제안한 벤치마크가 한국어 능력 평가의 중요한 사례로 활용되기를 기대한다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
