인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 저자정보
피인용 0
초록·키워드
본 논문에서는 거대 언어 모델의 과학기술정보 분야의 전문 지식을 평가하기 위해 한국어 벤치마크를 구축한다. 범용 분야 벤치마크와 차별화된 도메인 특화 데이터 구축을 위하여 과학기술정보 전문분야 8가지 카테고리를 정의하고 각 문제의 난이도와 평가 기준을 수립한다. 본 논문에서 제안한 2단계 데이터 자동 생성 방법은 벤치마크 품질과 전문성을 향상시키며, 구축 시간을 단축한다. 거대언어모델 실험 결과, 다중 선택(all) 문제 유형에서 정확도가 0.17 0.32로 나타나 과학기술정보 도메인 벤치마크의 유효성을 확인하였다. 이는 범용 인공 지능(AGI)을 목표로 학습된 언어 모델의 도메인 특화 평가 연구에 중요한 토대를 마련할 것으로 보인다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
UCI(KEPA) : I410-151-26-02-094347318
