인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
개인구독
소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
피인용 0
초록·키워드
기업의 정기 사업보고서는 텍스트와 테이블이 혼합된 복합 문서로, 실무적 활용을 위해서는 분산된 정보를 유기적으로 통합해 해석하는 종합적인 추론 능력이 요구된다. 그러나, 현행 거대 언어 모델(LLM)은 이러한 복합 추론에서 한계를 보이며, 기존 금융 벤치마크는 도구 활용 측면과 같은 실무적 역량을 충분히 평가하지 못한다. 본 연구는 이러한 한계를 극복하기 위해, 한국 상장 기업의 사업보고서를 기반으로 한 새로운 벤치마크 KRAFT³-QA를 제안한다. KRAFT³-QA는 문서 내 다양한 항목을 통합해야 정답에 도달할 수 있는 사지선다형 태스크로 구성되며, 정확도와 유효 응답률을 통해 성능을 평가한다. 주요 공개 LLM을 대상으로 한 실험 결과, 모델의 규모와 추론 구조가 성능에 영향을 줄 수 있음을 확인했다. 본 연구는 문서 기반 도구 활용형 QA 벤치마크와 평가 프레임 워크를 제안함으로써, LLM 에이전트의 실질적인 문제 해결 능력을 정량적으로 평가할 수 있는 기술적 기반을 마련했다는 데 의의가 있다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
UCI(KEPA) : I410-151-25-02-093966841
