인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 저자정보
초록·키워드
이 연구는 ChatGPT와 PaLM 2, 두 대규모 언어 모델의 소수 검증 능력을 심층적으로 조사한다. 하나의 수에 대해 소수인지 합성수인지 반대 형태의 예/아니오 질문 두 개를 묻는다. 두 질문에 대해 모두 정답을 생성한 경우에만 언어 모델이 해당 수에 대해 성공적으로 검증을 수행한 것으로 간주한다. 또한, 생성 프롬프트 내 나눗셈 연산에 오류가 발생하는지를 고려한다. 소수 664 개 및 합성수 1458 개 데이터셋에 대한 추론 결과로부터, 대상 숫자의 난도가 증가함에 따라 검증 정확도가 감소함을 발견하였다. 연산 오류를 반영한 후 검증 정확도는 두 모델에서 모두 감소하였으며, PaLM 2는 난도가 높은 네 자리 합성수에 대한 검증을 모두 실패하였다. 이 결과는 단순한 질문에 기반한 언어 모델의 추론 능력 평가는 오해의 소지가 있으며, 심층 평가가 필요함을 시사한다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.