인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
초록·키워드
본 연구는 물리학 서술형 평가에서 멀티모달 대형 언어 모델인 gpt-5.5와 gpt-5.4-mini, gemini-3.1-pro, gemini-3.5-flash의 자동 채점 성능을 분석했다. 중력 및 운동량·충격량 단원에 해당하는 4개의 서술형 문항을 고등학교 1학년 학생 93명에게 투입했다. 먼저 각 모델의 반복 채점 일관성을 단순 일치도와 Gwet’s AC1로 확인하고, 이후 자동 채점 결과를 인간 채점 결과와 비교해 단순 일치도 및 Cohen’s κ계수를 산출했다. 불일치 사례는 유형별로 범주화하고 범주별 개수를 집계했다. 연구 결과, 반복 채점 일관성은 gpt-5.5가 가장 높았고 gemini-3.1-pro와 gemini-3.5-flash가 그 뒤를 이었으며, gpt-5.4-mini 는 그래프 문항과 설명 문항에서 일관성이 낮았다. 인간 채점과의 일치도는 gpt-5.4-mini를 제외한 세 모델에서 단순 일치도 .90 이상, κ 계수 .80 이상이었으나, 세 모델 간 차이는 통계적으로 유의하지 않았다. 인간 채점자와의 불일치 사례 분석 결과, gpt-5.5는 손 글씨 인식에서, gemini-3.1-pro는 그래프 해석에서, gemini-3.5-flash는 채점 기준 해석에서 상대적으로 많은 오류를 보였다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.