메뉴 건너뛰기
소속 기관 / 학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
고객센터 ENG
주제분류

논문 기본 정보

저자정보
(보라고등학교) (보라고등학교) (보라고등학교) (단국대학교)
저널정보
한국물리학회 새물리 새물리 제76권 제10호
오류 신고하기

피인용 0

검색

    초록·키워드

    본 연구는 물리학 서술형 평가에서 멀티모달 대형 언어 모델인 gpt-5.5와 gpt-5.4-mini, gemini-3.1-pro, gemini-3.5-flash의 자동 채점 성능을 분석했다. 중력 및 운동량·충격량 단원에 해당하는 4개의 서술형 문항을 고등학교 1학년 학생 93명에게 투입했다. 먼저 각 모델의 반복 채점 일관성을 단순 일치도와 Gwet’s AC1로 확인하고, 이후 자동 채점 결과를 인간 채점 결과와 비교해 단순 일치도 및 Cohen’s κ계수를 산출했다. 불일치 사례는 유형별로 범주화하고 범주별 개수를 집계했다. 연구 결과, 반복 채점 일관성은 gpt-5.5가 가장 높았고 gemini-3.1-pro와 gemini-3.5-flash가 그 뒤를 이었으며, gpt-5.4-mini 는 그래프 문항과 설명 문항에서 일관성이 낮았다. 인간 채점과의 일치도는 gpt-5.4-mini를 제외한 세 모델에서 단순 일치도 .90 이상, κ 계수 .80 이상이었으나, 세 모델 간 차이는 통계적으로 유의하지 않았다. 인간 채점자와의 불일치 사례 분석 결과, gpt-5.5는 손 글씨 인식에서, gemini-3.1-pro는 그래프 해석에서, gemini-3.5-flash는 채점 기준 해석에서 상대적으로 많은 오류를 보였다.

    최근 본 자료 전체보기