인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 한선관
- 발행연도
- 2022
- 저작권
- 경인교육대학교 논문은 저작권에 의해 보호받습니다.
이용수81
초록· 키워드
상세정보 수정요청해당 페이지 내 제목·저자·목차·페이지정보가 잘못된 경우 알려주세요!
본 연구는 교사의 주된 활동 중 하나인 평가의 문항 제작에 자연어 생성 인공지능을 적용하여 시간을 단축하고 효율적인 교육 활동을 돕도록 하는 프로세스를 제안하고자 하는 데 있다.
최근 급격하게 발전하고 있는 인공지능은 다양한 분야에서 그 위력을 발휘하고 있다. 인공지능의 시장 규모는 매해 신기록을 세우고 있으며 이와 관련한 국방, 경제, 사회, 문화, 공공 등 다양한 분야에서 인공지능의 적용을 최우선 과제로 제시하고 있다. 교육에서도 이러한 열풍은 그대로 이어지고 있는데, 인공지능 기반 교육 기업들은 새롭고 다양한 서비스를 앞다투어 출시하고 있고 학습자를 위한 다양한 기술들이 우리 곁으로 점점 다가오고 있다. 그러나 이러한 기술들은 대체로 학습자에 초점이 맞춰져 있어 교사를 위한 인공지능의 필요성이 대두되고 있다. 교사의 역할이 학생들의 전인적 성장에 중대한 영향을 미치는 만큼 본 연구에서는 평가의 일부를 자연어 관련 인공지능을 활용하여 문항을 제작하는 데 그 목적을 두고 있다.
기존의 문항 제작 프로세스에서는 교사가 교육목표를 확인하고 평가 장면을 선정한 뒤 평가도구를 도출하고 제작하였다. 이 과정에서 교사에게 상당한 시간과 노력이 요구되고 이는 환류되어야 할 평가가 평가 그 자체에만 급급하게 만드는 요소가 되었다. 따라서 본 연구에서는 첫 번째로 문항 제작에 드는 일손을 인공지능에 맡기고 교사는 인공지능이 생성한 문항을 검수하고 편집하는 역할로 변화하여 빠른 시간 안에 학생들의 평가를 진행할 수 있는 프로세스를 제안하였다. 문항 제작 내 문제 유형 선택, 문제 키워드 입력, AI 문항 생성, 검토 및 수정, 평가도구 정리로 이루어지는 이러한 일련의 과정에서 교사는 상당한 노력을 절감할 수 있다.
이러한 평가 프로세스는 두 번째 목표에 따라 구체화할 수 있다. 두 번째 목표는 이러한 평가 문항을 제작할 수 있는 인공지능을 실현하는 것이다. 자연어처리와 언어모델의 급격한 발달로 인간과 상호작용이 불연속적으로 가능한 수준에 도달한 상태의 인공지능은 교육적 상호작용 부분에 도입될 가능성이 커졌다. 따라서 이러한 언어모델을 평가에 적용하기 위해 최근 가장 많이 이용되는 상반된 패러다임의 BERT와 GPT-3를 비교하고 생성 모델에 적합한 GPT-3를 선정하였다. 대용량의 내용을 사전에 학습한 GPT-3를 교육 도메인에 알맞게 하기 위해 교육 과정과 문제들을 이용하여 fine-tuning을 시도하였고 fine-tuned GPT-3를 이용하여 문항을 생성할 수 있었다. 이후 문항의 유형별로 세분화하여 작업지시인 prompt와 few-shot learning을 통해 문제 생성을 시도했다. 진위형 문항의 경우 발화와 같은 원리로 분화할 수 있었고 오답을 생성하기 위해서 단어 임베딩 방식인 Skip-gram Word2vec을 이용하여 비슷한 개념의 진술을 생성함으로써 오답을 만들 수 있었다. 완성형 문항의 경우 해당 답을 가지는 문장을 생성하였고 기본적인 문자열 처리와 POS Tagging을 통한 전처리로 완성형 문항을 제작하였다. 단답형 문항의 경우 개념 단어로 답을 제시하기 때문에 few-shot learning 과정에서 개념 단어만을 학습하여도 다양한 성질의 문항을 제작할 수 있도록 학습 예제를 제공하였다. 선다형 문항의 경우 prompt 제시와 학습 예제 제공으로 문항을 생성할 수 있으나 오답의 생성이 어려워 진위형 문항의 방식과 같게 Word2vec을 이용하여 오답을 생성한 뒤 기존 생성 문항에 붙이는 형태로 제공하였다. 이러한 방식을 통해 문항을 생성한 뒤 블라인드 평가를 진행하였다. 생성된 문항은 인간이 만든 것과 구별하기 어려웠으며 문장 클러스터링 결과 역시 높은 수준으로 인간의 문항과 대등한 결과를 보여주었다.
또한, 문항의 적합도를 위해 기존 생성 문항을 코퍼스로 두고 생성 문항을 G-검정을 통해 비교한 결과 생성 문항과 기존 문항 사이에는 일정 이상의 관계를 보여 단어 수준에서 서로 상관관계가 있는 것으로 나타났다. 현장 전문가들에 의해 문항의 적절성을 평가한 결과 평가한 20문항 중 19문항이 활용하기에 적절한 것으로 나타나 95%의 정확도를 보였다. 이어 평가 문항 제작 프로세스를 전문가에게 검토받은 결과 전문가 타당도 최소 기준을 모두 충족하여 이러한 제작 프로세스가 실제로 도움이 될 것으로 예측하였다.
수행된 연구를 통해 자연어생성모델을 이용한 학습자 평가와 문항 제작의 가능성을 확인하였고 이를 발전시켜 더욱 세분된 유형과 도메인에 맞는 자료를 준비한다면 다양한 확장으로 발전시킬 수 있을 것으로 기대한다.
최근 급격하게 발전하고 있는 인공지능은 다양한 분야에서 그 위력을 발휘하고 있다. 인공지능의 시장 규모는 매해 신기록을 세우고 있으며 이와 관련한 국방, 경제, 사회, 문화, 공공 등 다양한 분야에서 인공지능의 적용을 최우선 과제로 제시하고 있다. 교육에서도 이러한 열풍은 그대로 이어지고 있는데, 인공지능 기반 교육 기업들은 새롭고 다양한 서비스를 앞다투어 출시하고 있고 학습자를 위한 다양한 기술들이 우리 곁으로 점점 다가오고 있다. 그러나 이러한 기술들은 대체로 학습자에 초점이 맞춰져 있어 교사를 위한 인공지능의 필요성이 대두되고 있다. 교사의 역할이 학생들의 전인적 성장에 중대한 영향을 미치는 만큼 본 연구에서는 평가의 일부를 자연어 관련 인공지능을 활용하여 문항을 제작하는 데 그 목적을 두고 있다.
기존의 문항 제작 프로세스에서는 교사가 교육목표를 확인하고 평가 장면을 선정한 뒤 평가도구를 도출하고 제작하였다. 이 과정에서 교사에게 상당한 시간과 노력이 요구되고 이는 환류되어야 할 평가가 평가 그 자체에만 급급하게 만드는 요소가 되었다. 따라서 본 연구에서는 첫 번째로 문항 제작에 드는 일손을 인공지능에 맡기고 교사는 인공지능이 생성한 문항을 검수하고 편집하는 역할로 변화하여 빠른 시간 안에 학생들의 평가를 진행할 수 있는 프로세스를 제안하였다. 문항 제작 내 문제 유형 선택, 문제 키워드 입력, AI 문항 생성, 검토 및 수정, 평가도구 정리로 이루어지는 이러한 일련의 과정에서 교사는 상당한 노력을 절감할 수 있다.
이러한 평가 프로세스는 두 번째 목표에 따라 구체화할 수 있다. 두 번째 목표는 이러한 평가 문항을 제작할 수 있는 인공지능을 실현하는 것이다. 자연어처리와 언어모델의 급격한 발달로 인간과 상호작용이 불연속적으로 가능한 수준에 도달한 상태의 인공지능은 교육적 상호작용 부분에 도입될 가능성이 커졌다. 따라서 이러한 언어모델을 평가에 적용하기 위해 최근 가장 많이 이용되는 상반된 패러다임의 BERT와 GPT-3를 비교하고 생성 모델에 적합한 GPT-3를 선정하였다. 대용량의 내용을 사전에 학습한 GPT-3를 교육 도메인에 알맞게 하기 위해 교육 과정과 문제들을 이용하여 fine-tuning을 시도하였고 fine-tuned GPT-3를 이용하여 문항을 생성할 수 있었다. 이후 문항의 유형별로 세분화하여 작업지시인 prompt와 few-shot learning을 통해 문제 생성을 시도했다. 진위형 문항의 경우 발화와 같은 원리로 분화할 수 있었고 오답을 생성하기 위해서 단어 임베딩 방식인 Skip-gram Word2vec을 이용하여 비슷한 개념의 진술을 생성함으로써 오답을 만들 수 있었다. 완성형 문항의 경우 해당 답을 가지는 문장을 생성하였고 기본적인 문자열 처리와 POS Tagging을 통한 전처리로 완성형 문항을 제작하였다. 단답형 문항의 경우 개념 단어로 답을 제시하기 때문에 few-shot learning 과정에서 개념 단어만을 학습하여도 다양한 성질의 문항을 제작할 수 있도록 학습 예제를 제공하였다. 선다형 문항의 경우 prompt 제시와 학습 예제 제공으로 문항을 생성할 수 있으나 오답의 생성이 어려워 진위형 문항의 방식과 같게 Word2vec을 이용하여 오답을 생성한 뒤 기존 생성 문항에 붙이는 형태로 제공하였다. 이러한 방식을 통해 문항을 생성한 뒤 블라인드 평가를 진행하였다. 생성된 문항은 인간이 만든 것과 구별하기 어려웠으며 문장 클러스터링 결과 역시 높은 수준으로 인간의 문항과 대등한 결과를 보여주었다.
또한, 문항의 적합도를 위해 기존 생성 문항을 코퍼스로 두고 생성 문항을 G-검정을 통해 비교한 결과 생성 문항과 기존 문항 사이에는 일정 이상의 관계를 보여 단어 수준에서 서로 상관관계가 있는 것으로 나타났다. 현장 전문가들에 의해 문항의 적절성을 평가한 결과 평가한 20문항 중 19문항이 활용하기에 적절한 것으로 나타나 95%의 정확도를 보였다. 이어 평가 문항 제작 프로세스를 전문가에게 검토받은 결과 전문가 타당도 최소 기준을 모두 충족하여 이러한 제작 프로세스가 실제로 도움이 될 것으로 예측하였다.
수행된 연구를 통해 자연어생성모델을 이용한 학습자 평가와 문항 제작의 가능성을 확인하였고 이를 발전시켜 더욱 세분된 유형과 도메인에 맞는 자료를 준비한다면 다양한 확장으로 발전시킬 수 있을 것으로 기대한다.
목차
- 국문초록 ⅰ목 차 ⅳ표 목 차 ⅵ그림목차 ⅷI. 서 론 11. 연구의 필요성 및 목적 12. 연구 내용 33. 연구의 제한점 3II. 이론적 배경 51. 학습자 평가 52. 인공지능과 딥러닝 153. 자연어처리 254. 문제 생성과 평가 시스템 47III. 연구 내용 571. 평가 문항 개발 시스템의 요구분석 572. 평가 문항 개발 시스템의 설계 65IV. 연구 내용 961. 평가 문항 개발 시스템의 평가 962. 평가 문항 개발 시스템의 구현 110V. 결론 및 제언 1151. 결론 1152. 제언 118참고문헌 119부 록 138ABSTRACT 162
최근 본 자료
