이 연구는 논증적 글쓰기 과제를 대상으로 쓰기 자동 채점을 위한 단계적 연구의 일부를 수행함으로써 자동 채점 연구의 제반을 마련하는 것에 그 목적이 있다. 4차 산업혁명과 더불어 교육계에서는 창의·융합형 인재를 양성하기 위한 다양한 방안이 모색되고 있으나 실제 중등학교 교실에서는 체계적인 쓰기 수업이 거의 이루어지지 않고 있는 실정이다. 이러한 원인에는 쓰기 평가 시 교사의 인지적, 심리적 부담과 함께 현 수학능력시험 체제가 교육 현장에 미치는 강력한 환류효과가 자리한다. 반면 해외에서는 오랜 연구 성과를 바탕으로 자동 쓰기 채점을 도입하여 교실 맥락에서 이루어지는 쓰기 평가를 지원하고 대단위 평가에 소요되는 비용을 절감하고 있으나 국내에서는 이에 대한 연구가 매우 부족한 실정이다.
이에 본 연구에서는 자동 채점 연구의 일부 단계인 평가 자질 추출 및 타당화를 실시하였다. 평가 자질을 추출하기에 앞서, 코퍼스 구축과 텍스트 전처리 작업이 이루어졌다. 이에 쓰기 과제와 평가 기준을 구안하였으며 최종적으로 인문계 고등학생 97명이 작성한 논설문 텍스트에 대해 경력 5년 이상의 교사 2인의 평가를 실시한 결과 주석 코퍼스가 구축되었다. 텍스트 전처리의 일환으로 수행된 아규먼트 마이닝의 논증 분석 체계는 ‘핵심주장’, ‘주장’, ‘반론 제시 및 반박 주장’, ‘근거 및 보충설명’ 등 4가지로 구성되었다. 품사 태깅은 Python 3.6 기반 Konlpy 패키지 내의 Kkma 형태소 분석기에 의해 이루어졌으며 이를 기반으로 규칙 기반 알고리즘이 설계되어 논증 요소에 대한 탐지가 이루어졌다. 이 과정에서는 논증적 글쓰기의 장르 문법을 고려하여 국어교육학적으로 타당한 자질을 설계하고자 하였다.
본격적으로 자질을 설계하기에 앞서 자동 채점 모델의 간명화를 위해 논증적 글쓰기 평가의 특징적 양상에 따라 평가 요소의 재구조화 가능성을 탐색하고 전문가 자문을 거쳐 논증적 글쓰기 평가 요소를 재구조화하였다. 이에 ‘논증의 명료성’과 ‘논증의 타당성’영역으로 평가 항목이 구성되었다.
이후 각 영역과 관련한 평가 자질을 추출하는 작업이 실시되었다. 본 연구에서는 확률적 언어 모델에 기반한 특질보다는 학생 글에서 나타나는 논증과 관련한 긍정적, 부정적 양상을 포착하여 자질을 설계하고자 하였다. 이에 학생의 논증적 글쓰기 수행에 대해 형성적 피드백이 가능한 평가 자질 6개를 구안하였으며 각각은 ‘핵심주장 제시 여부’, ‘핵심주장 재진술 여부’, ‘논증 주요 조직 점수’, ‘하위 주장 점수’, ‘근거 및 보충설명 과소 여부’, ‘1인칭 주장 표현 점수’로 명명되었다.
또한 평가 자질의 타당화 작업이 실시되었다. 앞서 자질 추출 과정아 자질의 내용 타당도를 확보하는 과정이었다면 자질의 실질타당도를 확보하기 위해 앞서 설계한 각 영역별 자질을 독립 변수로 영역별 점수를 종속 변수로 설정하여 단계적 회귀분석이 실시되었다. 이후 논증의 명료성 영역 점수를 설명하는 2개의 자질이 도출되었다. ‘논증 주요 조직 점수’의 β는 0.282 ‘핵심주장 재진술 여부’의 β는 0.256으로 이들의 논증의 명료성 점수에 대한 설명력은 15.8%였으며 통계적으로도 유의하였다. 또한 논증의 타당성 영역 점수를 설명하는 3개의 자질이 도출되었다. ‘하위 주장 점수’의 β는 0.495, ‘1인칭 주장 표현 점수’의 β는 -0.359, ‘근거 및 보충설명 과소 여부’의 β는 -0.215로 이들의 논증의 타당성 점수에 대한 설명력은 22.8%였으며 통계적으로도 유의하였다.
이상의 연구는 국내에서 미진한 실정이었던 쓰기 자동 채점과 관련한 단계적 연구의 일부를 실시하였다는 점에서 의의가 있다. 특별히 아규먼트 마이닝을 통해 의사소통 역량의 핵심 요소인 논증력과 관련한 자질을 설계하고자 하였으며, 이에 학생에게 구체적 피드백 제공이 가능한 자질을 개발하고 자동 채점에서도 유의한 성과를 얻었다는 점에서 의의가 있다. 그러나 아규먼트 마이닝 과정에서 휴리스틱 기법을 사용하였다는 점, 선형 이상의 복잡성이 요구되는 수행임에도 선형성을 가정하고 자동 채점을 시도했다는 점, 이에 회귀 모델의 설명력이 다소 낮았다는 점이 한계로 남는다.
이에 후속 논의를 제언하면 다음과 같다. 첫째, 자동 채점을 위한 특수한 쓰기 과제에 대한 탐색이 요구된다. 둘째, 과제별 쓰기 능력 또는 평가 요소에 대한 재구조화가 필요하다. 셋째, 확률적 언어 모델을 기반으로 한 기존의 해외 선행연구의 자질의 한국어 텍스트의 적용 가능성을 탐색하고 모델의 설명력을 높이기 위한 탐색이 필요하다. 다섯째, 국어교육의 관점에서 타당한 방식으로 주석화 작업이 이루어진 코퍼스 구축을 통해 학제 간 협력을 촉진할 필요가 있다.