인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
학술저널
DBpia Top 5%
오류 신고하기해당 페이지 내 제목·저자·목차·페이지정보가 잘못된 경우 알려주세요!
초록·키워드
본 연구는 커뮤니케이션 연구 영역에서 대규모 언어 모델(LLMs)을 컴퓨터 기반 텍스트 분석 방법 (CTAM)에 적용할 수 있는가의 여부를 탐색한다. LLM 기술 발전에 따른 텍스트 분석 도구로서의 가능성 이 높아지고 있음에도 불구하고 측정 도구로서의 LLMs의 한계라고 할 수 있는 내적 신뢰도와 외적 타당 도에 대한 문제를 해결할 필요가 있다. 기존의 전통적인 코딩 방식이나 규칙 기반 텍스트 분류 시스템과 달리 LLMs의 경우 항상 일관되거나 재현 가능한 출력이 보장되지 않기 때문이다. 이는 LLMs이 학술 연 구에서 적절한 텍스트 분석 도구로 기능할 수 있는지에 대한 커다란 의문을 제기한다.
본 연구에서는 LLMs이 CTAM에 적용될 수 있는 그 가능성을 평가하기 위해 내적 신뢰도와 외적 타당도 의 관점에서 LLMs의 텍스트 분석 결과물을 평가한다. 특히 LLMs의 결과물이 반복된 동일 프롬프트에 대해 일관된 결과를 출력하는지(내적 신뢰도), 인간 코딩 결과와 비교하여 동일한 결과를 출력하는지(외 적 타당도)를 평가한다. 다수의 팩트체크 뉴스 기사에 대해 인간 코더들이 정보 추출(information extraction)을 수행한 데이터를 동일하게 LLMs으로 분석하게 하였다. 이를 통해 반복 분석을 통한 내적 신뢰도 평가, 인간 코더의 결과와의 비교를 통한 외적 타당도 평가라는 다단계 검증 절차를 수행했다.
연구 결과, LLMs을 통한 텍스트 분석의 결과물은 신뢰할만한 수준의 내적 신뢰도와 외적 타당도를 확보 하고 있음을 보여주고 있다. 반복 분석을 통해 LLMs이 일정한 분석 결과를 제공할 수 있으며, 인간 코더 와의 비교를 통해 충분한 외적 타당도를 확보할 수 있음을 보였다. 그러나 뉴스 기사의 장르나 정보의 종 류에 따라 신뢰도와 타당도가 크게 하락하는 현상이 확인되었다. 수치 데이터를 주로 사용하거나, 경제 뉴스의 경우 신뢰도와 타당도가 낮게 나타났으며, 이는 LLMs의 텍스트 분석 결과가 조건에 따라 사용 가능 성이 달라질 수 있음을 의미한다.
따라서 LLMs을 연구의 측정 도구로 사용하기 위해서는 절차와 분석 대상에 대해 주의가 필요하다. 정교 한 프롬프트의 제작, 동일 프롬프트의 반복 측정을 통한 내적 신뢰도 확인, 그리고 인간 코딩과의 비교를 통한 외적 타당도 확보라는 절차가 제안된다. 또한 다양한 조건과 맥락에 대한 테스트를 통해 LLMs이 어 떤 조건에서 어느 정도 수준의 성능이 나타나는지 검증할 필요가 있다.
이 과정을 통해 확인된 본 연구의 결과는 LLMs이 커뮤니케이션 연구 분야에서 의미 있는 분석 도구로서 활용될 수 있는 기반을 마련하고 미래의 텍스트 분석 방법론에 기여할 것으로 기대한다. LLMs의 한계점 을 연구 수행 절차를 통해 극복할 가능성을 확인할 수 있었다. 본 연구에서 제안된 분석 절차의 경우 앞으 로 지속적인 논의를 통해 표준화된 절차로 발전해야 할 필요가 있다.
본 연구에서는 LLMs이 CTAM에 적용될 수 있는 그 가능성을 평가하기 위해 내적 신뢰도와 외적 타당도 의 관점에서 LLMs의 텍스트 분석 결과물을 평가한다. 특히 LLMs의 결과물이 반복된 동일 프롬프트에 대해 일관된 결과를 출력하는지(내적 신뢰도), 인간 코딩 결과와 비교하여 동일한 결과를 출력하는지(외 적 타당도)를 평가한다. 다수의 팩트체크 뉴스 기사에 대해 인간 코더들이 정보 추출(information extraction)을 수행한 데이터를 동일하게 LLMs으로 분석하게 하였다. 이를 통해 반복 분석을 통한 내적 신뢰도 평가, 인간 코더의 결과와의 비교를 통한 외적 타당도 평가라는 다단계 검증 절차를 수행했다.
연구 결과, LLMs을 통한 텍스트 분석의 결과물은 신뢰할만한 수준의 내적 신뢰도와 외적 타당도를 확보 하고 있음을 보여주고 있다. 반복 분석을 통해 LLMs이 일정한 분석 결과를 제공할 수 있으며, 인간 코더 와의 비교를 통해 충분한 외적 타당도를 확보할 수 있음을 보였다. 그러나 뉴스 기사의 장르나 정보의 종 류에 따라 신뢰도와 타당도가 크게 하락하는 현상이 확인되었다. 수치 데이터를 주로 사용하거나, 경제 뉴스의 경우 신뢰도와 타당도가 낮게 나타났으며, 이는 LLMs의 텍스트 분석 결과가 조건에 따라 사용 가능 성이 달라질 수 있음을 의미한다.
따라서 LLMs을 연구의 측정 도구로 사용하기 위해서는 절차와 분석 대상에 대해 주의가 필요하다. 정교 한 프롬프트의 제작, 동일 프롬프트의 반복 측정을 통한 내적 신뢰도 확인, 그리고 인간 코딩과의 비교를 통한 외적 타당도 확보라는 절차가 제안된다. 또한 다양한 조건과 맥락에 대한 테스트를 통해 LLMs이 어 떤 조건에서 어느 정도 수준의 성능이 나타나는지 검증할 필요가 있다.
이 과정을 통해 확인된 본 연구의 결과는 LLMs이 커뮤니케이션 연구 분야에서 의미 있는 분석 도구로서 활용될 수 있는 기반을 마련하고 미래의 텍스트 분석 방법론에 기여할 것으로 기대한다. LLMs의 한계점 을 연구 수행 절차를 통해 극복할 가능성을 확인할 수 있었다. 본 연구에서 제안된 분석 절차의 경우 앞으 로 지속적인 논의를 통해 표준화된 절차로 발전해야 할 필요가 있다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
UCI(KEPA) : I410-151-25-02-092450255
