생성형 AI 챗봇이 제안하는 후속 질문 유형에 대한 사용자 경험 연구 :User experience study on the types of follow-up questions suggested by generative AI chatbots

오형근

학위논문

저자정보: 오형근 (홍익대학교, 홍익대학교 대학원)

이용 18 피인용 0

검색

초록·키워드

최근 생성형 AI 챗봇 서비스는 정보 탐색과 처리에 혁신을 가져오며, 사용자 질문을 이해하고 답변을 생성하여 경험을 향상하고 있다. 특히 후속 질문 기능은 초기 응답을 기반으로 추가 정보를 요청하거나 명확성을 높일 수 있게 해주어, 지속적이고 목적 지향적인 대화를 통해 더 정교한 정보 탐색이 가능하다. 본 연구는 이러한 후속 질문 유형의 사용성 및 효과를 분석하고, 연구 보고서 작성 단계에서 인지된 유용성, 적절성, 만족도에 미치는 영향을 규명하여, 생성형 AI 챗봇을 활용한 연구의 각 단계에서 사용자 경험을 향상시킬 수 있는 적절한 유형을 도출하는 것을 목표로 한다. 먼저, 생성형 AI 챗봇의 이용 목적으로 많이 활용되는 보고서 작성 업무를 실험 주제로 선정하였다. 이에 따라, 1) 현황 조사 및 연구 목표 설정, 2) 가설 수립 및 연구 방법 설정, 3) 조사 일정 및 예산 계획, 4) 보고서 초안 검토로 설정해 단계별로 적절한 후속 질문 유형을 도출하고자 한다.
위 단계를 바탕으로 국내 3개 생성형 AI 챗봇 서비스와 해외 5개 서비스에서 다양한 Task 82개에서 도출된 후속 질문과 선행 연구에서 생성형 AI 챗봇에게 질문한 사용자의 질문 내역을 참고해 재질문한 사례를 수집한 후 분류하였다. 본 연구에서 제시하는 5가지 질문 유형에 대한 정의는 선행 연구를 기반으로 일부 유형을 연구에 맞게 재정의하여 1) 발산형, 2) 정보 요구형, 3) 평가형, 4) 비교형, 5) 인과관계형 질문으로 정리하였다.
실험은 1대1 인터뷰 형식으로 진행되었으며, 질문 유형에 대해 응답하도록 요청한 후, ‘신속한 진행에 도움이 되는 질문’인지를 설문 응답 기준으로 과업을 완료될 때마다 심층 인터뷰를 진행하였다. 이처럼 정량적으로 조사한 내용을 정성적으로 보완했으며, 생성형 AI 챗봇 서비스 주 사용층인 20~30대 중 연구원에 준하는(연구 경험, 보고서 작성 경험이 있는) 표본들로 구성하였다. 해당 기준에 부합한 60명의 피험자가 참여한 본 실험은 혼합연구방법론(Mixed Methods)을 활용해서 진행하였다. 설문 응답은 5점 리커트 척도로 진행하였다. 수집된 답변을 바탕으로 일원분산분석(One-way ANOVA)과 이원분산분석(Two-way ANOVA)을 실시하였으며 Tukey 사후 검증을 통해 사용자 경험 차이를 정량적으로 확인하였다.
연구 결과는 다음과 같다. 생성형 AI 챗봇이 제안하는 후속 질문 유형은 사용자 경험에서 차이를 확인하였고, 연구 프로젝트 실행 단계에 따라 사용자 경험에서 차이를 확인하였다. 현황 및 연구 목표 설정 과정에서 생성형 AI 챗봇이 구체적인 근거를 제시하고 이를 바탕으로 연구 방향을 명확히 정립하는 데 도움을 준다고 답하였다. 가설 수립 연구 방법 설정 단계에서 생성형 AI 챗봇과 미리 가설 검증, 즉 본 조사 결과를 예측하며, 이전에 연구 동료들과 진행하던 작업을 AI 챗봇과 함께 진행함으로써 ‘연구 보조’로 활용할 수 있는 질문에 대해 긍정적이라고 평가하였다. 수립할 가설의 검증 결과를 미리 예측해주는 질문이 해당 단계에서 빠른 결정을 지원하고 있다는 점이 이를 반영한다. 본조사를 진행하기에 앞서 참조할 수 있는 세부 정보를 제공하는 후속 질문은 연구의 완성도를 높이는 데 기여할 수 있다고 답하였다. 또한 검토의 단계에서 생성형 AI 챗봇을 활용해 전반적인 구조를 빠르게 이해하거나, 내용을 검토하고 보완점을 도출할 수 있는 질문이 긍정적이었다. 이러한 과정을 통해 시간과 자원을 절약할 수 있고, 빠르게 많은 정보를 파악하는 질문임에 긍정적이라고 답하였다.
본 연구는 후속 질문 기능이 통찰력 있고 적절한 질문을 제안하는 역할을 수행한다면, 작성 단계(Depth)의 흐름에 따라 사용자를 올바르게 유도하고, 사용자가 놓친 부분을 재발견하도록 돕는 역할을 할 수 있음을 파악하였다. 또한, 생성형 AI 챗봇의 후속 질문 기능은 더욱 정교하고 적합한 후속 질문을 제안함으로써 질문 빈도와 응답률과 사용성을 향상할 가능성을 확인하였다. 나아가, 사용자의 수준에 따라 개인화의 필요성도 존재함을 확인하였다. 사용자의 지식수준에 대한 정보를 생성형 AI 챗봇이 미리 파악할 수 있다면, 사용자에게 개인화된 질문을 제시하여 질문율을 더 높일 수 있을 것이다. 또한, 환각 문제를 해결하고 신뢰성을 강화해 후속 질문 기능이 개선된다면 생성형 AI 챗봇은 연구자들에게 강력한 도구로 작용할 수 있을 것이다. 이러한 부분들이 고려된다면, 인공지능 서비스는 사용자에게 더욱 적합한 질문을 제공하며, 인공지능과 인간 간의 상호작용을 한층 발전된 형태로 이끌어 갈 수 있을 것으로 기대한다.

Recently, generative AI chatbot services have brought innovation to information search and processing, improving the experience by understanding user questions and generating answers. In particular, the follow-up question function allows users to request additional information or clarify based on the initial response, enabling more sophisticated information search through continuous and purpose-oriented conversations. This study aims to analyze the usability and effectiveness of these types of follow-up questions and to identify their impact on perceived usefulness, appropriateness, and satisfaction during the research report writing stage, thereby deriving appropriate types that can improve the user experience at each stage of research using generative AI chatbots. First, we selected the task of writing a report, which is often used for the purpose of using a generative AI chatbot, as the subject of our experiment. Accordingly, we will derive appropriate follow-up question types for each stage by setting 1) status investigation and research goal setting, 2) hypothesis establishment and research method setting, 3) investigation schedule and budget planning, and 4) report draft review.
Based on the above steps, we collected and classified examples of follow-up questions derived from 82 different tasks in three domestic and five overseas generative AI chatbot services, and the details of questions asked to generative AI chatbots in previous studies. The definitions of the five question types presented in this study were redefined based on previous studies to suit the research, and were organized into 1) divergent, 2) information-seeking, 3) evaluative, 4) comparative, and 5) causal questions.
The experiment was conducted in the form of a one-on-one interview, and after asking them to respond to the question types, an in-depth interview was conducted every time the task was completed based on the questionnaire response criteria of whether it was a ''question that helps to proceed quickly''.
The questions were classified into five types: 1) divergent, 2) information-seeking, 3) evaluative, 4) comparative, and 5) causal.
The definitions of the five types of questions presented in this study were redefined based on previous studies to suit the research, and were organized into 1) divergent, 2) information-seeking, 3) evaluative, 4) comparative, and 5) causal questions. The quantitative research was supplemented with qualitative research, and the sample was composed of researchers (with research experience and experience in writing reports) in their 20s and 30s, the main users of the generative AI chatbot service. This experiment, which involved 60 subjects who met the relevant criteria, was conducted using a mixed research methodology. The survey responses were conducted on a 5-point Likert scale. Based on the collected answers, one-way ANOVA and two-way ANOVA were conducted, and Tukey''s post-hoc test was used to quantitatively identify differences in user experience.
The research results are as follows. The follow-up question types suggested by the generative AI chatbot showed differences in user experience, and differences were identified in user experience according to the stage of the research project execution. In the process of setting the status and research goals, the generative AI chatbot was said to provide specific evidence and help to clearly establish the research direction based on this evidence. Hypothesis establishment In the research method setting stage, they evaluated the questions that can be used as a “research assistant” by testing hypotheses with the generative AI chatbot in advance, that is, predicting the results of this survey, and conducting the work previously conducted with research colleagues with the AI chatbot. This is reflected in the fact that questions that predict the results of the validation of the hypotheses to be established in advance are helping to make quick decisions at this stage.
In the process of setting the status and research goals, they answered that generative AI chatbots provide specific evidence and help to clearly establish the direction of research based on this evidence.
Hypothesis establishment At this stage, they evaluated that questions that predict the results of the validation of the hypotheses to be established in advance are helping to make quick decisions. They said that follow-up questions that provide detailed information that can be referred to before conducting the main survey can contribute to improving the completeness of the research.
They also said that questions that help them to clearly establish hypotheses are helpful. In addition, questions that can be used to quickly understand the overall structure or review and identify areas for improvement using a generative AI chatbot in the review stage were also considered positive. These processes save time and resources, and are considered positive because they allow users to quickly grasp a lot of information.
This study found that the follow-up question function can play a role in guiding users correctly according to the flow of the writing stage (depth) and helping them rediscover what they have missed if it suggests insightful and appropriate questions. It also confirmed the possibility of improving question frequency, response rate, and usability by suggesting more sophisticated and appropriate follow-up questions. Furthermore, we found that there is a need for personalization depending on the user''s level. If the generative AI chatbot can identify the user''s knowledge level in advance, it will be able to present personalized questions to the user, thereby increasing the question rate. In addition, if the follow-up question function is improved by solving the problem of hallucinations and enhancing reliability, the generative AI chatbot will be able to serve as a powerful tool for researchers. If these aspects are considered, AI services will be able to provide more suitable questions to users and lead to a more advanced form of interaction between AI and humans.

국문초록 i
목차 iv
표 목차 vii
그림 목차 ix
I. 서 론 1
1.1. 연구 배경 및 목적 1
1.2. 연구 절차 및 방법 3
II. 이론적 배경 5
2.1. AI와 언어 모델 5
2.1.1. AI의 정의 5
2.1.2. 어텐션 메커니즘 6
2.1.3. 생성형 AI 챗봇의 현황 8
2.1.4. 생성형 AI 챗봇의 모호한 응답 문제 10
2.2. 프롬프트 작성의 중요성과 한계 11
2.2.1. AI 챗봇의 성능 향상을 위한 프롬프트 작성의 중요성 12
2.2.2. 프롬프트 작성에서 발생하는 문제점 13
2.2.3. 생성형 AI 챗봇을 활용한 연구 보고서 작성의 한계 20
2.3. 생성형 AI 챗봇이 제안하는 질문 21
2.3.1. 생성형 AI 챗봇이 제안하는 질문의 필요성 22
2.3.2. 생성형 AI 챗봇의 질문 제안 기능 유형 24
2.4. 후속 질문 제안의 기능 및 역할 30
2.4.1. 후속 질문 제안 기능 30
2.4.2. 후속 질문 제안의 역할 32
2.4.3. 생성형 AI 챗봇이 제안하는 후속 질문 관련 선행 연구 33
2.4.4. 후속 질문 제안 현황 33
III. 사례 수집 및 유형화 38
3.1. 질문 유형 사례 38
IV. 연구 방법 44
4.1. 연구 모형 설계 44
4.2. 연구 목적 및 가설 설정 47
4.3. 실험 절차 및 대상 49
4.4. 실험 설계 55
4.4.1. 실험물 제작 56
4.4.2. 사용자 경험 조사를 위한 설문지 구성 78
V. 연구 결과 81
5.1. 실험 결과 82
5.2. 질문의 응답 및 적합성 판단 기준 84
5.3. 기초 분석 84
5.4. 신뢰도 분석 84
5.5. 연구 문제 및 가설 검증 85
5.5.1. 연구 문제 1 85
5.5.2. 연구 문제 2 92
5.6. 연구 프로젝트 실행 단계에 따른 질문 유형에 대한 논의 101
5.7. 가설 검증 요약 120
5.8. 심층 인터뷰 분석 121
5.8.1. 현황 조사 및 연구 목표 설정 단계 122
5.8.2. 가설 수립 및 연구 방법 설정 단계 125
5.8.3. 조사 일정 및 예산 계획 단계 127
5.8.4. 보고서 초안 검토 단계 129
5.8.5. 연구 단계에서 후속 질문의 역할과 기대 효과 131
VI. 결 론 133
6.1. 연구 결론 및 의의 133
6.2. 연구의 한계 136
6.3. 제언과 향후 연구 방향 137
VII. 참고 문헌 138
VIII. 부 록 155
IX. Abstract 178

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록·키워드

목차

최근 본 자료 전체보기

댓글(0)