Human-AI Collaboration in the Customer Contact Center : The Effect of AI Explanations on Decision-Making Performance :고객 컨택 센터에서의 인간과 AI 의 협업: AI 에 대한 설명이 의사 결정 성과에 미치는 영향

진솔

추천

검색

자료유형: 학위논문

저자정보: 진솔 (서울대학교, 서울대학교 대학원)

지도교수: 노상규

발행연도: 2023

저작권: 서울대학교 논문은 저작권에 의해 보호받습니다.

이용수35

초록· 키워드

기존 연구에서는 인간이 인공 지능(AI)과 협력하여 의사 결정(decision-making)을 내리는 조직이 인간 또는 인공 지능만으로 구성된 조직보다 우월하다는 것을 보여준다. 그러나 이러한 잠재력에도 불구하고 설명성(explainability)의 부재로 인해 협업에 있어서 인공 지능의 채택은 실질적인 문제에 마주하고 있다. 인공 지능 알고리즘은 의사 결정 과정상 해석이 불가능한 블랙박스 문제를 가지고 있기 때문에 조직에서 인공 지능을 채택하거나 인공 지능의 결정을 정당화하는 것이 제한적일 수밖에 없다. 따라서 조직에서 인공 지능 기반 의사 결정을 성공적으로 구현하기 위해서는 의사 결정 과정의 해석성과 투명성을 높이는 것이 필요하다. 이러한 문제점을 해결하기 위해 최근 설명 가능한 인공 지능(eXplainable Artificial Intelligence, XAI) 기법이 연구되고 있다. 설명 가능한 인공 지능을 기반으로 기존 AI의 설명성을 확보한다면 인간과 인공 지능이 협업할 때 더 나은 시너지를 촉진해 협업 관계를 개선할 수 있을 것으로 기대한다. 이에 본 연구는 설명 가능한 인공 지능이 인간과 인공 지능의 협업에 있어서 의사 결정 성능을 향상시킬 수 있는지를 검증하기 위해 실험을 진행한다. 이와 함께 고객 컨택 센터에서 인간과 인공 지능의 협업을 위한 구조화된 프레임워크를 제시함으로써 협업의 가능성을 조명한다. 실험은 고객 컨택 센터에 종사하는 고객 상담원 60명을 대상으로 하며, 이들을 실험군과 대조군으로 나누어 각 군집 별 의사 결정 성능을 비교 분석한다. 의사 결정 성능은 정확도(decision accuracy), 속도(decision speed), 자신감(decision confidence) 도구를 활용하여 확인하였다. 그 결과 인공 지능에 대한 설명이 제공되지 않는 경우보다 설명이 제공되는 경우 평균 의사 결정 정확도가 더 높게 나타났다. 반면에 의사 결정 속도는 집단 간에 통계적으로 유의미한 차이가 없으며 데이터에 따른 차이만 존재하였다. 그리고 실험군이 대조군에 비해 평균 의사 결정 자신감이 높게 나타났지만, 인공 지능에 대한 설명의 유무에 따른 차이는 존재하지 않았다. 다음으로 인공 지능의 설명성이 보장되면 인공 지능이 실수를 하더라도 인간이 올바른 결정을 내릴 수 있는지 여부를 조사하기 위해 정확성(correctness)과 과잉 의존도(overreliance)를 측정하고 분석하였다. 그 결과, 인공 지능의 설명성이 보장되면 인공 지능이 잘못된 예측을 제공하더라도 인간은 올바른 결정을 내릴 수 있고, 인공 지능에 대한 과도한 의존을 줄여준다는 점을 발견하였다. 이러한 결과는 인간이 인공 지능의 결정을 이해하면 스스로 더 나은 결정을 내릴 수 있게 되고, 협업에 있어서 보다 원활하게 상호 작용할 수 있음을 시사한다.

Previous studies have shown that organizations in which humans collaborate with artificial intelligence (AI) to make decisions are superior to organizations comprised solely of humans or AI. However, there are practical challenges to adopting AI for such collaborative decision-making. It is impossible to determine the reason or justification for AI''s suggestions since AI algorithms are opaque, like black boxes that no one can see inside. Therefore, in order to successfully implement AI-based decision-making in organizations, it is necessary to enhance the interpretability and transparency of the decision-making process. Meanwhile, explainable AI (XAI) has recently emerged, which is a methodology of innovation that opens the black box of AI. If XAI is to ensure the transparency of existing AI, it is expected to improve cooperative relationships and make more adequate decisions by creating more synergy when collaborating with humans and machines. In this regard, this study discusses whether XAI improves the decision performance of human-AI collaboration. The experiment is designed to compare and evaluate decision-making performance (i.e., accuracy, speed, and confidence) in three AI conditions (i.e., human only, human and AI collaboration, and human and XAI collaboration) using two datasets in the context of customer contact centers. In addition, when information is given through an explanatory interface, it examines whether the human experts can make the correct decisions, even if the AI assistant make mistake. This study finds that the accuracy of the decisions is higher when an explanation of AI is provided compared to when it is not. On the other hand, there is no statistically significant difference in decision speed between conditions; only a difference according to the dataset is found. And when teaming with AI, there is a general increase in decision confidence, but there is no significant difference with or without an explanation for AI. Additionally, even though AI makes incorrect decisions, the explanation component enables humans to make correct decisions. The explanations for AI seem to lessen human overreliance on AI suggestions, meaning that humans can make better decisions on their own if they comprehend AI''s decisions. These results indicate that when AI is explained, humans and AI can interact more seamlessly.

#Explainable AI (XAI) #Natural Language Processing (NLP) #Decision-Making Performance #Human-AI Collaboration #Customer Contact Center

Abstract 1
Chapter 1. Introduction 7
Chapter 2. Literature Review 12
2.1 Customer Contact Centers 12
2.2 Human-AI Collaborative Decision-Making 13
2.3 The Practical Problems of Adopting AI for Collaboration 16
2.4 Explainable AI 18
Chapter 3. Hypothesis Development 22
3.1 The Impact of AI Explanations on Decision Performance 22
3.2 The Impact of AI Explanations on Incorrect AI Predictions 23
Chapter 4. Research Methodology 24
4.1 AI Conditions 24
4.2 Datasets 27
4.3 Measures 29
4.4 Participants 29
Chapter 5. Results 32
5.1 Analysis of Decision Performance 32
5.1.1 Decision Accuracy 34
5.1.2 Decision Speed 35
5.1.3 Decision Confidence 36
5.2 Analysis of Decision on Incorrect AI Prediction 37
5.2.1 Correctness 38
5.2.2 Overreliance 39
Chapter 6. Conclusion 41
6.1 Discussion 41
6.2 Limitation and Future Work 43
References 44
Appendix 55
Abstract in Korean 58

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

목차

최근 본 자료

댓글(0)