Google Play Store 사용자 리뷰 점수 예측 위한 BERT 기반 2단 분류 모델 :

민영재

학위논문

저자정보: 민영재 (성균관대학교, 성균관대학교 일반대학원)

이용 11 피인용 0

검색

초록·키워드

Google Play Store 는 전 세계적으로 가장 많은 모바일 어플리케이션(Mobile Application)을 확보한 온라인 앱 스토어(Application store)로 사용자들이 자발적으로 구매한 상품에 대한 리뷰 및 평점을 적극적으로 제공하고 있는 특징이 있다. 이러한 리뷰 및 평점은 이후 구매자 뿐 아니라 판매자, 그리고 플랫폼 관리자에게 매우 유용한 정보로 활용된다. 하지만 작성자의 실수나 5점 척도 중 평점3점, 평점4점과 같은 중간 점수를 부여할 때 기준이 모호함으로 인하여 사용자 리뷰의 내용과 사용자가 부여한 평점 간의 불일치가 발생하기 때문에 사용자의 진정한 의도 및 선호도를 정확히 파악하는데 어려움이 있었다.
사용자 리뷰를 바탕으로 사용자가 부여한 평점을 예측하고자 하는 시도는 Google Play Store뿐 아니라 Yelp, Amazon shopping, IMDB 영화 평점 리뷰 예측 등 다양한 시도가 있어왔다. 하지만 대부분의 선행 연구에서는 사용자가 부여한 5점 척도 평점을 가공하여 긍정/부정과 같은 이진분류(Binary Classification)을 수행하거나 긍정/중립/부정으로 구분하는 3가지 클래스(Class) 분류를 수행하는 연구가 대부분 이었으며, 일부 5가지 클래스 분류를 수행하는 모델에 대한 선행 연구에서도 만족할 만한 성능을 보여주지 못하고 있었다.
본 연구에서는 대규모 사전 학습 모델인 BERT(Bidirectional Encoder Representations from Transformers)와 LSTM(Long Short Term Memory), GRU(Gated Recurrent Units), Text-CNN(Convolutional Neural Network)과 같은 딥러닝(Deep Learning) 모델을 조합하여 Google Play Store 사용자 리뷰 점수를 5점 척도로 예측하는 모델을 제안하였다. 사용자의 입력 오류를 보정하기 위하여 키워드 기반 분석 도구인 VADER(Valence Aware Dictionary for Sentiment Reasoning) 감정 분석 점수를 조합하여 분류 정확도의 향상을 시도 하며, 분류 성능의 극대화를 위하여 비교적 분류가 잘 되는 평점 1 점, 5점 리뷰를 먼저 분류하고, 분류가 어려운 평점 2점, 3점, 4점 리뷰를 추가 분류하는 2단 분류 모델(Two-stage Classification Model)을 제안하였다. 최종적으로 제안된 방식으로 생성된 1단계 - 2단계 분류 모델들의 조합을 통해, 총 196개의 2단 분류 모델 조합의 성능을 비교하였으며, 이를 통해서 1단계 분류 모델과 2단계 분류 모델 조합에 따른 성능 변화를 관찰 하였다. 그리고 2단 분류 구조에서 추가적인 성능 향상을 위한 최적의 Voting 방법을 제안하고, 예측 결과에 대해 신뢰도를 측정할 수 있는 방법을 제안하여 향후 모델 사용 및 평가에 도움이 되도록 하였다.
실험을 통하여 BERT의 사전 학습 모델(Pre-Trained model)에 기반한 분류 모델이 전통적인 기계학습 및 Glove, Word2Vec으로 사전 학습된 워드 임베딩(Pre-Trained Word Embedding) 기반 딥러닝 모델들 대비 유의미하게 우수한 성능을 보이는 것을 증명하였으며, 2단 분류를 통하여 모델의 분류 성능을 극대화 할 수 있음을 보였다.

The Google Play Store is the world''s most popular online application store for mobile applications, and is characterized by its users'' willingness to voluntarily provide reviews and ratings of their purchases. These reviews and ratings are very useful for buyers, sellers, and platform administrators. However, it has been difficult to accurately identify the true intentions and preferences of users due to discrepancies between the content of user reviews and the ratings assigned by users due to human error or ambiguity in the criteria for assigning intermediate scores such as 3 and 4 on a 5-point scale.
There have been various attempts to predict user ratings based on user reviews, not only in the Google Play Store, but also in Yelp, Amazon shopping, and IMDB movie rating reviews. However, most of the previous studies processed the 5-point scale ratings given by users to perform binary classification such as positive/negative or three-class classification such as positive/neutral/negative, and some previous studies on models that perform five-class classification have not shown satisfactory performance.
In this study, we propose a model to predict Google Play Store user review scores on a 5-point scale by combining a large-scale pre-training model, Bidirectional Encoder Representations from Transformers (BERT), and deep learning models such as Long Short Term Memory (LSTM), Gated Recurrent Units (GRU), and Convolutional Neural Network (Text-CNN). To compensate for user input errors, we try to improve the classification accuracy by combining the sentiment analysis score of VADER (Valence Aware Dictionary for Sentiment Reasoning), a keyword-based analysis tool, and to maximize the classification performance, we propose a two-stage classification model that first classifies 1 and 5 star reviews that are relatively easy to classify, and then further classifies 2, 3, and 4 star reviews that are difficult to classify. Finally, we compared the performance of a total of 196 two-stage classification model combinations through the combination of first and second stage classification models generated by the proposed method, and observed the performance change of first stage classification model and second stage classification model combination. In addition, we proposed an optimal voting method for further performance improvement in the two-stage classification structure, and proposed a method to measure the confidence of the prediction results, which is helpful for future model use and evaluation.
Through experiments, we proved that the classification model based on BERT''s pre-trained model shows significantly better performance than traditional machine learning and deep learning models based on pre-trained word embedding with Glove and Word2Vec, and showed that the classification performance of the model can be maximized through two-stage classification.

#BERT #Two-stage Classification #리뷰 평점 예측 #NLP #딥러닝

제 1장 서론 1
제 2장 관련 연구 6
제 3장 연구 사전 준비 9
3.1. 데이터 수집 및 전처리 9
3.1.1. 목표 데이터(Target Data) 선정 및 수집 9
3.1.2. 탐색적 데이터 분석(Exploratory Data Analysis) 10
3.1.3. 데이터 전처리(Data Preprocessing) 13
3.1.4. 불균형 데이터셋 16
3.2. 비교 모델 선정 및 실험 18
3.2.1. 머신러닝 기반 분류 모델 18
3.2.2. BERT를 적용하지 않은 딥러닝 기반 분류 모델 20
3.2.2.1. 워드 임베딩(Word Embedding) – Word2Vec, Glove 20
3.2.2.2. BiLSTM(Bidirectional Long Short Term Memory) 21
3.2.2.3. BiGRU(Bidirectional Gated Recurrent Unit) 22
3.2.2.4. Text-CNN(Convolutional Neural Network) 24
3.2.3. 2단 분류 비교 모델 27
제 4장 제안 방법 29
4.1. BERT의 사전 학습 모델에 기반한 분류 모델 29
4.1.1. BERT 29
4.1.2. BERT와 RNN, CNN 계열 모델의 조합 32
4.1.3. 키워드 기반 감정분석 점수 활용 33
4.1.4. BERT의 사전 학습 모델에 기반한 분류 모델 종합 34
4.2. 2단 분류 모델 적용 35
4.3. 2단 분류 모델의 Voting 38
4.4. 예측 신뢰도 측정 43
4.4.1. 일반적인 분류 모델의 예측 신뢰도 측정 방법 43
4.4.2. 2단 분류 모델에서의 신뢰도 측정 방법 44
제 5장 실험 및 평가 48
5.1. 실험 설계 48
5.1.1. 실험 데이터 구성 – 1단 분류 모델 49
5.1.2. 실험 데이터 구성 – 2단 분류 모델 51
5.1.3. 실험 환경 54
5.1.4. 분류 모델 준비 55
5.1.4.1. 1단 분류 모델 55
5.1.4.2. 2단 분류 모델 60
5.1.5. Voting 62
5.1.5.1. Simple Voting 62
5.1.5.2. 2단 Voting 64
5.1.6. 2단 분류 모델의 예측 신뢰도 측정 68
5.1.6.1. 딥러닝 모델을 이용하는 방법 68
5.1.6.2. 1단계와 2단계 분류의 Cross Entropy를 이용한 방법 71
5.2. 성능 평가 지표 72
5.3. 실험 결과 74
5.3.1. 1단 분류 모델 75
5.3.2. 2단 분류 모델 77
5.3.3. Voting 88
5.3.4. 예측 신뢰도 측정 90
제 6장 결론 및 향후 연구 97
6.1. 논문 요약 97
6.2. 기대 효과 99
6.3. 향후 연구 100
참고문헌 101
ABSTRACT 105

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록·키워드

목차

최근 본 자료 전체보기

댓글(0)