효과적인 뉴스기사 검색을 위한 키워드 추출 방법 연구 :A Study on Keyword Extraction Method for Effective News Article Search

박대서

추천

검색

자료유형: 학위논문

저자정보: 박대서 (강원대학교, 강원대학교 일반대학원)

지도교수: 김화종

발행연도: 2018

저작권: 강원대학교 논문은 저작권에 의해 보호받습니다.

이용수39

초록· 키워드

현재 인터넷 상에는 분야를 막론하고 수많은 정보와 데이터들이 모여 빅데이터를 이루고 있다. 이러한 빅데이터와 기술의 발달로 사람들은 종이로 된 도서, 신문보다 인터넷에 공개된 전자도서, 인터넷뉴스로부터 빠르게 정보를 습득 할 수 있게 되었다. 사용자는 스마트기기와 컴퓨터를 통해 과거와는 비교 할 수 없을 만큼 편리하게 정보에 접근 할 수 있게 되었지만, 정보 제공자 입장에서는 사용자 질의에 대해 양질의 정보를 찾아서 제공 하는 것이 중심 화두가 되었다.
따라서, 인터넷 상의 정보들을 분석하여 사용자 질의에 가장 근접한 정보들을 선택하여 제공하는 것은 사용자의 재검색을 최소화하고 원하는 정보에 빠르게 접근함으로써 사용자 만족도 향상에 기여할 수 있다.
이에 본 논문에서는 관련된 정보를 탐색하여 제공하기 위한 연구의 일환으로 인터넷에서 제공되는 뉴스기사 데이터를 활용하여 뉴스기사의 주요 키워드를 추출하기 위한 키워드 추출 방법을 제안한다. 또한, 추출한 키워드를 이용하여 단일 검색어에 대한 응답 뉴스기사와 해당 뉴스기사의 연관 뉴스기사를 선택하여 기존 기술과의 성능차이를 평가한다.
뉴스기사의 주요 키워드 추출을 위해 전처리를 통해 의미가 없는 특수문자, 조사, 어미, 구두점 등의 불용어 처리를 수행한다. 또한, 추출된 키워드의 품질 향상을 위해 뉴스기사 내의 불필요 문장을 제거하는 방법을 제안하며 여기에는 TF-IDF를 이용한 문장 유사도와 word2vec을 이용해 문장에 포함된 단어 간의 유사도 평균으로 계산된 결과를 함께 활용한다. 추출된 키워드는 단일 검색어에 대한 응답을 선택하고 주요 키워드 간의 유사도 분석을 통해 연관 뉴스를 찾기 위해 활용한다.
분석 데이터는 다양한 언론사의 뉴스기사를 종합적으로 제공하는 네이버의 IT 분야 뉴스기사를 크롤링하여 활용한다. 인터넷 뉴스기사는 언론사마다 개별 사이트를 통해 제공되고 있지만 검색어가 내용과 본문에 포함되면 모두 검색결과로 선택되며 사용자가 연관 뉴스 추천기능도 대부분 연관성이 떨어지는 경우가 많기 때문에 본 논문의 연구 내용이 여러 언론사 사이트에 반영되면 사이트 품질과 사용자 만족도 향상에 기여할 수 있을 것으로 보인다.

Currently, there is a huge amount of information and data gathered on the Internet, regardless of field. With the development of this big data and technology, people can quickly acquire information from paper books, e-books published on the Internet rather than newspapers, and Internet news. Users have access to information that is incomparably convenient from the past through smart devices and computers. However, from the viewpoint of information providers, finding and providing high quality information about user queries has become a central theme.
Therefore, analyzing the information on the Internet and selecting and providing the information closest to the user query can contribute to the improvement of the user satisfaction by minimizing the re-searching of the user and quick access to the desired information.
In this paper, we propose a keyword extraction method to extract the main keywords of news articles by using news news data provided on the internet as part of research for searching related information. Also, we use the extracted keywords to select the response news articles for the single query and the news articles related to the news articles, and evaluate the performance difference with the existing technology.
In order to extract key words of news articles, we perform the processing of insignificant words such as special characters, surveys, endings and punctuation which are meaningless through preprocessing. In order to improve the quality of the extracted keywords, we propose a method to remove unnecessary sentences in the news articles. We use the sentence similarity using TF-IDF and the result calculated using the similarity average between the words included in the sentence using word2vec do. The extracted keywords are used to select responses to a single query and to search for relevant news through analysis of similarities between key keywords.
The analytical data is used to crawl Naver''s IT news articles that comprehensively provide news articles from various media companies. Internet news articles are provided through individual sites for each media company. However, when search terms are included in content and text, they are all selected as search results. If it is reflected on the site, it can contribute to improving the quality of the site and user satisfaction.

#뉴스기사 #TF-IDF #의미 벡터 #결합 벡터 #유사도 #키워드 추출 #텍스트분석 #뉴스기사 검색 #연관뉴스탐색

Ⅰ. 서 론 1
1.1 연구 목적 및 동기 1
1.2 연구방법 2
Ⅱ. 관련연구 5
2.1 선행연구 5
2.2 본 연구의 차별성 11
Ⅲ. 뉴스기사 분석 14
3.1 이론적 배경 및 주요 기술 14
3.1.1 벡터 공간 모델 14
3.1.2 단어 임베딩 14
3.1.3 텍스트 분석 패키지 15
1) KoNLPy 15
2) Gensim 15
3.1.4 코사인 유사도 15
3.1.5 NDCG (Normalizing Discounted Cumulative Gain) 16
3.2 데이터 수집 및 전처리 17
3.3 불필요 문장 제거 19
3.4 키워드 추출 23
3.5 키워드 기반 뉴스 추천 26
Ⅳ. 성능 평가 29
Ⅴ. 결론 및 향후 과제 36
□ 참고문헌 38

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

목차

최근 본 자료

댓글(0)