아파치 스파크 기반 검색엔진의 설계 및 구현

박기성; 최재현; 김종배; 박제원

추천

검색

질문

자료유형: 학술저널

저자정보: 박기성 (Soongsil University) 최재현 (Soongsil University) 김종배 (Soongsil University) 박제원 (Soongsil University)

저널정보: 한국정보통신학회 한국정보통신학회논문지 한국정보통신학회논문지 제21권 제1호

발행연도: 2017.1

수록면: 17 - 28 (12page)

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

초록· 키워드

오류제보하기

최근 데이터의 활용가치가 높아지면서 데이터에 관한 연구가 활발히 진행되고 있다. 데이터의 수집, 저장, 활용을 위한 대표적인 프로그램으로 웹 크롤러, 데이터베이스, 분산처리 등이 있으며, 최근에는 웹 크롤러가 다양한 분야에 활용할 수 있는 유용성으로 인해 크게 각광받고 있는 실정이다. 웹 크롤러란 자동화된 방법으로 웹서버를 순회하여 웹 페이지를 분석하고 URL을 수집하는 도구라고 정의할 수 있다. 인터넷 사용량의 증가로 매일 대량으로 생성되는 웹 페이지의 처리를 위해 하둡의 맵리듀스를 기반으로 하는 분산 웹 크롤러가 많이 사용되고 있다. 그러나 맵리듀스는 사용이 어렵고 성능에 제약이 있는 단점이 있다. 이러한 맵리듀스의 한계를 보완하여 제시된 인메모리 기반 연산 플랫폼인 아파치 스파크가 그 대안이 되고 있다. 웹 크롤러의 주요용도 중 하나인 검색엔진은 웹 크롤러로 수집한 정보 중 특정 검색어에 맞는 결과를 보여준다. 검색엔진을 기존 맵리듀스 기반의 웹 크롤러 대신 스파크 기반 웹 크롤러로 구현할 경우 더욱 빠른 데이터 수집이 가능할 것이다.

#검색엔진 #크롤러 #너치 #스파크 #솔라 #Search Engine #Crawler #Nutch #Spark #Solr

참고문헌 (17)

참고문헌 신청

Wikipedia. Web Crawler [Internet] Available: https://en.wikipedia.org/wiki/Web_crawler. H. Karau, A. Konwinski, P. Wendell, and M. Zaharia, Learning Spark, 1st ed. Sebastopol, CA: O'Reilly Media, pp.1-9, 2015.

F. Pant, P. Srinivasn, F. Menczer, “Crawling the Web” in Web Dynamics, 1st ed. Berlin, Germany: Springer-Verlag, pp.153-177, 2003.

M. S. Ahuja , J. Singh, and B. Varnica. “Web Crawler: Extracting the Web Data,” International Journal of Computer Trends and Technology(IJCTT), vol. 13, no. 3, pp.132-137, Jul. 2014. Pycon. Web Scraper in 30 Minutes [Online]. Available: https://www.pycon.kr/2014/program/15.

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

박기성

소속기관 Soongsil University

주요연구분야 공학 > 전기전자공학 > 정보통신공학

논문수 1 이용수 324

최재현

소속기관 Soongsil University

주요연구분야 공학 > 전기전자공학 > 정보통신공학 공학 > 컴퓨터학

논문수 20 이용수 7,138

김종배

소속기관 숭실대학교

주요연구분야 공학 > 전기전자공학 > 정보통신공학 TOP 10% 공학 > 컴퓨터학

논문수 114 이용수 11,439

박제원

소속기관 Soongsil University

주요연구분야 공학 > 전기전자공학 > 정보통신공학 공학 > 컴퓨터학

논문수 21 이용수 5,640

이 논문과 함께 이용한 논문

하둡 및 스파크 기반의 협력 필터링 추천 알고리즘 연구

정영교 , 김상영 , 이정준 외 1명 한국컴퓨터정보학회 학술발표논문집 2016 .01

S-PARAFAC: Distributed Tensor Decomposition using Apache Spark

양혜경 , 용환승 Journal of KIISE 2018 .03

스파크(Spark) 인메모리 처리를 이용한 스마트 디바이스 빅데이터 실시간 분석

김성숙 , 백창원 , 박기진 한국정보과학회 학술발표논문집 2015 .06

빅데이터 활성화 정책 및 응용 사례

복경수 , 유재수 정보과학회지 2014 .11

Distributed Processing Method of Hotspot Spatial Analysis Based on Hadoop and Spark

김창수 , 이주섭 , 황규문 외 1명 Journal of KIISE 2018 .02

최근 본 자료

전체보기

UCI(KEPA) : I410-ECN-0101-2017-004-002127652

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (17)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

이 논문과 함께 이용한 논문

최근 본 자료

댓글(0)