지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2018.2
- 수록면
- 199 - 209 (11page)
이용수
초록· 키워드
오류제보하기
Recently, services provided to consumers are increasingly being combined with big data such as low-priced shopping, customized advertisement, and product recommendation. With the increasing importance of big data, the web crawler that collects data from the web has also become important. However, there are two problems with existing web crawlers. First, if the URL is hidden from the link, it can not be accessed by the URL. The second is the inefficiency of fetching more data than the user wants. Therefore, in this paper, through the Casper.js which can control the DOM in the headless brwoser, DOM event is generated by accessing the URL to the hidden link. We also propose an intelligent web crawler system that allows users to make steps to fine-tune both Structured and unstructured data to bring only the data they want. Finally, we show the superiority of the proposed crawler system through the performance evaluation results of the existing web crawler and the proposed web crawler.
목차
ABSTRACT
1. 서론
2. 관련연구
3. 정형 및 비정형 데이터 수집을 위한 웹 크롤러 시스템
4. 정형 및 비정형 데이터 수집을 위한 웹 크롤러 시스템 평가
5. 결론 및 향후 연구
REFERENCE
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
심층 웹 문서 자동 수집을 위한 크롤링 알고리즘 설계 및 실험
한국정보통신학회논문지
2023 .01
-
Web Server Log Visualization
International journal of advanced smart convergence
2018 .01
-
서비스워커 기반의 캐싱 시스템을 이용한 웹 콘텐츠 로딩 속도 향상 기법
한국항행학회논문지
2019 .01
-
제조 빅데이터 공동활용을 위한 컨테이너 기반 웹 서비스 방법론
대한전자공학회 학술대회
2021 .06
-
Web3.0 본질과 미래
한국통신학회지(정보와통신)
2022 .10
-
효과적인 데이터 수집을 위한 웹 크롤러 개선 및 동적 프로세스 설계 및 구현
한국정보통신학회논문지
2022 .11
-
웹 크롤러를 활용한 범죄 정보 수집 시스템 연구
Proceedings of KIIT Conference
2018 .11
-
An Implementation and Performance Evaluation of Fast Web Crawler with Python
반도체디스플레이기술학회지
2019 .01
-
사용자 정의 기반 웹 크롤러 설계 및 구현
한국통신학회 학술대회논문집
2019 .06
-
모던 웹 브라우저 기반 애플리케이션 성능 분석 방법 연구
한국항행학회논문지
2018 .01
-
Design and Implementation of Web Cr awler utilizing Unstructur ed data
멀티미디어학회논문지
2019 .03
-
Smart Metric Approach to Reduce Web Service Latency Time
SmartCR
2015 .10
-
Automatic Extraction of Dependencies between Web Components and Database Resources in Java Web Applications
Journal of information and communication convergence engineering
2019 .06
-
웹 어플리케이션 클라이언트-서버 구조 설계 및 구현
한국컴퓨터정보학회 학술발표논문집
2017 .07
-
다차원 데이터를 위한 시멘틱 웹 연구
한국인터넷방송통신학회 논문지
2017 .01
-
A study on the elderly custom CSS for Web accessibility
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2015 .06
-
Physical Web의 보안 및 발전 방향
Proceedings of KIIT Conference
2015 .06
-
동적인 URL 재수집 정책을 이용한 분산 웹크롤링 시스템에서의 URL 중복 수집 문제 개선
한국정보과학회 학술발표논문집
2015 .06
-
인상적인 정보전달과 소통을 실현하는 반응형 Web 개발
한국기계가공학회 춘추계학술대회 논문집
2020 .11
-
웹 소스코드 파일에 숨겨진 악성 Javascript URL에 대한 점검 체계
한국컴퓨터정보학회논문지
2019 .05
이 논문의 저자 정보
이 논문과 함께 이용한 논문
영상콘텐츠 시청자의 몰입상황 분석을 위한 몰입감정상태 연구
김승환
,
김철기
멀티미디어학회논문지
2018
.03
재난 사건별 이슈 생존 주기 유형 분석
유호선
,
김현진
,
오효정
한국정보기술학회논문지
2018
.03
Wordle 을 이용한 뉴스 토픽 시각화
김재영
,
서진욱
한국HCI학회 학술대회
2018
.01
TF-IDF 기반 키워드 추출에서의 의미적 요소 반영을 위한 결합벡터 제안
박대서
,
김화종
한국정보기술학회논문지
2018
.02
소셜 미디어 텍스트를 이용한 장소 선호도 분석 기법
채인영
,
이영민
,
유기윤
외 1명
대한공간정보학회지
2017
.12
최근 본 자료
댓글(0)
0