지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.12
- 수록면
- 1,709 - 1,715 (7page)
이용수
초록· 키워드
오류제보하기
웹 페이지에서 필요한 텍스트를 정확하게 추출하기 위해 본문이 존재하는 곳의 태그와 스타일 속성을 웹 크롤러에 명시하는 방법은 웹 페이지 구성이 변경될 때마다 본문을 추출하는 로직을 수정해야 하는 문제가 있다. 이러한 문제점을 해결하기 위해 이전 연구에서 제안한 텍스트의 출현 빈도를 분석하여 본문을 추출하는 방법은 웹 페이지의 수집 채널에 따라 성능 편차가 크다는 한계점이 있었다. 따라서 본 논문에서는 텍스트의 출현 빈도뿐만 아니라 웹 페이지의 DOM 트리로부터 추출된 텍스트 노드의 부모 태그 경로를 분석하여 다양한 수집 채널에서 높은 정확도로 본문을 추출하는 방법을 제안하였다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 태그 경로와 텍스트 빈도 분석을 이용한 HTML 본문 추출
Ⅳ. 성능 분석
Ⅴ. 결론
References
참고문헌 (14)
참고문헌 신청
Y. J. Kim, H. S. Kim, and H. S. Kim, “Understanding the Effects of COVID-19 on the Starbucks Perception through Big Data Analytics: A Comparative Study,” Culinary Science & Hospitality Research, vol. 27, no. 6, pp. 276-279, 2021.
Y. R. Suh, K. P. Koh, and J. W. Lee, “An analysis of the change in media’s reports and attitudes about face masks during the COVID-19 pandemic in South Korea: a study using Big Data latent dirichlet allocation (LDA) topic modelling,” Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 5, pp. 731-740, 2021.
C. H. Lee, K. H. Kang, Y. H. Kim, H. N. Lim, J. H. Ku, and K. H. Kim, “A Study on the Factors of Well-aging through Big Data Analysis: Focusing on Newspaper Articles,” Journal of the Korea Academia-Industrial cooperation Society, vol. 22, no. 5 pp. 354-360, 2021.
J. H. Lee, “Building an SNS Crawling System Using Python,” Journal of the Korea Industrial Information Systems Research, vol. 23, no. 5, pp. 61-76, 2018.
C. Kohlschuer, P. Fankhauser, and W. Nejdl, “Boilerplate detection using shallow text features,” in Proceedings of the third ACM international conference on Web Search and Data Mining (WSDM), New York: NY, pp. 441-450, 2010.
Y. R. Suh, K. P. Koh, and J. W. Lee, “An analysis of the change in media’s reports and attitudes about face masks during the COVID-19 pandemic in South Korea: a study using Big Data latent dirichlet allocation (LDA) topic modelling,” Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 5, pp. 731-740, 2021.
C. H. Lee, K. H. Kang, Y. H. Kim, H. N. Lim, J. H. Ku, and K. H. Kim, “A Study on the Factors of Well-aging through Big Data Analysis: Focusing on Newspaper Articles,” Journal of the Korea Academia-Industrial cooperation Society, vol. 22, no. 5 pp. 354-360, 2021.
J. H. Lee, “Building an SNS Crawling System Using Python,” Journal of the Korea Industrial Information Systems Research, vol. 23, no. 5, pp. 61-76, 2018.
C. Kohlschuer, P. Fankhauser, and W. Nejdl, “Boilerplate detection using shallow text features,” in Proceedings of the third ACM international conference on Web Search and Data Mining (WSDM), New York: NY, pp. 441-450, 2010.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
빈도 분석을 이용한 HTML 텍스트 추출
한국정보통신학회논문지
2021 .09
-
Korean Web Content Extraction using Tag Rank Position and Gradient Boosting
Journal of KIISE
2017 .06
-
WCTT: HTML 문서 정형화 기반 웹 크롤링 시스템
한국정보통신학회논문지
2022 .04
-
심층 웹 문서 자동 수집을 위한 크롤링 알고리즘 설계 및 실험
한국정보통신학회논문지
2023 .01
-
HTML 논리적 구조분석을 통한 본문추출 알고리즘
디지털콘텐츠학회논문지
2015 .06
-
웹 페이지 내용 추출의 평가 프레임워크
Proceedings of KIIT Conference
2018 .11
-
Framework for Efficient Web Page Prediction using Deep Learning
한국컴퓨터정보학회논문지
2020 .12
-
HTML 본문 추출을 위한 새로운 시각적 Feature
디지털콘텐츠학회논문지
2023 .04
-
자바 웹 앱에서 웹 컴포넌트와 웹 자원의 의존 관계를 자동으로 추출하는 기법
한국정보통신학회논문지
2018 .03
-
웹 표준으로 변경 시 발생하는 웹 페이지 보안 체크 모델 제안
한국컴퓨터정보학회 학술발표논문집
2023 .07
-
웹 표준 검사기를 사용한 웹 페이지들의 웹 표준 준수에 관한 분석
한국정보과학회 학술발표논문집
2015 .12
-
다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계
정보과학회 컴퓨팅의 실제 논문지
2021 .02
-
웹 페이지 내 다중 이미지 분석을 통한 성인 사이트 분류 방법
한국정보과학회 학술발표논문집
2017 .12
-
인터넷 쇼핑몰 웹접근성 평가 및 대체 텍스트율 향상 방안 구현
디지털콘텐츠학회논문지
2018 .03
-
웹 문서상의 공간 텍스트 위치 맵핑과 질의 기법
한국산업정보학회논문지
2022 .06
-
Predicting Interesting Web Pages by SVM and Logit-regression
한국컴퓨터정보학회논문지
2015 .03
-
텍스트 마이닝 기반의 데이터 분석 웹 애플리케이션
한국컴퓨터정보학회 학술발표논문집
2021 .07
-
키워드 기반 다크웹과 표면웹 텍스트 관계 연구
한국지능시스템학회 논문지
2023 .12
-
빅데이터 분석 기반의 정보 검색을 위한 웹 크롤러 서비스 구현
디지털콘텐츠학회논문지
2017 .08
-
서비스워커 기반의 캐싱 시스템을 이용한 웹 콘텐츠 로딩 속도 향상 기법
한국항행학회논문지
2019 .01
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2022-004-000032097