지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2019.12
- 수록면
- 476 - 481 (6page)
- DOI
- 10.5391/JKIIS.2019.29.6.476
이용수
초록· 키워드
오류제보하기
빅데이터 분석에서 텍스트 문서는 매우 큰 비중을 차지한다. 텍스트 기반의 빅데이터를 분석하기 위해서는 전처리 기법을 이용하여 텍스트 문서 데이터를 정형화된 데이터 형태로 만들어야 한다. 왜냐하면 통계학 및 머신러닝에서 제공하는 데이터 분석기법은 정형화된 데이터를 대상으로 하기 때문이다. 정형화된 데이터는 주로 행(문서, 관측치)과 열(단어, 변수)로 이루어진 행렬 구조를 갖는다. 이 행렬의 개별 원소값은 하나의 문서에 나타난 특정 단어의 출현 빈도가 된다. 일반적으로 이 과정에서 0 과잉 문제가 발생한다. 0 과잉 문제란 전체 데이터 값에서 0의 값이 차지하는 비율이 지나치게 큰 경우이다. 0 과잉 문제는 분석모형의 설명력을 떨어뜨리고 예측의 정확도를 감소시킨다. 본 연구에서는 빅데이터의 과도한 0 과잉 문제에 대처하기 위하여 통계학과 머신러닝에서 제공하는 다양한 데이터 분석 기법 간의 비교를 통하여 0 과잉 문제 해결을 위한 효율적인 대처 방안에 대하여 제안한다. 특허 빅데이터를 이용한 실험 및 결과를 통하여 제안 방법의 성능평가를 수행한다.
목차
요약
Abstract
1. 서론
2. 영 과잉 문제
3. 영 과잉 문제를 위한 빅데이터 분석 기법
4. 실험 및 결과
5. 결론 및 향후 연구
References
참고문헌 (23)
참고문헌 신청
S. Kim, and S. Jun, “Big Data Integration using Data Deidentification”, Journal of Korean Institute of Intelligent Systems, vol. 29, no. 3, pp. 235-241, 2019.
S. Kim, and S. Jun, “AI Technology Analysis using Variable Importance of Deep Learning”, Journal of Korean Institute of Intelligent Systems, vol. 29, no. 1, pp. 70-75, 2019.
K. I. Kim, and K. M. Lee, “Big Data Analysis for External Forces Acting on Ship with MapReduce Processing”, Journal of Korean Institute of Intelligent Systems, vol. 28, no. 2, pp. 146-151, 2018.
S. Jun, “R Symbolic Data Analysis for Symbolic Artificial Intelligence”, Journal of Korean Institute of Intelligent Systems, vol. 27, no. 5, pp. 388-394, 2017.
Han, J., Kamber, M., and Pei, J. (2012), Data Mining: Concepts and Techniques, Third Edition, Waltham, MA, Morgan Kaufmann.
S. Kim, and S. Jun, “AI Technology Analysis using Variable Importance of Deep Learning”, Journal of Korean Institute of Intelligent Systems, vol. 29, no. 1, pp. 70-75, 2019.
K. I. Kim, and K. M. Lee, “Big Data Analysis for External Forces Acting on Ship with MapReduce Processing”, Journal of Korean Institute of Intelligent Systems, vol. 28, no. 2, pp. 146-151, 2018.
S. Jun, “R Symbolic Data Analysis for Symbolic Artificial Intelligence”, Journal of Korean Institute of Intelligent Systems, vol. 27, no. 5, pp. 388-394, 2017.
Han, J., Kamber, M., and Pei, J. (2012), Data Mining: Concepts and Techniques, Third Edition, Waltham, MA, Morgan Kaufmann.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
희소한 텍스트 데이터 분석을 위한 로버스트 일반화 선형모형
한국지능시스템학회 논문지
2020 .10
-
행렬 인수분해와 베이지안 모델링을 이용한 텍스트 데이터 분석
한국지능시스템학회 논문지
2023 .02
-
베이지안 분위회귀모형과 다차원척도법을 이용한 텍스트 데이터 분석
한국지능시스템학회 논문지
2021 .04
-
변이형 오토인코더를 이용한 영과잉 특허 데이터 분석
한국지능시스템학회 논문지
2022 .02
-
통계적 텍스트 마이닝을 이용한 빅 데이터 전처리
한국지능시스템학회 논문지
2015 .10
-
Text Mining and Visualization of Unstructured Data Using Big Data Analytical Tool R
한국정보통신학회논문지
2021 .09
-
빅데이터 분석 도구 R 언어를 이용한 비정형 데이터 시각화
한국정보통신학회 종합학술대회 논문집
2021 .05
-
데이터 처리를 위한 빅데이터와 머신러닝 플랫폼 조사 및 성능 비교
대한전자공학회 학술대회
2017 .06
-
데이터 이산화와 계층형 클러스터링 알고리즘을 적용한 효과적인 머신 러닝 방법 관한 연구
한국정보기술학회논문지
2021 .01
-
문서, 영상 등 비정형 데이터를 활용한 건설산업 빅데이터 분석
대한토목학회지
2016 .08
-
텍스트 분석 기술 및 활용 동향
한국통신학회논문지
2017 .02
-
빅데이터 분석 도구 R 언어를 이용한 논문 데이터 시각화
한국정보통신학회 종합학술대회 논문집
2021 .05
-
머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구
한국빅데이터학회지
2017 .01
-
베이즈 요인 기반의 선형모형과 키워드 네트워크를 이용한 특허 빅데이터 분석
한국지능시스템학회 논문지
2022 .10
-
빅데이터, 오픈데이터, 마이데이터의 비교 연구
한국빅데이터학회지
2018 .01
-
빅데이터 기반 비정형 텍스트 데이터 시각화의 시사점
한국정보통신학회 종합학술대회 논문집
2024 .05
-
문서 유사도를 통한 관련 문서 분류 시스템 연구
방송공학회논문지
2019 .01
-
Pre-processing Method of Raw Data Based on Ontology for Machine Learning
한국정보통신학회논문지
2020 .05
-
데이터 수집을 위한 매핑 자동화와 머신러닝 기반의 데이터 영향도 분석 연구
한국정보과학회 학술발표논문집
2020 .07
-
Preference and Visualization for Computer Languages Education Based Big Data
한국정보통신학회논문지
2024 .09
이 논문의 저자 정보
이 논문과 함께 이용한 논문
비-허미시안 행렬에 대한 저 복잡도 양자 역행렬 알고리즘
정현우
,
하정석
한국통신학회 학술대회논문집
2020
.08
희소한 텍스트 데이터 분석을 위한 로버스트 일반화 선형모형
전성해
한국지능시스템학회 논문지
2020
.10
주차대기행렬 예측을 통한 기계식 주차장 적정 대기규모 산정에 관한 연구
진태희
,
박제진
,
박진만
외 1명
대한토목학회 학술대회
2019
.10
풍력 발전기 평가를 위한 수집 행렬 데이터 절감 알고리즘 개발
이제현
,
최정철
신·재생에너지
2020
.03
베이지안 추론과 정규화를 이용한 회귀 머신러닝
전성해
한국지능시스템학회 논문지
2019
.10
최근 본 자료
댓글(0)
0