도움말

하둡 시스템의 네트워크 자원 사용량 감소를 위한 스트리밍 압축 기법

Streaming Compression Scheme for Reducing Network Resource Usage in Hadoop System
정보과학회논문지 제45권 제6호, 2018.6, 516-521 (6 pages)
DOI :10.5626/JOK.2018.45.6.516
인용정보 복사
Quick View Quick View
구매하기 6,000원
인용하기
이용수 : 12건
피인용수 : 0건
분야내 활용도 : 27%
자세히 보기 >

· 이용수 : 2010년부터 집계한 원문다운로드수

· 피인용수 : DBpia 논문 가운데 해당 논문을 인용한 논문수

· 분야내 활용도 : 최근 24개월간 DBpia 이용수를 기준으로 산출 / 0%에 가까울 수록 활용도가 높고, 100%에 가까울 수록 활용도가 낮음

초록
최근, 하둡 시스템의 사용 빈도가 높아지면서 처리해야 하는 데이터의 양이 증가함에 따라 하둡 클러스터의 규모 또한 커지고 있다. 하둡 클러스터의 노드를 구성하는 프로세서, 메모리, 스토리지 등의 자원은 다른 노드들로부터 독립된 자원이며, 이는 하나의 노드에서 데이터 처리량이 많아져 노드 내부의 자원에 대한 사용량이 증가하여도 다른 노드의 데이터 처리 성능에 영향을 주지 않음을 의미한다. 하지만, 하둡 클러스터의 노드들을 연결하는 네트워크는 모든 노드가 사용하는 공유 자원이며, 이로 인해, 일부 노드의 네트워크 사용량이 증가하면 다른 노드가 사용할 수 있는 네트워크 자원이 줄어 하둡 시스템의 전체성능을 감소시킬 가능성이 있음을 의미한다. 본 논문에서는 하둡 시스템에서 쓰기 요청으로 발생되는 네트워크 사용량을 줄이기 위한 스트리밍 압축 기법을 제안하고 성능과 오버헤드를 측정한다. 실험 결과, 스트리밍 압축 기법을 사용함에 따라 네트워크 트래픽이 최대 56% 줄어드는 것을 확인하였다.

Recently, the Hadoop system has become one of the most popular large-scale distributed systems used in enterprises, and the amount of data on the system has been increasing continually. As the amount of data in the Hadoop system is increased, the scale of Hadoop clusters is also growing. Resources in a node, such as processor, memory, and storage, are isolated from other nodes, and hence, even though resource usage is increased by data processing requests from clients, it doesn’t affect the performance of other nodes. However, all the nodes in a Hadoop cluster are connected to the network resource, a shared resource in the Hadoop cluster, and so, if some nodes dominate the network resource, other nodes would experience less network resources, which could cause overall performance degradation in the Hadoop system. In this paper, we propose a streaming compression scheme that can decrease the network traffic generated by write operations in the system. We also evaluate the performance of our streaming compression scheme and analyze the overhead of the proposed scheme. Our experimental results with a real-world workload show that our proposed scheme decreases the network traffic in a Hadoop cluster by 56% over the existing HDFS systems.

목차
요약
Abstract
1. 서론
2. 배경 지식
3. 제안 기법 및 구현
4. 실험 환경
5. 실험 결과 및 분석
6. 결론 및 향후 연구
References
키워드

논문의 주요 키워드를 제공합니다. 키워드를 클릭하여 관련 논문을 확인해 보세요!

참고문헌 (0)

현재 논문의 참고문헌을 찾아 신청해주세요!

해당 논문은 참고문헌 정보가 없습니다.

인용된 논문 (0)

알림서비스 신청하고 '인용된 논문' 정보를 메일로 확인 하세요!

해당 논문은 인용된 논문 정보가 없습니다.

제 1 저자의 다른 논문 (14)

노승준 식별저자 저자의 상세정보를 확인해 보세요.

  • 처음
  •  
  • 이전
  •  
  • 1
  •  
  • 2
  •  
  • 다음
  •  
  • 마지막
권호 내 다른 논문 (13)

정보과학회논문지 제45권 제6호 의 상세정보를 확인해 보세요.

  • 처음
  •  
  • 이전
  •  
  • 1
  •  
  • 2
  •  
  • 다음
  •  
  • 마지막
추천 논문 (5)

DBpia 추천논문과 함께 다운받은 논문을 제공합니다. 논문 초록의 텍스트마이닝과 이용 및 인용 관계 분석을 통해 추천해 드리는 연관논문을 확인해보세요.

DBpia 추천논문

더 많은 추천논문을 확인해 보세요!

함께 다운받은 논문

해당 논문은 함께 다운받은 논문 정보가 없습니다.

지표

이용현황

· 이용수

· 이용순위 상위 Top3

자세히 보기 >
No 상위 이용이관 이용수
1 한국교원대학교 3
2 정보통신기술진흥센터 1
3 인천대학교 1

활용도

· 활용지수

· 논문의 활용도 추이 (주제분야 기준)

자세히 보기 >

: %

2016-09
2016-10
2016-11
2016-12
0
20
40
60
80
100
  • 0%
  • 20%
  • 40%
  • 60%
  • 80%
  • 100%

피인용수

상세정보
저작권 정책

누리미디어에서 제공되는 모든 저작물의 저작권은 원저작자에게 있으며, 누리미디어는 각 저작물의 내용을 보증하거나 책임을 지지 않습니다. 단, 누리미디어에서 제공되는 서지정보는 저작권법에 의해 보호를 받는 저작물로, 사전 허락 없이 임의로 대량 수집하거나 프로그램에 의한 주기적 수집 이용, 무단 전재, 배포하는 것을 금하며, 이를 위반할 경우, 저작권법 및 관련법령에 따라 민, 형사상의 책임을 질 수 있습니다.

맨 위로 이동