지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 유헌창
- 발행연도
- 2022
- 저작권
- 고려대학교 논문은 저작권에 의해 보호받습니다.
이용수5
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
최근에는 환경 변화에 적응적이고 목적에 맞는 최적의 파드 오토스케일링 정책을 만들기 위해 강화학습 기반 파드 오토스케일링에 대한 연구가 많이 이루어지고 있다. 그러나 실제 환경에서 강화학습 기반 수평적 파드 오토스케일링 (HPA, Horizontal Pod Autoscaling) 정책을 학습하기 위해서는 많은 비용과 시간이 필요하다. 그리고 새로운 애플리케이션이 배포될 때마다 애플리케이션에 대응하는 새로운 강화학습 기반 HPA 정책을 쿠버네티스 클러스터에서 운영하며 학습하는 것은 실용적이지 않다.
본 논문에서는 정책 비교에 드는 비용과 자원을 최소화하기 위해 이산시간 대기행렬 모델을 사용한 시뮬레이션 기법을 제안하고, 강화학습 기반 HPA 정책 학습을 가속하기 위한 전이학습 기법을 제안한다. 시뮬레이션 기법을 통해 1,000,000 초 분량의 워크로드를 사용해서 강화학습 기반 HPA 정책을 학습하고 평가하는데 53.1 초밖에 걸리지 않게 하였으며, 전이학습을 사용함으로써 전이학습을 사용하지 않았을 때 보다 최대 약 42.6%의 비용을 절감할 수 있었다.
본 논문에서는 정책 비교에 드는 비용과 자원을 최소화하기 위해 이산시간 대기행렬 모델을 사용한 시뮬레이션 기법을 제안하고, 강화학습 기반 HPA 정책 학습을 가속하기 위한 전이학습 기법을 제안한다. 시뮬레이션 기법을 통해 1,000,000 초 분량의 워크로드를 사용해서 강화학습 기반 HPA 정책을 학습하고 평가하는데 53.1 초밖에 걸리지 않게 하였으며, 전이학습을 사용함으로써 전이학습을 사용하지 않았을 때 보다 최대 약 42.6%의 비용을 절감할 수 있었다.
목차
1. Introduction 12. Background 52.1. Kubernetes Pod Autoscaling 52.2. Reinforcement Learning 63. Related Works 83.1. HPA Modeling for Simulation 83.2. Autoscaling Methods 83.3. Reinforcement Learning-based Autoscaling 104. Discrete-time Queueing Model for HPA 144.1. Profiling the Performance of Application 144.2. System Environment Modeling 174.3. Kubernetes HPA Policy Modeling for Baseline 224.4. Model Validation 245. Reinforcement Learning-based HPA 265.1. Scenario 265.2. Reinforcement Learning Design 275.2.1. State 275.2.2. Reward 275.2.3. Action 285.2.4. Policy Update 295.3. Transfer Learning Technique 305.3.1. Offline-Learning Mode : Pre-training 325.3.2. Online-Learning Mode : Transfer Learning 326. Experiments 356.1. Policy Comparison using Simulation 356.1.1. Kubernetes HPA Comparison Simulation 376.1.2. RL-based HPA Comparison Simulation 396.1.3. 3-action, 5-action Comparison Simulation 406.2. Evaluation of Transfer Learning 427. Conclusion 48References 50
최근 본 자료
댓글(0)
0