지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 조한신
- 발행연도
- 2023
- 저작권
- 한밭대학교 논문은 저작권에 의해 보호받습니다.
이용수12
이 논문의 연구 히스토리 (3)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
Cellular-V2X (C-V2X)는 Long-Term Evolution (LTE)기반의 차량 대 사물 통신 기술을 지칭하며, the 3rd Generation Partnership Project (3GPP) 릴리즈 14에 처음 도입되었다. C-V2X는 미래 자동차 산업의 핵심 기술로서, 해당 통신 기술에서 차량은 무선망을 통해 주변 사물(보행자, 차량, 인프라, 네트워크)과 통신할 수 있다. C-V2X를 이용하여 사용자는 카메라, 센서와 같은 전장 부품의 한계를 극복하고, 나아가 잠재적 교통사고를 예방할 수 있다. 그러나, C-V2X의 핵심 시나리오로 고려되는 차량 간 통신 (vehicle to vehicle, V2V) 서비스는 고밀도 혼잡 상황에서 급격한 성능 저하를 보인다. 이와 같은 고밀도 상황에서의 통신 성능을 개선을 위해 각 표준기관에서는 V2X를 대상으로 한 분산 혼잡 제어 (distributed congestion control, DCC) 기술을 발표했다. 그러나 이러한 표준기관의 DCC는 동작 과정에서 C-V2X의 quality of service (QoS)를 직접 고려하지 않고, 무선 채널의 혼잡도를 낮추는데 초점이 맞추어져 있다. 따라서, 해당 기술들은 C-V2X의 요구되는 QoS를 효과적으로 만족시키기 어렵다. 또한, V2X 서비스는 3GPP는 릴리즈 15/16를 거치며 첨단주행, 군집 주행, 원격주행, 확장 센서의 4가지 자율주행 서비스를 지원하며, 해당 서비스의 QoS는 각기 다르게 요구된다. 따라서, DCC는 향후 진보된 V2X 서비스를 고려하여 다양한 QoS에 최적화된 동작을 제공해야 한다.
이러한 동기로, 본 논문에서는 심층강화학습을 이용한 C-V2X DCC를 제안한다. 제안하는 알고리즘은 범위 적응형 분산 전력 제어와 QoS 적응형 분산 전송 주기 제어이다. 제안하는 알고리즘은 각자의 동작을 통해 mode 4 V2V 시나리오에서 차량 네트워크의 QoS를 최적화 시킬 수 있다. 범위 적응형 분산 전력 제어에서 차량 사용자 단말 (vehicle user equipment, VUE)는 독립적인 신경망을 가지고 학습한다. 즉, 해당 알고리즘은 멀티 에이전트로 동작하며, 각 VUE는 학습한 전력 제어 정책에 따라 전력을 조정한다. 해당 알고리즘에서 VUE는 요구되는 목표 통신 범위 내 통신 신뢰도를 최대화하기 위해 전송 전력을 조절하고, 결과적으로 차량 네트워크는 에너지 효율적으로 통신 신뢰도를 최대화한다.
QoS 적응형 분산 전송 주기 제어에서 에이전트로 고려되는 중앙 집중식 컨트롤러는 중앙 집중식 단일 정책 훈련 및 공통 분산 실행 학습 모델을 통해 전송 주기 제어 정책을 학습한다. 에이전트는 주어진 목표 QoS (통신 범위 및 통신 신뢰도)를 만족시키기 위한 최적의 메시지 전송 주기 제어를 학습한다. 학습된 정책은 공통 분산 실행 단계에서 시나리오 내 VUE에게 배포되며, VUE는 주어진 정책을 기반으로 전송 주기를 제어하여 차량 네트워크의 QoS를 주어진 목표 QoS에 도달시킨다. 시뮬레이션 결과는 제안하는 두 알고리즘 (범위 적응형 분산 전력 제어, QoS 적응형 분산 전송 주기 제어)이 기존 기술보다 C-V2X QoS를 효과적으로 최적화 시키는 것을 보여준다. 이러한 C-V2X QoS 최적화 DCC 알고리즘은 서로 각기 다른 QoS를 요구하는 자율주행 서비스에 적용될 수 있을 것으로 기대된다.
이러한 동기로, 본 논문에서는 심층강화학습을 이용한 C-V2X DCC를 제안한다. 제안하는 알고리즘은 범위 적응형 분산 전력 제어와 QoS 적응형 분산 전송 주기 제어이다. 제안하는 알고리즘은 각자의 동작을 통해 mode 4 V2V 시나리오에서 차량 네트워크의 QoS를 최적화 시킬 수 있다. 범위 적응형 분산 전력 제어에서 차량 사용자 단말 (vehicle user equipment, VUE)는 독립적인 신경망을 가지고 학습한다. 즉, 해당 알고리즘은 멀티 에이전트로 동작하며, 각 VUE는 학습한 전력 제어 정책에 따라 전력을 조정한다. 해당 알고리즘에서 VUE는 요구되는 목표 통신 범위 내 통신 신뢰도를 최대화하기 위해 전송 전력을 조절하고, 결과적으로 차량 네트워크는 에너지 효율적으로 통신 신뢰도를 최대화한다.
QoS 적응형 분산 전송 주기 제어에서 에이전트로 고려되는 중앙 집중식 컨트롤러는 중앙 집중식 단일 정책 훈련 및 공통 분산 실행 학습 모델을 통해 전송 주기 제어 정책을 학습한다. 에이전트는 주어진 목표 QoS (통신 범위 및 통신 신뢰도)를 만족시키기 위한 최적의 메시지 전송 주기 제어를 학습한다. 학습된 정책은 공통 분산 실행 단계에서 시나리오 내 VUE에게 배포되며, VUE는 주어진 정책을 기반으로 전송 주기를 제어하여 차량 네트워크의 QoS를 주어진 목표 QoS에 도달시킨다. 시뮬레이션 결과는 제안하는 두 알고리즘 (범위 적응형 분산 전력 제어, QoS 적응형 분산 전송 주기 제어)이 기존 기술보다 C-V2X QoS를 효과적으로 최적화 시키는 것을 보여준다. 이러한 C-V2X QoS 최적화 DCC 알고리즘은 서로 각기 다른 QoS를 요구하는 자율주행 서비스에 적용될 수 있을 것으로 기대된다.
목차
목 차표 목 차 ……………………………………………………………………………… ⅲ그 림 목 차 …………………………………………………………………………… ⅳ기초 및 약어 ………………………………………………………………………… ⅵ국 문 요 약 ……………………………………………………………………………… ⅷⅠ. 서 론 …………………………………………………………………………… 11. 연구 배경 …………………………………………………………………… 12. 관련 연구 및 차별성 ……………………………………………………… 2Ⅱ. Cellular-V2X………………………………………………………………… 41. Cellular-V2X 개요 ………………………………………………………… 42. 시스템 모델 ………………………………………………………… 83. 무선 자원 스케줄링 ……………………………………………………… 14Ⅲ. 분산 혼잡 제어 ……………………………………………………………… 161. 전송 전력 제어 ………………………………………………………………192. 전송 주기 제어 ………………………………………………………… 233. 전송 MCS 제어 …………………………………………………………… 274. V2X 분산 혼잡 제어 알고리즘 ………………………………………… 28Ⅳ. 강화학습 ………………………………………………………………………… 311. 강화학습 및 심층강화학습 개요 ……………………………………… 31Ⅴ. 심층강화학습 기반 범위 적응형 분산 전력 제어 ………………………… 361. 최적화 문제 정의…………………………………………………………… 362. Monte Carlo policy gradient (MCPG) ……………………………… 373. 심층강화학습 모델 ……………………………………………………… 394. 시뮬레이션 결과 ………………………………………………………… 42Ⅵ. 심층강화학습 기반 QoS 적응형 분산 전송 주기 제어 ………………… 501. 최적화 문제 정의…………………………………………………………… 502. Deep Q-Networks (DQN) 및 Double DQN (DDQN) …………… 513. 심층강화학습 모델 ……………………………………………………… 534. 시뮬레이션 결과 ………………………………………………………… 67Ⅶ. 결 론 …………………………………………………………………………… 71Ⅷ. 참 고 문 헌 ……………………………………………………………………… 72ABSTRACT ……………………………………………………………………… 76
최근 본 자료
댓글(0)
0