지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.10
- 수록면
- 1,377 - 1,385 (9page)
- DOI
- 10.7840/kics.2024.49.10.1377
이용수
초록· 키워드
오류제보하기
최근 거대 언어 모델(GPT, LLaMA, PaLM 등)은 의학, 교육, 금융, 법학, 마케팅 등 다양한 분야에서 활발히 활용되고 있다. 이러한 모델들은 매우 많은 매개변수를 지니고 있어 여러 GPU를 활용해야만 모델을 로드하고 추론을 수행할 수 있다. 추론 서비스를 운영하는 클러스터나 클라우드의 시스템 관리자에게는 주어진 GPU와 네트워크 자원을 최대한 효율적으로 사용하면서 많은 사용자 요청에 빠르게 응답하는 것이 매우 중요하다. 이를 위해 현재의 거대 언어 모델 추론 시스템은 다양한 병렬화 및 최적화 전략을 사용하고 있다. 본 논문은 LLM의 추론과정에서 병렬화, 최적화 전략, 및 배치 사이즈의 변화에 따른 추론 시간, 예측 정확도, GPU 통신량과 GPU 메모리 점유량을 상세히 프로파일링하고 분석한다. 특히, 본 연구는 GPU에 대한 엄밀한 자원 측정을 위해 프로파일러를 새롭게 개발하여 사용한다. 프로파일링 및 분석 결과, 본 연구는 배치 사이즈가 증가하면 병렬화 전략에 의해 GPU 통신량이 증가하여 비효율성을 초래할 수 있음을 관측한다. 반면, GPU 메모리 측면에서는 배치 사이즈가 커질수록 메모리를 더 적극적으로 활용하나, 물리 메모리 크기를 초과하여 메모리 부족(out-of-memory)이 발생하는 특정 임계점이 존재함을 확인한다. 이러한 관측은 향후 LLM의 효율적인 추론 시스템을 설계하는 데 필요한 중요한 기반이 될 것으로 기대된다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ.거대 언어 모델의 추론 시스템 구성
Ⅲ. 기존 연구의 한계
Ⅳ. 자원 사용량 프로파일링 방법 및 분석 결과
Ⅴ. 결론
References
참고문헌 (17)
참고문헌 신청
M. U. Hadi, et al., “Large language models: A comprehensive survey of its applications, challenges, limitations, and future prospects,” TechRxiv, Nov. 2023. (https://doi.org/10.36227/techrxiv.23589741.v4)
Y. Wang, et al., “Tabi: An efficient multi-level inference system for large language models,” in Proc. Eighteenth Eur. Conf. Comput. Syst., pp. 84-99, May 2023. (https://doi.org/10.1145/3552326.3587438)
G. Yang, et al., “Prediction of the resource consumption of distributed deep learning systems,” in Proc. ACM Measurement and Analysis of Comput. Syst. vol. 6, no. 2, pp. 1-25, 2022. (https://doi.org/10.1145/3530895)
C. Shin, et al., “Xonar: Profiling-based job orderer for distributed deep learning,” 2022 IEEE 15th Int. Conf. Cloud Comput. (CLOUD), 2022. (https://doi.org/10.1109/CLOUD55607.2022.00030)
D. Narayanan, et al., “Efficient large-scale language model training on GPU clusters using megatron-LM,” in Proc. Int. Conf. for High Performance Comput., Netw., Storage and Analysis, 2021. (https://doi.org/10.1145/3458817.3476209)
Y. Wang, et al., “Tabi: An efficient multi-level inference system for large language models,” in Proc. Eighteenth Eur. Conf. Comput. Syst., pp. 84-99, May 2023. (https://doi.org/10.1145/3552326.3587438)
G. Yang, et al., “Prediction of the resource consumption of distributed deep learning systems,” in Proc. ACM Measurement and Analysis of Comput. Syst. vol. 6, no. 2, pp. 1-25, 2022. (https://doi.org/10.1145/3530895)
C. Shin, et al., “Xonar: Profiling-based job orderer for distributed deep learning,” 2022 IEEE 15th Int. Conf. Cloud Comput. (CLOUD), 2022. (https://doi.org/10.1109/CLOUD55607.2022.00030)
D. Narayanan, et al., “Efficient large-scale language model training on GPU clusters using megatron-LM,” in Proc. Int. Conf. for High Performance Comput., Netw., Storage and Analysis, 2021. (https://doi.org/10.1145/3458817.3476209)
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
효율적인 GPU 메모리 컨트롤러 설계를 위한 GPU 메모리 성능 분석 연구
한국통신학회 학술대회논문집
2015 .01
-
GPU 메모리 용량을 초과하는 위성영상의 GPU 기반 병렬처리
대한공간정보학회 학술대회
2020 .06
-
대규모 언어 모델 추론 과정의 GPU상 지연시간 정밀 분석
대한전자공학회 학술대회
2024 .06
-
거대 언어 모델을 서빙하기 위한 GPU 메모리 계층화 사례 연구
정보과학회지
2025 .04
-
적응형 미니배치 데이터 재분배를 통한 멀티 GPU 환경에서 딥러닝 학습 응용의 효율성 향상
전자공학회논문지
2022 .09
-
딥러닝 모델의 GPU 메모리 사용량 예측기술 연구
한국통신학회 학술대회논문집
2020 .02
-
컨테이너 클라우드 기반 딥러닝 학습의 GPU 배치 기술 연구
대한전기학회 학술대회 논문집
2021 .10
-
GPU 메모리 접근 시간 부채널 특성 분석
한국정보과학회 학술발표논문집
2021 .12
-
AI 모델에서의 가중치 정밀도 및 배치 사이즈 분석을 통한 효율적인 GPU 활용 방안에 관한 연구
한국통신학회 학술대회논문집
2025 .02
-
Survey on Techniques to Reduce GPU Memory Consumption in Neural Network Training
한국정보과학회 학술발표논문집
2020 .07
-
GPU 기반 데이터 집약 시스템에 대한 비교연구
한국정보과학회 학술발표논문집
2018 .06
-
A Fast and Scalable Generative Model Inference on Distributed Multi-GPU Environment
한국정보과학회 학술발표논문집
2023 .06
-
통합 메모리를 사용하는 NVIDIA 파스칼 GPU에서의 CPU 메모리와 GPU 메모리 간 데이터 통신 분석
한국컴퓨터정보학회 학술발표논문집
2018 .07
-
인과관계 프로파일링의 가상 최적화를 이용한 GPU 커널 성능 향상 예측
한국정보과학회 학술발표논문집
2022 .12
-
다중 GPU 시스템에서의 복잡한 딥러닝 모델의 고성능 추론을 위한 스케줄링 전략 분석
한국정보과학회 학술발표논문집
2022 .06
-
제한된 메모리를 가진 GPU를 이용한 그래프 알고리즘 처리 기법의 성능 평가
한국정보과학회 학술발표논문집
2022 .06
-
단일 GPU 환경에서 오픈 소스를 이용한 CUDA 메모리 사용 패턴 분석
전자공학회논문지
2025 .02
-
GPU 기반의 그래프 엔진에서 메모리 할당 전략에 따른 성능 분석
한국정보과학회 학술발표논문집
2019 .12
-
GPU 기반의 CNN 알고리즘에 대한 메모리 접근패턴 분석
한국통신학회 학술대회논문집
2017 .01
-
쿠다를 사용하여 GPU 리소스를 분배하는 지능형 얼굴 인식 및 트래킹 시스템
전기전자학회논문지
2018 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-091072391