지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.9
- 수록면
- 211 - 221 (11page)
- DOI
- 10.5762/KAIS.2024.25.9.211
이용수
초록· 키워드
오류제보하기
트랜스포머(Transformer) 아키텍처 기반의 대규모 언어 모델(LLM: Large Language Models)은 자연어 처리 작업에서 매우 높은 수준의 성능을 보인다. 크기와 성능 효율성을 고려한 여러 모델이 개발되었으나, 여전히 모델 운용에는 많은 메모리 자원이 필요하기에 메모리 효율성을 고려한 모델의 경량화가 중요한 과제로 대두되고 있다. 기존 모델의 구조를 유지하면서 파라미터를 저정밀도 데이터 타입으로 변환하는 양자화는 메모리 사용량을 크게 줄일 수 있으며, 추가적인 훈련 없이도 적용할 수 있어 응용 프로그램 통합시 접근성과 효율성을 높여준다. 본 연구에서는 비트 앤 바이트(BitsAndBytes) 양자화 모듈을 활용하여 오픈소스 한국어 언어 모델을 경량화하고, 메모리 사용량과 성능을 비교하여 LLM의 효율적 운용 방안을 제시한다. 8비트 및 4비트 양자화를 통해 각각 평균 약 38%, 67%의 메모리 감소를 확인했으며, 언어 모델 평가 벤치마크에서 평균 성능 변화율이 5% 미만으로 나타나 양자화에 의한 성능 손실이 크지 않음을 확인했다. 또한, 메모리 사용량이 유사한 양자화된 대형 모델과 소형 모델의 성능을 비교한 결과, 13개 벤치마크 중 양자화된 대형 모델이 0-shot 9개, 5-shot 8개 항목에서 성능 우위를 보여, 대형 모델을 양자화하여 사용하는 것이 일반화 성능과 자원 효율성 측면에서 더 효과적임을 입증했다.
목차
요약
Abstract
1. 서론
2. 이론적 배경 및 관련 연구
3. 연구 방법론
4. 실험 및 결과 분석
5. 결론 및 향후 연구
References
참고문헌 (38)
참고문헌 신청
S. Hochreiter, J. Schmidhuber, "Long Short-term Memory", Neural Computation, 9, 8, 1735-1780, 1997. DOI: https://doi.org/10.1162/neco.1997.9.8.1735
J. Chung, C. Gulcehre, K. Cho, Y. Bengio, Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling, arXiv preprint, arXiv:1412.3555, 2014. DOI: https://doi.org/10.48550/arXiv.1412.3555
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, et al, "Attention Is All You Need", Advances in neural information processing systems, Curran Associates Inc., 30, 2017. DOI: https://doi.org/10.48550/arXiv.1706.03762
A. Radford, K. Narasimhan, T. Salimans, I. Sutskever, Improving Language Understanding by Generative Pre-Training, Technical Report, 2018.
J. Devlin, M. Chang, K. Lee, K. Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv preprint, arXiv:1810.04805, 2018. DOI: https://doi.org/10.48550/arXiv.1810.04805
J. Chung, C. Gulcehre, K. Cho, Y. Bengio, Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling, arXiv preprint, arXiv:1412.3555, 2014. DOI: https://doi.org/10.48550/arXiv.1412.3555
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, et al, "Attention Is All You Need", Advances in neural information processing systems, Curran Associates Inc., 30, 2017. DOI: https://doi.org/10.48550/arXiv.1706.03762
A. Radford, K. Narasimhan, T. Salimans, I. Sutskever, Improving Language Understanding by Generative Pre-Training, Technical Report, 2018.
J. Devlin, M. Chang, K. Lee, K. Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv preprint, arXiv:1810.04805, 2018. DOI: https://doi.org/10.48550/arXiv.1810.04805
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
양자화 기법의 거대 언어 모델 간 메모리 및 추론 속도 비교 분석
한국정보과학회 학술발표논문집
2024 .12
-
신경망 양자화를 이용한 딥러닝 모델의 추론 수행에서의 메모리 효율성 개선
한국정보과학회 학술발표논문집
2020 .07
-
레이어 별 양자화 오류 최적화 기법 중심 거대 언어 모델에 대한 훈련 후 양자화 최신 기술 분석
한국통신학회 학술대회논문집
2024 .11
-
인-메모리 데이터 구조의 종류에 따른 I/O 성능 및 메모리 사용량 분석
한국정보과학회 학술발표논문집
2020 .07
-
양자화가 얼굴 인식 성능에 끼치는 영향 분석
한국정보과학회 학술발표논문집
2022 .12
-
양자화된 거대 언어 모델의 온디바이스 추론 성능 분석
한국정보과학회 학술발표논문집
2024 .06
-
객체 탐지 네트워크를 위한 정수 연산만을 사용한 하드웨어 친화적인 양자화에 대한 연구
전자공학회논문지
2025 .04
-
경량화 관점의 소규모 언어 모델 연구동향
한국통신학회 학술대회논문집
2024 .06
-
균일 양자화 기법의 성능 비교 분석
한국통신학회 학술대회논문집
2024 .11
-
양자화를 통한 뎁스 추정 모델의 경량화
대한전기학회 학술대회 논문집
2024 .07
-
경량 딥러닝 모델의 초저정밀도 양자화를 위한 학습 방식의 개선
대한전자공학회 학술대회
2020 .11
-
강화학습기반 지능모델 양자화 적용 가능성 연구
한국정보과학회 학술발표논문집
2022 .12
-
SWNQ: 스케일링된 가중치 정규화 기반 사후학습 양자화 기법
한국통신학회논문지
2021 .03
-
메모리 접근 효율을 고려한 트랜스포머 기반 모델들의 데이터 압축률 분석
대한전자공학회 학술대회
2024 .06
-
LLM 파인튜닝 및 양자화를 통한 개인 맞춤형 운전자 지원 시스템의 추론 성능 개선
한국자동차공학회 추계학술대회 및 전시회
2024 .11
-
탐욕적 검색을 활용한 하드웨어 친화적인 초거대 언어 모델 2-4 비트 혼합 정밀도 학습 후 양자화
한국정보과학회 학술발표논문집
2024 .12
-
Layer-wise Knowledge Distillation (LKD)와 Hessian-based Rounding을 이용한 저비용 LLM 양자화
대한전자공학회 학술대회
2024 .06
-
임베디드 시스템에서의 객체 탐지 네트워크 양자화
대한전자공학회 학술대회
2023 .06
-
임베디드 시스템에서의 양자화 기계학습을 위한 효율적인 양자화 오차보상에 관한 연구
방송공학회논문지
2020 .03
-
생성 모델을 이용한 데이터 프리 양자화를 위한 Bit-width Aware Generator와 채널 어텐션 기반 중간 레이어 지식 증류
한국컴퓨터정보학회논문지
2024 .07
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0