인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
피인용 0
초록·키워드
트랜스포머(Transformer) 아키텍처 기반의 대규모 언어 모델(LLM: Large Language Models)은 자연어 처리 작업에서 매우 높은 수준의 성능을 보인다. 크기와 성능 효율성을 고려한 여러 모델이 개발되었으나, 여전히 모델 운용에는 많은 메모리 자원이 필요하기에 메모리 효율성을 고려한 모델의 경량화가 중요한 과제로 대두되고 있다. 기존 모델의 구조를 유지하면서 파라미터를 저정밀도 데이터 타입으로 변환하는 양자화는 메모리 사용량을 크게 줄일 수 있으며, 추가적인 훈련 없이도 적용할 수 있어 응용 프로그램 통합시 접근성과 효율성을 높여준다. 본 연구에서는 비트 앤 바이트(BitsAndBytes) 양자화 모듈을 활용하여 오픈소스 한국어 언어 모델을 경량화하고, 메모리 사용량과 성능을 비교하여 LLM의 효율적 운용 방안을 제시한다. 8비트 및 4비트 양자화를 통해 각각 평균 약 38%, 67%의 메모리 감소를 확인했으며, 언어 모델 평가 벤치마크에서 평균 성능 변화율이 5% 미만으로 나타나 양자화에 의한 성능 손실이 크지 않음을 확인했다. 또한, 메모리 사용량이 유사한 양자화된 대형 모델과 소형 모델의 성능을 비교한 결과, 13개 벤치마크 중 양자화된 대형 모델이 0-shot 9개, 5-shot 8개 항목에서 성능 우위를 보여, 대형 모델을 양자화하여 사용하는 것이 일반화 성능과 자원 효율성 측면에서 더 효과적임을 입증했다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
