인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
피인용 0
초록·키워드
장문맥 대규모 언어 모델(LLM) 추론에서 KV 캐시는 메모리 병목이며, KV 캐시 양자화는 이를 완화하는 표준 수단으로 주요 추론 프레임워크에 내장되어 있다. 그러나 그 정확도 평가는 대부분 영어에 국한되어, 토큰 팽창이 크고 문자 체계가 다른 한국어에 미치는 영향은 알려져 있지 않다. 본 논문은 한국어와 영어로 대응시킨 장문맥 회상(needle-in-a-haystack) 프로토콜을 설계하고, 한국어 대 영어 토큰 비율이 서로 다른 세 모델(EXAONE-3.5-7.8B, Llama-3.1-8B, Qwen3-8B)에 대해 BF16, 4비트, 3비트, 2비트 KV 캐시에서 4k∼32k 토큰 문맥의 회상률을 측정하였다. 정밀도당 1,728건의 측정 결과, (1) 4비트 KV 캐시는 8B급 세 모델 모두 한국어와 영어에서 32k까지 손실이 없었으나 4B 이하 Qwen3에서는 4비트에서도 손실이 나타났고, (2) 3비트 이하에서는 세 모델 중 두 모델(EXAONE, Qwen3)에서 한국어 회상률이 영어보다 유의하게 낮았고(3비트 4∼5%p, 2비트 12∼15%p) Llama-3.1은 2비트에서 4%p의 유의하지 않은 격차를 보였으며, (3) 이 불리함은 한국어 토큰이 영어보다 적은 EXAONE에서도 동일 토큰 길이에서 나타나 토큰 팽창이 아닌 언어 고유의 효과임을 확인하였다. 불리함의 기전은 모델에 따라 달라 Qwen3는 한국어 생성이 붕괴하고 EXAONE은 출력은 온전하되 숫자 검색 정밀도가 떨어졌다. 바늘을 전정밀도 잔여 창에 두어도 회상률은 회복되지 않았다. 손실의 원인은 바늘의 소실이 아니라 양자화된 문맥의 어텐션 교란이다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
