인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 저자정보
피인용 0
초록·키워드
검색증강생성(RAG)은 질의와 관련된 외부 지식을 언어 모델의 입력으로 사용하여 거대 언어 모델(LLM)의 환각 문제를 해결하고자 고안된 방법이다. 하지만 LLM은 추론 속도가 느리고 입력된 문서의 길이에 따라 모델의 연산량이 증가하므로 대규모 문서를 처리하는데 한계가 있다. 본 연구는 이러한 문제점을 극복하기 위해, LLM의 입력 효율성을 개선하는 ‘어텐션 기반 문맥 압축(Contextual Compression with Attention)’ 기법을 제안한다. CoCoA는 어텐션 스코어를 기반으로 문서 내 단어의 중요도를 평가하고, 가장 중요한 단어들만 사용하여 문맥을 압축한다. 또한, 단어 단위로 문맥을 압축하는 방식을 통해 어휘가 서로 다른 언어 모델을 압축 모델로 사용할 수 있고, BERT 모델과 같은 소형 언어 모델로 문맥을 압축함으로써 연산 속도와 연산량을 크게 절감할 수 있다. 본 연구는 연산 효율성을 개선하면서도 성능 저하를 최소화하였고, 문맥 압축 모델의 연산량을 단축함으로써 추론 속도를 크게 개선했다는 점에서 의의가 있다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
