인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 저자정보
피인용 0
초록·키워드
본 논문은 연산 자원과 배터리가 한정된 모바일 시스템에서 대규모 언어 모델(LLM)의 추론 속도와 연산 부하 기반 효율을 높이는 동적 트리 기반 추측 디코딩 최적화 기법을 제안한다. 서버 환경을 위한 기존 트리 확장 정책은 모바일 하드웨어 제약을 고려하지 않아 트리가 확장될수록 검증 지연이 선형적으로 증가하고 추론 효율이 저하된다. 본 연구는 실시간 CPU 및 GPU의 주파수와 활용률로부터 전력 소모와 높은 상관을 갖는 프록시(Proxy)인 연산 부하 지수(Load Index)를 정의하고, 단위 부하 대비 토큰 생성 효율(TPS/Load)을 목적 함수로 트리의 너비, 깊이, 재순위화 노드 수를 조절하는 EAGLE-2 기반 베이즈 최적화를 수행하였다. 실험 결과, 제안 기법은 자기 회귀(AR) 방식 대비 처리량을 1.51배, 베이스 라인 대비 TPS/Load를 3.16배 향상시켰으며, 최적화된 모델이 모바일 제약 내에서 속도와 연산 부하 간의 효율적인 균형점에 위치함을 확인하였다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
