메뉴 건너뛰기
소속 기관 / 학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
고객센터 ENG
주제분류

논문 기본 정보

저자정보
(아주대학교) (아주대학교)
저널정보
Korean Institute of Information Scientists and Engineers 한국정보과학회 학술발표논문집 한국정보과학회 2021 한국소프트웨어종합학술대회 논문집
오류 신고하기

피인용 0

검색

    초록·키워드

    최근 다양한 도메인에서 딥 러닝(Deep Learninig)을 적용시킴으로써, 딥 러닝 인퍼런스(Inference) 서버가 제한된 지연시간 안에 높은 처리량을 달성하는 것이 중요해지고 있다. 딥 러닝 모델들이 다양해지고 한정된 GPU 메모리 공간으로 인해 사용된 지 오래된 모델은 호스트 메모리로 쫓겨나는 경우가 발생한다. 이로 인해 호스트 메모리에 할당되어 있는 모델에 대한 인퍼런스 요청이 들어왔을 경우 GPU에서 연산하기 전에 해당 모델을 호스트 메모리에서 GPU 메모리로 로드해야 하며 이런 추가적인 로드 작업은 인퍼런스 요청의 지연 ... 전체 초록 보기

    최근 본 자료 전체보기