지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.2
- 수록면
- 431 - 435 (5page)
- DOI
- 10.5370/KIEE.2022.71.2.431
이용수
초록· 키워드
오류제보하기
We proposed a novel controlling method of knowledge transfer to increase the efficiency of knowledge distillation. Specifically, combining KL divergence and predictive accuracy defines new extended indicator, which improves the efficiency of knowledge representation. Based on this representation, each knowledge is segmented by the extended indicator. We differentiate the weights for each sector so that the loss function can be weighted according to the sector. The results of our experiments successfully demonstrated that the proposed method much further improves the accuracy on CIFAR100, Cub-200-2011, and Tiny ImageNet data for ResNet, MobileNet, and WRN models, compared to the results of HKD and DML. We also showed that this approach is also promising to be plugged in not only the conventional knowledge distillation but also the collaborative knowledge distillation to improve the performance.
목차
Abstract
1. 서론
2. 지식 증류 기법
3. 확장된 지식 증류
4. 실험 및 결과 분석
5. 결론
References
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Knowledge Distillation via Bridge Network
한국통신학회 학술대회논문집
2019 .06
-
Knowledge Distillation을 이용한 식물 영상 복원
대한전자공학회 학술대회
2022 .06
-
지식의 분포 특성을 활용한 지식 증류
정보 및 제어 논문집
2021 .04
-
규제화된 지식 증류기법 (Knowledge Distillation)을 이용한 네트워크 압축
한국정보과학회 학술발표논문집
2019 .12
-
이질적 지식증류를 활용한 텍스트 분류 방법론
한국컴퓨터정보학회논문지
2022 .10
-
Knowledge Transfer Based Spatial Embedding Network for Plant Leaf Instance Segmentation
IEIE Transactions on Smart Processing & Computing
2023 .04
-
Zero-shot Knowledge Distillation for Regression
대한산업공학회 추계학술대회 논문집
2019 .11
-
Knowledge Distillation을 이용한 한국어 구구조 구문 분석 모델의 압축
한국정보과학회 학술발표논문집
2017 .06
-
지도 대조 학습으로 학습된 교사의 지식 증류에 관한 연구
대한전자공학회 학술대회
2024 .06
-
교사 답변 엔트로피 기반 적응적 지식 증류
한국지능시스템학회 논문지
2024 .12
-
Enhancing Radar Sensor Data-based Human Activity Recognition for Low Resource Devices Using Knowledge Distillation
한국통신학회 인공지능 학술대회 논문집
2023 .09
-
Knowledge Distillation for cost effective fault Prediction in manufacturing process
대한산업공학회 추계학술대회 논문집
2023 .11
-
Knowledge Distillation 을 이용한 Camera Pose Estimation 모델 경량화
한국통신학회 인공지능 학술대회 논문집
2023 .09
-
딥러닝 경량화를 위한 구조, 가지치기, 지식증류 비교
전기학회논문지
2021 .12
-
지식 증류 기법 별 교사와 학생 간 강건성 상호 관계
한국정보과학회 학술발표논문집
2024 .06
-
Knowledge Distillation을 이용한 CTC 기반 음성 인식 모델 압축
한국정보과학회 학술발표논문집
2017 .12
-
도메인 지식 증류: 도메인 지식 이전을 위한 증류 방법론
대한전자공학회 학술대회
2023 .06
-
추천 시스템을 위한 지식 증류 기술
정보과학회지
2021 .03
-
[AI-11] DualKD-Net: Dual Knowledge Distillation for Real-Time Object Detection
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2024 .01
-
지식기반 시스템 분석을 통한 지식체계에 관한 고찰
한국CDE학회 학술발표회 논문집
2015 .02
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0