지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.49 No.12
- 발행연도
- 2022.12
- 수록면
- 1,115 - 1,123 (9page)
- DOI
- 10.5626/JOK.2022.49.12.1115
이용수
초록· 키워드
오류제보하기
지속적인 학습이 가능한 인간과는 대조적으로 딥러닝 모델은 학습하는 태스크가 점진적으로 들어오는 상황에서 기존의 성능을 유지하는데 상당한 어려움을 갖는다. 본 논문에서는 신경망 재생성 기반의 새로운 태스크 점진 학습 방법인 ParameterGAN을 제안한다. 제안된 방법은 적대적 생성 학습을 활용하여 사전 학습한 베이지안 신경망의 파라미터와 유사한 분포를 가지는 신경망 자체를 재생성하고, 유사 리허설(pseudo-rehearsal) 방식을 통해 치명적 망각 없이 과거 모든 시점의 신경망을 재생성하여 지속학습을 가능하게 한다. 다양한 실험을 통해 재생성한 파라미터로 구성된 합성 모델의 성능이 사전 학습된 모델의 성능에 준함을 확인하고, 태스크 점진 학습 상황인 Split-MNIST, Permuted-MNIST 벤치마크 실험에서 제안 방법이 기존의 다른 방법보다 더욱 우수한 성능을 보임을 확인한다.
목차
요약
Abstract
1. 서론
2. 사전 지식
3. 제안하는 방법
4. 실험
5. 결론
References
참고문헌 (16)
참고문헌 신청
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio, "Generative adversarial networks," Communications of the ACM, Vol. 63, No. 11, pp. 139-144, 2020.
H. Shin, J. K. Lee, J. Kim, and J. Kim, "Continual learning with deep generative replay," Proc. of the Advances in Neural Information Processing Systems, pp. 2990-2999, 2017.
Charles Blundell, Julien Cornebise, Koray Kavukcuoglu, and Daan Wierstra, "Weight uncertainty in neural network," Proc. of the International Conference on Machine Learning, pp. 1613-1622, 2015.
Wesley J Maddox, Pavel Izmailov, Timur Garipov, Dmitry P Vetrov, and Andrew Gordon Wilson, "A simple baseline for bayesian uncertainty in deep learning," Proc. of the Advances in Neural Information Processing Systems, pp. 13132-13143, 2019.
Diederik P Kingma and Max Welling, "Autoencoding variational bayes," arXiv preprint arXiv: 1312.6114, 2013.
H. Shin, J. K. Lee, J. Kim, and J. Kim, "Continual learning with deep generative replay," Proc. of the Advances in Neural Information Processing Systems, pp. 2990-2999, 2017.
Charles Blundell, Julien Cornebise, Koray Kavukcuoglu, and Daan Wierstra, "Weight uncertainty in neural network," Proc. of the International Conference on Machine Learning, pp. 1613-1622, 2015.
Wesley J Maddox, Pavel Izmailov, Timur Garipov, Dmitry P Vetrov, and Andrew Gordon Wilson, "A simple baseline for bayesian uncertainty in deep learning," Proc. of the Advances in Neural Information Processing Systems, pp. 13132-13143, 2019.
Diederik P Kingma and Max Welling, "Autoencoding variational bayes," arXiv preprint arXiv: 1312.6114, 2013.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
합성 신경망 재생성을 위한 적대적 생성 신경망
한국정보과학회 학술발표논문집
2022 .06
-
생성적 적대 신경망의 학습 방법에 따른 비교
대한전자공학회 학술대회
2020 .08
-
합성곱 신경망에서의 점진적 학습 모델에 대한 성능 하락 요인 분석
한국정보과학회 학술발표논문집
2020 .07
-
베이지안 추론과 정규화를 이용한 회귀 머신러닝
한국지능시스템학회 논문지
2019 .10
-
데이터 없는 상황에서 생성형 신경망에 대한 지속학습
한국정보과학회 학술발표논문집
2022 .12
-
베이지안 신경망을 이용한 순차적 다중작업 학습 최적화
정보과학회 컴퓨팅의 실제 논문지
2018 .05
-
신경망의 점진적 학습 기능을 위한 특징 증가 기법
대한전자공학회 학술대회
2018 .06
-
공압 시스템의 동적 모델을 위한 순환 신경망 모델 기반 학습 방법 연구
한국지능시스템학회 논문지
2025 .02
-
Continual Learning using Memory-Efficient Parameter Generation
Journal of KIISE
2024 .08
-
베이지안 신경망을 이용한 중요도 기반 전이 강화 학습
제어로봇시스템학회 국내학술대회 논문집
2022 .06
-
다차원 신경망 및 의사결정 신경망의 딥러닝 학습을 통한 영상인식
한국지능시스템학회 논문지
2018 .02
-
심층신경망의 일반화 성능에 대한 학습률의 영향
대한전자공학회 학술대회
2019 .06
-
적대적 생성 신경망 기반 112 신고 유형 분류 모델
한국통신학회 인공지능 학술대회 논문집
2023 .09
-
다층신경망의 다양한 연결구조 제안 및 분석
한국정보기술학회논문지
2018 .04
-
전이학습을 수행한 신경망을 사용한 압축센싱 심장 자기공명영상
전기전자학회논문지
2019 .12
-
유전알고리즘을 이용한 영상 분류 신경망 구조 탐색
한국정보과학회 학술발표논문집
2021 .06
-
생성적 적대 신경망 기반 딥 러닝의 비정상 유동 예측
대한기계학회 춘추학술대회
2018 .04
-
효율적인 개념설계를 위한 물리 기반 생성 설계 프레임워크
대한기계학회 춘추학술대회
2024 .11
-
베이지안 인공신경망 기반 통계적 모델 보정 기법
대한기계학회 춘추학술대회
2022 .11
-
딥러닝 기반의 생성 모형, 적대적 생성 신경망 소개
정보과학회지
2018 .02
이 논문의 저자 정보
이 논문과 함께 이용한 논문
FedGC: 글로벌 일관성 정규화 기법을 이용한 준지도 연합학습기법
정구본
,
김성웅
,
최동완
한국정보과학회 학술발표논문집
2022
.06
Knowledge Graph Embedding for Link Prediction using Node-Link Interaction-based Graph Attention Networks
김준선
,
김명호
Journal of KIISE
2022
.07
A Dimension Reduction Method for Unsupervised Outlier Detection in High Dimensional Data
박정희
Journal of KIISE
2022
.07
최근 본 자료
댓글(0)
0