지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.1
- 수록면
- 3 - 9 (7page)
- DOI
- 10.5573/ieie.2022.59.1.3
이용수
초록· 키워드
오류제보하기
본 논문은 이진화된 신경망을 위한 효율적인 학습 가속 시스템을 FPGA에서 구현한 결과를 보인다. 신경망 학습에서는 Convolution 연산이 대부분의 시간을 차지하며, 이를 위한 전용의 Component를 도입하여 학습을 가속하였다. 이진화된 신경망 학습에서는 클리핑된 Weight의 부호가 거의 뒤집히지 않는다. 클리핑된 Weight를 최적화 대상에서 제외함으로써 관련된 연산을 제거하였다. 이를 통해 큰 정확도 저하 없이 학습을 가속하였다. 또한 역전파를 수행할 때 더 이상 사용하지 않는 Feature와 Gradient를 계속 저장하지 않기 위해 Parameter의 Gradient를 구하는 즉시 최적화함으로써 Memory 사용량 감소를 보인다. 제안하는 학습 가속 시스템은 순수 소프트웨어 구현 대비 약 89.6%의 학습 시간 단축을 달성하였다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. BNN 모델
Ⅲ. 제안하는 BNN 학습 시스템
Ⅳ. 실험 결과
V. 결론
REFERENCES
참고문헌 (14)
참고문헌 신청
M. Courbariaux, Y. Bengio, and J. P. David, “Binaryconnect: Training deep neural networks with binary weights during propagations,” in Proc. Adv. Neur. Inf. Proc. Syst., pp. 3123-3131, Nov. 2015.
I. Hubara, M. Courbariaux, D. Soudry, R. El-Yaniv, and Y. Bengio, “Binarized neural networks,” in Proc. Adv. Neur. Inf. Proc. Syst., pp. 4107–4115, Dec. 2016.
M. Rastegari, V. Ordonez, J. Redmon, and A. Farhadi, “Xnor-net: Imagenet classification using binary convolutional neural networks,” in Proc. Euro. Conf. Computer Vision, pp. 525-542, Oct. 2016.
S. Zhou, Y. Wu, Z. Ni, X. Zhou, H. Wen, and Y. Zou, “Dorefa-net: Training low bitwidth convolutional neural networks with low bitwidth gradients,” arXiv preprint arXiv:1606.06160, Jun. 2016.
X. Lin, C. Zhao, and W. Pan, “Towards accurate binary convolutional neural network,” arXiv preprint arXiv:1711.11294, Nov. 2017.
I. Hubara, M. Courbariaux, D. Soudry, R. El-Yaniv, and Y. Bengio, “Binarized neural networks,” in Proc. Adv. Neur. Inf. Proc. Syst., pp. 4107–4115, Dec. 2016.
M. Rastegari, V. Ordonez, J. Redmon, and A. Farhadi, “Xnor-net: Imagenet classification using binary convolutional neural networks,” in Proc. Euro. Conf. Computer Vision, pp. 525-542, Oct. 2016.
S. Zhou, Y. Wu, Z. Ni, X. Zhou, H. Wen, and Y. Zou, “Dorefa-net: Training low bitwidth convolutional neural networks with low bitwidth gradients,” arXiv preprint arXiv:1606.06160, Jun. 2016.
X. Lin, C. Zhao, and W. Pan, “Towards accurate binary convolutional neural network,” arXiv preprint arXiv:1711.11294, Nov. 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
적은 파라미터의 경량 이진 신경망 모델
전자공학회논문지
2022 .12
-
메타 학습 기법의 연산층 별 학습률 설정에 따른 성능 변화에 관한 연구
한국통신학회 학술대회논문집
2022 .02
-
합성곱 신경망의 병렬 학습 시스템 구현
대한전자공학회 학술대회
2021 .11
-
메모리 효율적 심층신경망 가속 하드웨어를 위한 부호-비트 벡터 인코딩 기법
대한전자공학회 학술대회
2024 .06
-
Convolution Neural Network Front-end / Back-end Design
대한전자공학회 학술대회
2020 .11
-
공용 신경망의 다중 학습을 통한 음소와 감정 인식의 성능 향상
방송공학회논문지
2020 .09
-
공압 시스템의 동적 모델을 위한 순환 신경망 모델 기반 학습 방법 연구
한국지능시스템학회 논문지
2025 .02
-
다차원 신경망 및 의사결정 신경망의 딥러닝 학습을 통한 영상인식
한국지능시스템학회 논문지
2018 .02
-
다층신경망의 다양한 연결구조 제안 및 분석
한국정보기술학회논문지
2018 .04
-
FFT 적용을 통한 Convolution 연산속도 향상에 관한 연구
멀티미디어학회논문지
2021 .11
-
딥러닝의 모형과 응용사례
지능정보연구
2016 .06
-
이미지 임계화 기술과 에지 검출 알고리즘을 이용한 숫자 인식 시스템의 합성곱신경망 학습속도 및 정확도 향상 방법
한국통신학회 학술대회논문집
2021 .02
-
심층 신경망의 발전 과정과 이해
한국통신학회지(정보와통신)
2016 .09
-
실시간 임베디드 시스템에서 연산 집약적 알고리즘의 FPGA 기반 가속화
한국통신학회 학술대회논문집
2019 .06
-
DQN을 이용한 트레이딩 예측을 위한 강화학습 모델 구현
한국정보기술학회논문지
2019 .04
-
모바일 시스템을 위한 CNN 딥 러닝 가속화 알고리즘
한국정보기술학회논문지
2018 .10
-
Deep Neural Network Structure Selection Using Coverage Methods
Journal of KIISE
2021 .01
-
확장 합성곱 신경망을 통한 이미지 분류
한국정보통신학회 종합학술대회 논문집
2020 .10
-
심층신경망의 일반화 성능에 대한 학습률의 영향
대한전자공학회 학술대회
2019 .06
-
전이학습을 수행한 신경망을 사용한 압축센싱 심장 자기공명영상
전기전자학회논문지
2019 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
LIF/IF Model을 활용한 SNN Neuron의 H/W 구현
홍윤표
,
김희탁
,
황태호
대한전자공학회 학술대회
2021
.06
효율적인 Processing-In-Memory 구현을 위해 Truncation 현상을 고려한 이진화된 신경망
이채은
,
이수정
,
김태환
전자공학회논문지
2021
.12
이진화된 컨벌루션 신경망을 위한 낮은 복잡도의 추론 가속 프로세서
최경찬
,
신지훈
,
김태환
전자공학회논문지
2020
.01
계층적 오토인코더를 이용한 형상 기반 식물 생장 예측
김태현
,
이상호
,
김종옥
대한전자공학회 학술대회
2021
.11
효율적인 Capsule Network 추론 시스템의 High-Level Synthesis 설계 및 FPGA 구현
양해찬
,
박상준
,
박관영
외 2명
전자공학회논문지
2021
.11
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2022-569-000205187