Integrated Linear and Nonlinear Postsynaptic Potential Function for Backpropagation in Spiking Neural Networks with Temporal Coding :템포럴 코딩을 사용한 스파이크 신경망의 역전파를 위한 통합 선형 및 비선형 시냅스 후 전위 함수

Dinalankara Mudiyanselage Sineru Dilshan

자료유형: 학위논문

저자정보: Dinalankara Mudiyanselage Sineru Dilshan (고려대학교, 고려대학교 대학원)

지도교수: 조민호

발행연도: 2024

저작권: 고려대학교 논문은 저작권에 의해 보호받습니다.

이용수1

초록· 키워드

인간의 뇌는 기존의 인공 신경망(ANN)에는 없는 정밀한 뉴런 스파이크 타이밍을
통해 감각 자극에 빠르게 반응한다. 스파이크 신경망 (SNN)은 시공간적 스파이크
패턴을 사용하여 기존 ANN 의 이러한 한계를 극복하고 생물학적으로 사실적인 정보
처리를 가능하게 한다. 그러나 ANN 에서 널리 사용되는 오류 역전파 (BP) 기법은 SNN
모델에 직접 적용하기 어렵다. 이 연구에서는 우선 미분할 수 없는 스파이크 생성,
기울기폭주 문제, 과도한 죽은 뉴런으로 인해 문제가 발생하는 이유를 논의한다.
이러한 문제를 해결하기 위해, 피드포워드 프로세스에 대해 생물학적으로 타당한
새로운 통합 선형 및 비선형 시냅스 후 전위 (ILINO-PSP) 함수를 제안한다. 제안한
ILINO-PSP 함수를 적용하여 SNN 을 위한 새로운 스파이크 시간 의존적 역전파 (spike
time dependent backpropagation - STDBP) 학습 알고리즘을 개발한다. ILINO-PSP
함수에서는 선형성을 도입하여 폭주하는 기울기와 죽은 뉴런의 문제를 해결하고,
비선형 느린 감쇠를 통해 SNN 의 생물학적 타당성과 견고성을 향상시키다. 제안된
ILINO-PSP 모델에서, 정보는 개별 스파이크 타이밍을 활용하는 시간적 코딩 체계를
사용하여 인코딩 된다. BP 는 스파이크 타이밍을 계산의 기초로 하는 이벤트 기반
동작에서 발생한다. 제안된 ILINO-PSP 는 MNIST, Fashion-MNIST, Caltech
face/motorbike, Spiking Heidelberg Digits(SHD) 데이터셋으로 훈련되었다. 테스트 결과,
MNIST 에서는 98.3%, fashion-MNIST 에서는 90.3%, Caltech face/motorbike 에서는
99.6%, SHD 테스트 데이터셋에서는 79.2%의 정확도를 보였다. MNIST에 대한 실험을
통해 생물학적으로 타당한 ILINO-PSP 모델이 역전파와 관련된 기존의 문제를 극복할
수 있음을 확인했다. Fashion-MNIST, Caltech face/motorbike, SHD 데이터셋에서
달성한 테스트 정확도는 템포럴 코딩 체계 내에서 가장 높은 정확도를 기록했다.

Biological brains exhibit rapid responsiveness to sensory stimuli through precise neuronal spike timing which is absent in conventional artificial neural networks (ANNs). Spiking neural networks (SNNs) overcome this limitation of conventional ANNs by employing spatiotemporal spike patterns, enabling biologically realistic information processing. However, the widely used error backpropagation (BP) technique in ANNs is not directly applicable to SNN models. In this study, I initially discuss why the problem is caused by non-differentiable spike generation, problem of gradient explosion, and excessive dead neurons. To solve these problems, I propose a novel biologically plausible Integrated Linear and Nonlinear postsynaptic potential (ILINO-PSP) function for the feedforward process. A new spike-time-dependent backpropagation (STDBP) learning algorithm for SNNs is developed by adopting the proposed ILINO-PSP function. In ILINO-PSP function, linearity is introduced to address the issues of exploding gradients and dead neurons, while the nonlinear slow decay enhances the biological plausibility and robustness of SNNs. In the proposed ILINO-PSP model, information is encoded using a temporal coding scheme that utilizes the individual spike timings. BP occurs in an event-driven behavior with spike timing as the basis for computation. The proposed ILINO-PSP was trained with MNIST, Fashion-MNIST, and Spiking Heidelberg Digits (SHD) datasets. The numerical tests show 98.3% accuracy with MNIST, 90.3% with fashion-MNIST, 99.6% with Caltech face/motorbike, and 79.2% with SHD test datasets. The experiments on MNIST confirm that the biologically plausible ILINO-PSP model can overcome the existing problems related to backpropagation. To the best of my knowledge, the test accuracies attained by the fashion-MNIST, Caltech face/motorbike, and SHD datasets stand as the highest recorded accuracy within the temporal coding scheme.

#Neuromorphic AI #spiking neural network #SNN #temporal coding #spike-timing-dependent backpropagation #biologically plausible postsynaptic potential function

CHAPTER 1. INTRODUCTION 1
CHAPTER 2. RELATED WORK 5
2.1 Nondifferentiable spike generation 5
2.2 Exploding gradient problem in SNNs 10
2.3 Dead neuron problem in SNNs 15
2.4 Effect of membrane potential leakage in SNNs 17
CHAPTER 3. PRELIMINARIES 19
3.1 Temporal Coding 19
CHAPTER 4. PROPOSED METHOD 21
4.1 Spiking Neuron Model 21
4.1.1 Derivation of the ILINO-PSP Model 21
4.1.2 Error Backpropagation 23
4.1.3 Nondifferentiable spike generation 25
4.1.4 Exploding gradients problem 26
4.1.5 Dead neuron problem 26
CHAPTER 5. SIMULATION AND ANALYTICS 27
5.1 Data Pre-processing 27
5.2 MNIST Dataset 28
5.2.1 Performance evaluation on MNIST dataset 29
5.2.2 Insightful Analysis of Spiking Activity 31
5.2.3 Evaluation of exploding gradients problem 31
5.2.4 Evaluation of dead neuron problem 34
5.2.5 Robustness against noisy presynaptic spikes 35
5.3 Fashion-MNIST Dataset 36
5.4 Caltech Face/Motorbike Dataset 37
5.5 Spiking Heidelberg Digits (SHD) Dataset 38
CHAPTER 6. FUTURE RESEARCH 41
CHAPTER 7. CONCLUSION 43
REFERENCES 44

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

목차

최근 본 자료

댓글(0)