지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제30권 제3호
- 발행연도
- 2024.3
- 수록면
- 137 - 142 (6page)
- DOI
- 10.5626/KTCP.2024.30.3.137
이용수
초록· 키워드
오류제보하기
자연어 생성 모델 간의 상징적 지식 증류 프롬프트 엔지니어링 기법을 제안한다. 이 기법은 특정 다운스트림 태스크에 대한 각 모델의 추론 결과 텍스트를 "상징적 증류 지식" (Symbolic Distilled Knowledge)으로 정의한다. 아울러 각 생성 모델이 다른 생성 모델에서 증류한 지식을 학습하도록 하여 인간의 노동력을 최소화하는 방식으로 다운스트림 태스크에 대한 추론 능력을 향상하는 것을 목표로 한다. 이 연구에서는 모델 구조와 파라미터 규모에 차이가 있는 GPT-J와 T5 모델로 실험하였다. 그 결과 상호상징적 지식 증류를 진행한 모델들이 실험 대상 다운스트림 태스크에서 베이스라인 대비 우수하거나 유사한 성능을 나타내었다. 일례로 Intent Classification 태스크 벤치마크 SLURP에 대해서는 GPT-J의 증류지식을 학습한 T5는 일반 T5보다 10% 이상 향상된 81.95%의 정확도를, T5의 증류 지식을 학습한 GPT-J는 일반 GPT-J보다 7.38% 오른 29.76%의 정확도를 기록했다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 파이프라인 개요
4. 실험 결과 분석
5. 결론
References
참고문헌 (9)
참고문헌 신청
B. Wang and A. Komatsuzaki, "GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model," 2021.
C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, and P. J. Liu., "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer," in J . Mach. Learn. Res., vol. 21, no. 1, 2020.
G. Hinton, O. Vinyals, and J. Dean, “Distilling the Knowledge in a Neural Network”, NI P S 2014 Deep Learning Workshop, 2014.
P. West, C. Bhagavatula, J. Hessel, J. D. Hwang, L. Jiang, R. L. Bras, X. Lu, S. Welleck, and Y. Choi., "Symbolic Knowledge Distillation: from General Language Models to Commonsense Models," in P roceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: H uman Language Technologies, 2022.
T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei, "Language Models are Few-Shot Learners," in Advances in Neural Information Processing Systems, 2020.
C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, and P. J. Liu., "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer," in J . Mach. Learn. Res., vol. 21, no. 1, 2020.
G. Hinton, O. Vinyals, and J. Dean, “Distilling the Knowledge in a Neural Network”, NI P S 2014 Deep Learning Workshop, 2014.
P. West, C. Bhagavatula, J. Hessel, J. D. Hwang, L. Jiang, R. L. Bras, X. Lu, S. Welleck, and Y. Choi., "Symbolic Knowledge Distillation: from General Language Models to Commonsense Models," in P roceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: H uman Language Technologies, 2022.
T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei, "Language Models are Few-Shot Learners," in Advances in Neural Information Processing Systems, 2020.
이 논문의 저자 정보
이 논문과 함께 이용한 논문
임신부 및 태아의 건강에 영향을 미치는 위험요인 규명
배현숙
대한지역사회영양학회지
2008
.12
생성형 AI 기반 전시디자인에 대한 공간 경험 분석 - 관람객의 연상성을 중심으로 -
양류
,
김유빈
,
장광집
기초조형학연구
2024
.04
생성형 인공지능의 프롬프트 글쓰기 분석
박한하
,
한혜원
한국콘텐츠학회논문지
2024
.04
콘텐츠 창작과 AI 리터러시: LLM의 패러프레이징을 중심으로
윤나라
인문콘텐츠
2024
.03
이미지 생성 AI의 프롬프트 요소와 적용 사례 연구: 미드저니, 스테이블 디퓨전, 파이어플라이, 달·이를 중심으로
권동현
디지털콘텐츠학회논문지
2024
.02
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-089494702