지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제30권 제8호
- 발행연도
- 2024.8
- 수록면
- 372 - 381 (10page)
- DOI
- 10.5626/KTCP.2024.30.8.372
이용수
초록· 키워드
오류제보하기
최근 소프트웨어 개발에서 소스 코드 생성을 포함한 다양한 작업에 거대언어모델의 활용과 연구가 증가하고 있다. 이러한 최근 연구 동향 및 분위기에 발맞추어, 본 논문은 다양하게 출현하는 거대언어모델들의 코드 생성 능력을 종합하여 분석하였다. 구체적으로, 거대언어모델을 파라미터 크기에 따라 분류하고, 분류된 각 범주의 모델들의 코드 생성 성능을 비교하였다. 또한, 코드 생성 결과의 품질 개선을 위한 다양한 방법론, 특히 인스트럭션 데이터 증강 기법과 앙상블 프레임워크를 소개하며, 이들 방법이 거대언어모델의 코드 생성 능력에 미치는 영향을 분석하였다. 이러한 분석은 코드 생성을 위한 거대언어모델 선택 및 활용 방안에 실질적인 가이드를 제공할 것으로 기대된다.
목차
요약
Abstract
1. 서론
2. 배경 지식
3. 코드 생성 관점에서의 거대언어모델 동향과 분석
4. 거대언어모델 성능 향상을 위한 접근법
5. 결론
References
참고문헌 (42)
참고문헌 신청
Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever, “Improving language understanding by generative pre-training”, Technical report, OpenAI Blog, 2018.
Roziere, B., et al., “Code llama: Open foundation models for code”, arXiv preprint arXiv:2308.12950, 2023.
Touvron, H., et al., “Llama 2: Open foundation and fine-tuned chat models”, arXiv preprint arXiv:2307.09288, 2023.
Chen, M., et al., “Evaluating large language models trained on code”, arXiv preprint arXiv:2107.03374, 2021.
Papineni, K., Roukos, S., Ward, T., and Zhu, W. J., “Bleu: a method for automatic evaluation of machine translation”, Proc. of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2022.
Roziere, B., et al., “Code llama: Open foundation models for code”, arXiv preprint arXiv:2308.12950, 2023.
Touvron, H., et al., “Llama 2: Open foundation and fine-tuned chat models”, arXiv preprint arXiv:2307.09288, 2023.
Chen, M., et al., “Evaluating large language models trained on code”, arXiv preprint arXiv:2107.03374, 2021.
Papineni, K., Roukos, S., Ward, T., and Zhu, W. J., “Bleu: a method for automatic evaluation of machine translation”, Proc. of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2022.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
실용적인 코드 생성을 위한 언어 모델 기반 코드 생성 평가지표 분석
한국정보과학회 학술발표논문집
2024 .06
-
초거대 언어모델 연구 동향
정보과학회지
2023 .11
-
인코더 기반 거대 언어 모델의 초기 계층이 코드 분류에 효과적인가?
한국정보과학회 학술발표논문집
2024 .06
-
한국어 자연어 추론을 위한 거대 언어 모델 기반 지식 생성
한국정보과학회 학술발표논문집
2023 .06
-
반복 프롬프팅을 활용한 거대 언어모델 기반 표 질의응답 코드 생성
한국정보과학회 학술발표논문집
2023 .06
-
난독화된 코드에 대한 거대 언어 모델의 코드 클론 탐지 성능 실험 및 분석
한국정보과학회 학술발표논문집
2024 .12
-
거대 언어 모델의 발전 및 상용화 과제
한국통신학회지(정보와통신)
2023 .05
-
초거대 언어모델의 지속적인 학습
정보과학회지
2022 .12
-
거대 언어 모델을 위한 학습 시간 예측 연구 분석
한국통신학회 학술대회논문집
2025 .02
-
초거대 언어 모델을 위한 스토리지 시스템 설계
정보과학회지
2025 .04
-
코드 요약을 위한 효율적인 구조 적응형 사전학습 언어 모델
한국지능시스템학회 논문지
2024 .12
-
초거대 인공지능 생성 모델 동향 연구
한국통신학회지(정보와통신)
2023 .05
-
설명 가능한 AI를 위한 거대 언어모델의 근거 생성 능력 평가
한국정보과학회 학술발표논문집
2024 .06
-
생성형 AI 시대 거대언어모델의 기술 동향
정보과학회지
2023 .11
-
거대 언어 모델과 In-context learning을 이용한 자연어 추론 학습 데이터 자동 생성
한국정보과학회 학술발표논문집
2023 .06
-
An Experimental Study on the Text Generation Capability for Chart Image Descriptions in Korean SLLM
Journal of KIISE
2025 .02
-
초거대 언어모델을 활용한 소프트웨어 결함 예측 연구 동향
정보과학회지
2024 .08
-
검색증강생성 기반 전력 분야 특화 거대언어모델 개발
대한전기학회 학술대회 논문집
2024 .07
-
거대언어모델(LLM) 응용 기술 최근 동향
한국통신학회지(정보와통신)
2025 .03
-
재난 상황관리 분야 초거대 언어모델 적용에 관한 연구
한국정보과학회 학술발표논문집
2024 .06
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0