인문학
사회과학
자연과학
공학
의약학
농수해양학
예술체육학
복합학
DBpia AI
AI 에이전트
AI 아이디어
AI 리더
AI 뷰어
Citeasy
크롬 서지관리 다운로드
개인구독
소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
피인용 0
초록·키워드
본 연구는 Prompt Runner 프레임워크를 기반으로 GPT-4o-mini, Claude 4 Sonnet, Gemini 2.5 Flash 모델을 대상으로 프롬프트 유형별 성능을 비교하였다. 총 9개 유형, 90문항으로 구성된 프롬프트 데이터셋을 활용하여 정확도(Accuracy), 일관성(Consistency), 논리성(Logic), 창의성(Creativity), 응답 시간(Response Time)을 평가하였다. 정확도는 SBERT 임베딩 기반 코사인 유사도로 산출하였으며, 일관성과 논리성은 각각 정확도에 0.95, 0.9의 가중치를 적용하였다. 창의성은 새로움, 다양성, 유창성의 가중합(0.5N+0.3D+0.2F)으로 산출하였다. 분석 결과 Claude 4 Sonnet은 논리성(0.58)과 창의성(0.44)에서 우수한 성능을 보였으며, GPT-4o-mini는 빠른 응답시간을 나타냈고, Gemini 2.5 Flash는 정확도(0.66)와 일관성(0.62)에서 높은 성능을 보였다. 특히, Claude 4 Sonnet은 전반적인 성능과 응답 시간 간의 균형 측면에서 가장 안정적이고 일관된 성능을 보여, 효율성과 품질을 동시에 확보한 모델로 평가되었다. 본 연구를 통해 LLM 성능평가에서 각 AI 모델의 API 기반 정량적 성능지표를 비교 분석함으로써, 프롬프트 유형별 모델 특성과 성능 차이를
체계적으로 규명하였다.
체계적으로 규명하였다.
본문·목차
인공지능 문자 인식 모델을 통해 추출된 텍스트로, 일부 오타나 오류가 포함될 수 있으나 지속적으로 개선 중입니다.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
오류를 발견하셨다면 해당 부분을 드래그한 후 ' 를 통해 신고해주세요.
최근 본 자료 전체보기
UCI(KEPA) : I410-151-26-02-096393729
