온톨로지 지식 기반 특성치를 활용한 Bidirectional LSTM-CRF 모델의 시퀀스 태깅 성능 향상에 관한 연구

진승희; 장희원; 김우주

추천

검색

질문

자료유형: 학술저널

저자정보: 진승희 (연세대학교) 장희원 (연세대학교) 김우주 (연세대학교)

저널정보: 한국지능정보시스템학회 지능정보연구 지능정보연구 제24권 제1호

발행연도: 2018.3

수록면: 253 - 267 (15page)

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

이 논문의 연구 히스토리 (2)

2018

온톨로지 지식 기반 특성치를 활용한 Bidirectional LSTM-CRF 모델의 시퀀스 태깅 성능 향상에 관한 연구

진승희 , 장희원 , 김우주 지능정보연구 2018.03 학술저널

온톨로지 지식 기반 특성치를 활용한 Bidirectional LSTM-CRF 모델의 시퀀스 태깅 성능 향상에 관한 연구

진승희 정보산업공학과 2018.01 학위논문

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

본 연구는 질의 응답(QA) 시스템에서 사용하는 개체명 인식(NER)의 성능을 향상시키기 위하여 시퀀스 태깅방법론을 적용한 새로운 방법론을 제안한다. 사용자의 질의를 입력 받아 데이터베이스에 저장된 정답을 추출하기 위해서는 사람의 언어를 컴퓨터가 알아들을 수 있도록 구조화 질의어(SQL)와 같은 데이터베이스의 언어로 전환하는 과정이 필요한데, 개체명 인식은 사용자의 질의에서 데이터베이스에 포함된 클래스나 데이터 명을 식별하는 과정이다. 기존의 데이터베이스에서 질의에 포함된 단어를 검색하여 개체명을 인식하는 방식은 동음이의어와 문장성분 구를 문맥을 고려하여 식별하지 못한다. 다수의 검색 결과가 존재하면 그들 모두를 결과로 반환하기 때문에 질의에 대한 해석이 여러 가지가 나올 수 있고, 계산을 위한 시간복잡도가 커진다. 본 연구에서는 이러한 단점을 극복하기 위해 신경망 기반의 방법론을 사용하여 질의가 가지는 문맥적 의미를 반영함으로써 이러한 문제를 해결하고자 했고 신경망 기반의 방법론의 문제점인 학습되지 않은 단어에 대해서도 문맥을 통해 식별을 하고자 하였다. Sequence Tagging 분야에서 최신 기술인 Bidirectional LSTM-CRF 모델을 도입함으로써 신경망 모델이 가진 단점을 해결하였고, 학습되지 않은 단어에 대해서는 온톨로지 기반 특성치를 활용하여 문맥을 반영한 추론을 사용하였다. 음악 도메인의 온톨로지(Ontology) 지식베이스를 대상으로 실험을 진행하고 그 성능을 평가하였다. 본 연구에서 제안한 방법론인 L-Bidirectional LSTM-CRF의 성능을 정확하게 평가하기 위하여 학습에 포함된 단어들뿐만 아니라 학습에 포함되지 않은 단어들도 포함한 질의를 평가에 사용하였다. 그 결과 L-Bidirectional LSTM-CRF 모형을 재학습 시키지 않아도 학습에 포함되지 않은 단어를 포함한 질의에 대한 개체명 인식이 가능함을 확인하였고, 전체적으로 개체명 인식의 성능이 향상됨을 확인할 수 있었다.

This paper proposes a methodology applying sequence tagging methodology to improve the performance of NER(Named Entity Recognition) used in QA system. In order to retrieve the correct answers stored in the database, it is necessary to switch the user’s query into a language of the database such as SQL(Structured Query Language). Then, the computer can recognize the language of the user. This is the process of identifying the class or data name contained in the database. The method of retrieving the words contained in the query in the existing database and recognizing the object based on the index does not identify the homophone and the word phrases because it does not consider the context of the user’s query. If there are multiple search results, all of them are returned as a result, so there can be many interpretations on the query and the time complexity for the calculation becomes large. In addition, in the existing QA system, chunking has a higher probability of selecting the longest phrase among the sentence component phrases retrieved after obtaining a subset of all cases that can come from the user query. This chunking process has a problem that the algorithm is complicated, but it is not always correct according to the query. To overcome these, this study aims to solve this problem by reflecting the contextual meaning of the query using neural network-based methodology and to identify the problem of the neural network based methodology. Context-sensitive tagging combined with CRF and Bidirectional LSTM can be used to supplement the LSTM-based model, which can limit long-term memory problems, but can be biased toward recent input because of the data nature of word embedding. Therefore, we have solved the disadvantages of the neural network model by introducing the latest technology Bidirectional LSTM-CRF model in Sequence Tagging field. We used reasoning that reflects context by using ontology-based characteristic values for untrained words. In case that untrained words come in, we store the object name recognition tag information obtained from the ontology knowledge base in the Lucene index DB as the ontology knowledge based feature. and In this paper, we propose a neural network model based on ontology knowledge based feature.
Experiments were conducted on the ontology knowledge base of music domain and the performance was evaluated. In order to accurately evaluate the performance of the L-Bidirectional LSTM-CRF proposed in this study, we experimented with converting the words included in the learned query into untrained words in order to test whether the words were included in the database but correctly identified the untrained words. Through experimentation, it was confirmed that tag recognition based on the context of the homophone and chunking is possible. In addition, we could apply the features that match the data type by using the CRF property which can use user defined function as a variable. As a result, it was possible to recognize objects considering the context and can recognize the untrained words without re-training the L-Bidirectional LSTM-CRF model, and it is confirmed that the performance of the object recognition as a whole is improved. Therefore, the proposed L-Bidirectional LSTM-CRF methodology can be applied to the ontology knowledge base of various fields to solve the object name recognition problem. However, the proposed L-Bidirectional LSTM-CRF method performed better than the conventional LSTM-CRF method, but lacked the ability to process homophones compared to the conventional Bidirectional LSTM-CRF. This is due to the fact that the hypothesis of this study inserts a feature that can infer a pattern of unknown words based on the entity name pattern of trained queries. This is because the weight increases linearly with the inclusion in the training data. In future research, it is necessary to experiment with various methods of applying weights so that homophones can be found well while maintaining overall performance.

#시퀀스 태깅 #CRF(Conditional Random Field) #LSTM(Long Short Term Memory) #질의응답 시스템 #온톨로지 #Sequence Tagging #QA System #Ontology

참고문헌 (12)

참고문헌 신청

HUANG, Zhiheng; XU, Wei; YU, Kai. “Bidirectional LSTM-CRF Models for Sequence Tagging.” Named entity recognition with bidirectional LSTM-CNNs. arXiv preprint arXiv:1511.08308, 2015. LAMPLE, Guillaume, et al. “Neural Architectures for Named Entity Recognition.” Neural architectures for named entity recognition. arXiv preprint arXiv:1603.01360, 2016. ZHANG, Xiang; LECUN, Yann. “Text understanding from scratch.” arXiv preprint arXiv:1502.01710, 2015. MIKOLOV, Tomas, et al. “Efficient estimation of word representations in vector space.” arXiv preprint arXiv:1301.3781, 2013. KIM, Yoon, et al. “Character-aware neural language models.” arXiv preprint arXiv:1508.06615, 2015.

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

진승희

소속기관 연세대학교

주요연구분야 공학 > 산업공학

논문수 2 이용수 209

장희원

소속기관 연세대학교

주요연구분야 공학 > 산업공학 복합학 > 학제간연구

논문수 8 이용수 1,805

김우주

소속기관 연세대학교

주요연구분야 공학 > 컴퓨터학 TOP 10% 공학 > 산업공학 TOP 0.5%

논문수 171 이용수 20,620

이 논문과 함께 이용한 논문

창의성 발현을 위한 개인(소비자 맞춤형)제조 프로세스 및 오픈 플랫폼 전략

김경아 한국디자인문화학회지 2018 .03

인공지능 기법을 활용한 빌딩 데이터 분석

이승도 , 최상민 , 이태동 대한설비공학회 학술발표대회논문집 2017 .11

MQTT 프로토콜 기반의 사물인터넷 메이커 키트 구현

권동현 , 임지용 , 허성욱 외 2명 한국정보통신학회논문지 2017 .11

어린이 미술교육용 햅틱 VR 콘텐츠 : "해파이스"를 중심으로

유미 애니메이션연구 2017 .09

Deep Learning: 기계학습의 새로운 트랜드

김인중 한국통신학회지(정보와통신) 2014 .10

최근 본 자료

전체보기

UCI(KEPA) : I410-ECN-0101-2018-003-001898980

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (12)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

이 논문과 함께 이용한 논문

최근 본 자료

댓글(0)