지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제30권 제11호
- 발행연도
- 2024.11
- 수록면
- 594 - 599 (6page)
- DOI
- 10.5626/KTCP.2024.30.11.594
이용수
초록· 키워드
오류제보하기
분자 특성 예측은 부족한 분자 데이터 레이블로 인해 어려움이 있다. 이를 극복하기 위해 자기지도학습을 활용하는데 레이블이 없는 데이터를 활용하여 모델을 사전학습 시킨다. 사전학습 모델은 다운 스트림 작업과 미세조정을 통해 다양한 작업에 적용된다. 그러나 분자 그래프에서 자기지도학습 모델은 몇 가지 이슈가 있다. 첫째 다운스트림 디코더가 표준화되지 않고 미세조정으로 사전학습 파라미터 조정이 되어 모델의 표현 능력을 공정하게 비교하기 어렵다. 둘째 사전학습 작업과 다운스트림 작업 간의 격차로 인해 사전학습 모델이 다운스트림 작업에서 유용한 표현을 생성하고 있는지에 대한 의문이 있다. 셋째 사전학습과 다운스트림의 데이터 셋이 달라 사전학습 모델이 다운스트림 작업에 있어 좋은 표현을 학습하는지에 대한 의문점이 있다. 이에 본 논문에서는 모델 간 공정한 비교 실험과 모델이 표현을 제대로 학습하였는지 확인하는 연구를 진행하였다. 실험 결과, 사전 학습된 모델과 사전 학습을 고정한 모델 간에는 성능 차이가 매우 컸다. 또한, 사전 학습된 모델과 사전 학습하지 않은 모델을 비교했을 때 비슷한 성능을 보였다. 이는 분자 그래프 자기 지도 학습 모델이 다운스트림 작업에 유용한 특징을 추출하지 못하는 것으로 보인다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 실험
4. 실험 결과
5. 결론
References
참고문헌 (8)
참고문헌 신청
Schütt, K., Kindermans, P. J., Sauceda Felix, H. E., Chmiela, S., Tkatchenko, A., & Müller, K. R., “Schnet: A continuous-filter convolutional neural network for modeling quantum interactions,” Advances in Neural Information Processing Systems, Vol. 30, 2017.
Rong, Y., Bian, Y., Xu, T., Xie, W., Wei, Y., Huang, W., & Huang, J., “Self-supervised graph transformer on large-scale molecular data,” Advances in Neural Information Processing Systems, Vol. 33, pp. 12559-12571, 2020.
Wang, Y., Wang, J., Cao, Z., & Barati Farimani, A., “Molecular contrastive learning of representations via graph neural networks,” Nature Machine Intelligence, Vol. 4, No. 3, pp. 279-287, 2022.
Fang, Y., Zhang, Q., Zhang, N., Chen, Z., Zhuang, X., Shao, X., ... & Chen, H., “Knowledge graph-enhanced molecular contrastive learning with functional prompt,” Nature Machine Intelligence, pp. 1-12, 2023.
Zang, X., Zhao, X., & Tang, B., “Hierarchical molecular graph self-supervised learning for property prediction,” Communications Chemistry, Vol. 6, No. 1, 34, 2023.
Rong, Y., Bian, Y., Xu, T., Xie, W., Wei, Y., Huang, W., & Huang, J., “Self-supervised graph transformer on large-scale molecular data,” Advances in Neural Information Processing Systems, Vol. 33, pp. 12559-12571, 2020.
Wang, Y., Wang, J., Cao, Z., & Barati Farimani, A., “Molecular contrastive learning of representations via graph neural networks,” Nature Machine Intelligence, Vol. 4, No. 3, pp. 279-287, 2022.
Fang, Y., Zhang, Q., Zhang, N., Chen, Z., Zhuang, X., Shao, X., ... & Chen, H., “Knowledge graph-enhanced molecular contrastive learning with functional prompt,” Nature Machine Intelligence, pp. 1-12, 2023.
Zang, X., Zhao, X., & Tang, B., “Hierarchical molecular graph self-supervised learning for property prediction,” Communications Chemistry, Vol. 6, No. 1, 34, 2023.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
사전학습 전략과 딥러닝을 활용한 분자의 특성 예측
한국컴퓨터정보학회 학술발표논문집
2022 .07
-
Effective Transfer Learning in Text Classification with the Label-Based Discriminative Feature Learning
Journal of KIISE
2022 .03
-
분자그래프에서 효과적인 표현학습 전략
한국정보과학회 학술발표논문집
2024 .06
-
Post-training을 이용한 한국어 전이학습 모델에서의 성능 향상
한국정보과학회 학술발표논문집
2021 .06
-
표상학습을 위한 언어모델 사전학습 효율성 향상
한국정보과학회 학술발표논문집
2020 .12
-
Calibration of Pre-trained Language Model for the Korean Language
Journal of KIISE
2021 .04
-
대조 학습 기반 사전 학습과 생성 모델의 시너지 탐구
한국통신학회 학술대회논문집
2021 .02
-
자기지도학습기반 그래프 임베딩을 위한 네거티브 샘플링 알고리즘
정보과학회 컴퓨팅의 실제 논문지
2024 .10
-
채널 변화 및 빔 형성 예측을 위한 사전학습 모델 활용
한국통신학회지(정보와통신)
2025 .03
-
그래프 구조 학습 적용을 통한 그래프 신경망의 분자 특성 예측 성능 향상
한국정보과학회 학술발표논문집
2024 .06
-
사전 학습된 대규모 언어 모델을 이용한 주식 예측
한국정보과학회 학술발표논문집
2024 .06
-
딥러닝 사전학습 언어모델 연구 동향
정보과학회지
2021 .04
-
딥러닝 기반의 학습 성취 예측 모델
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
A Survey of Advantages of Self-Supervised Learning Models in Visual Recognition Tasks
Journal of KIISE
2024 .07
-
회색조 영상의 시맨틱 분할을 위한 사전 학습된 딥러닝 모델 확장 기법
한국통신학회논문지
2023 .01
-
크라우드 소싱 연합학습 모델 서비스 설계
한국정보과학회 학술발표논문집
2021 .12
-
Layer-wise Fine-tuning 기반 사전학습 언어모델 통사적 지식 주입 방법론
한국정보통신학회논문지
2023 .12
-
지속 가능한 온디바이스 학습을 위하여 사전 학습된 음성인식 모델 성능 분석
한국통신학회 학술대회논문집
2025 .02
-
Self-Supervised Document Representation Method
한국컴퓨터정보학회논문지
2020 .05
-
되감기 연속학습 방법
대한전자공학회 학술대회
2020 .08
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-091184538