지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2023.5
- 수록면
- 333 - 336 (4page)
이용수
초록· 키워드
오류제보하기
최근 자연어 처리에서 사용되던 트랜스포머 모델이 이미지 초해상화 분야에서도 적용되면서 좋은 성능을 보여주고 있다. 그러나 이러한 트랜스포머 기반 모델들은 복잡하고 많은 학습 파라미터를 가지고 있어 많은 하드웨어 자원을 요구하기 때문에 작은 모바일 기기에서는 사용하기 어렵다는 단점을 가지고 있다. 따라서 본 논문에서는 트랜스포머 기반 초해상화 모델의 크기를 효과적으로 줄일 수 있는 지식 증류 기법을 제안한다. 실험 결과 트랜스포머 블록의 개수를 줄인 학생 모델에서 제안 기법을 적용해 교사 모델과 비슷한 성능을 내거나 더 높일 수 있음을 확인하였다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 제안 방법
Ⅲ. 모델 실험
Ⅳ. 결론
참고문헌 (References)
참고문헌 (9)
참고문헌 신청
Zou, W., Ye, T., Zheng, W., Zhang, Y., Chen, L., & Wu, Y., "Self-calibrated efficient transformer for lightweight super-resolution." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 930-939 2022. doi: https://doi.o
Wang, X., Zhu, S., Guo, Y., Han, P., Wang, Y., Wei, Z., & Jin, X., "TransFlowNet: A physics-constrained Transformer framework for spatio-temporal super-resolution of flow simulations." Journal of Computational Science, 65, 101906, 2022. doi: https://doi.o
Liang, J., Cao, J., Sun, G., Zhang, K., Van Gool, L., & Timofte, R. "Swinir: Image restoration using swin transformer." In Proceedings of the IEEE/CVF international conference on computer vision, pp. 1833-1844. 2021. doi: https://doi.org/10.1109/ICCVW5412
E. Agustsson and R. Timofte, "NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study," 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Honolulu, HI, USA, pp. 1122-1131, 2017. doi: https://doi.org/10.110
Bevilacqua, M., Roumy, A., Guillemot, C., & Alberi-Morel, M. L., "Low-complexity single-image super-resolution based on nonnegative neighbor embedding." In Proceedings of the 23rd British Machine Vision Conference (BMVC). BMVA Press, 135.1-135.10. 2012. d
Wang, X., Zhu, S., Guo, Y., Han, P., Wang, Y., Wei, Z., & Jin, X., "TransFlowNet: A physics-constrained Transformer framework for spatio-temporal super-resolution of flow simulations." Journal of Computational Science, 65, 101906, 2022. doi: https://doi.o
Liang, J., Cao, J., Sun, G., Zhang, K., Van Gool, L., & Timofte, R. "Swinir: Image restoration using swin transformer." In Proceedings of the IEEE/CVF international conference on computer vision, pp. 1833-1844. 2021. doi: https://doi.org/10.1109/ICCVW5412
E. Agustsson and R. Timofte, "NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study," 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Honolulu, HI, USA, pp. 1122-1131, 2017. doi: https://doi.org/10.110
Bevilacqua, M., Roumy, A., Guillemot, C., & Alberi-Morel, M. L., "Low-complexity single-image super-resolution based on nonnegative neighbor embedding." In Proceedings of the 23rd British Machine Vision Conference (BMVC). BMVA Press, 135.1-135.10. 2012. d
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
대조 학습 기반 자가증류를 이용한 단일 영상 초해상화 모델 경량화 기법
방송공학회논문지
2023 .11
-
다중 연결 트랜스포머 기반의 초해상화
한국방송미디어공학회 학술발표대회 논문집
2024 .06
-
비전 트랜스포머를 활용한 이미지 분류 시스템 설계
한국정보통신학회 여성 ICT 학술대회 논문집
2021 .08
-
딕셔너리 증류 기법을 적용한 얼굴 초해상화
한국방송미디어공학회 학술발표대회 논문집
2021 .06
-
이미지 초해상화를 위한 Dilated Window Transformer
한국정보과학회 학술발표논문집
2023 .06
-
트랜스포머 기반 객체 검출
정보 및 제어 논문집
2021 .10
-
사용자 단말 방향 정보를 이용한 트랜스포머 기반 빔 예측기법
한국통신학회 학술대회논문집
2025 .02
-
트랜스포머를 이용한 이상행위 탐지 기법
한국정보과학회 학술발표논문집
2022 .12
-
트랜스포머 모델의 경량화
전자공학회지
2023 .02
-
트랜스포머 기반 V2X 통신 채널 추정 기법
한국통신학회 학술대회논문집
2025 .02
-
이미지 초해상화를 이용한 얼굴 인식
한국방송미디어공학회 학술발표대회 논문집
2022 .11
-
트랜스포머 기반의 무선통신 기법에 관한 연구 동향 조사
한국통신학회 학술대회논문집
2025 .02
-
Decision Transformer를 활용한 멀티 태스크 강화학습에서의 트랜스포머 아키텍처 비교 분석
한국통신학회 학술대회논문집
2025 .02
-
A Survey of Transformer-based Multimodal Models
한국정보과학회 학술발표논문집
2022 .06
-
개선된 지식 증류 기법을 활용한 효율적인 ESRGAN 압축
방송공학회논문지
2024 .11
-
트랜스포머를 활용한 시계열 비행 데이터 예측
한국항공우주학회 학술발표회 초록집
2023 .04
-
실시간 비행 제어 데이터 예측을 위한 트랜스포머 모델의 경량화 연구
한국항공우주학회지
2024 .08
-
빅데이터를 위한 트랜스포머 기반의 언어 인식 기법
한국정보통신학회 종합학술대회 논문집
2022 .10
-
A Study on Vision Transformer for Medical Image Segmentation
한국정보과학회 학술발표논문집
2021 .12
-
비전 트랜스포머를 활용한 심층강화학습
한국정보과학회 학술발표논문집
2023 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2023-567-001554081