딥페이크 영상 기반 위조 얼굴 판별 시스템 :Deepfake video-based fake face identification system

전성우

학위논문

저자정보: 전성우 (배재대학교, 배재대학교 일반대학원)

이용 215 피인용 0

검색

초록·키워드

최근 생체인식기술이 사용되고 있으면서 사용자의 음성이나 지문을 인식하고 안면인식을 사용한 연구가 진행되고 있다. 이러한 생체인식기술은 성장함으로써 이제는 사용자에 대한 신원확인을 하는 요소가 되거나 스마트 기기 및 가정에서까지 생체인식 기술을 사용하여 서비스하는 방식으로 보안을 유지해오고 있다. 이러한 기술은 개인 식별이 가능한 수단으로 사용되고 있다. 하지만 생체인식기술 중 안면인식 기술에 사용되는 얼굴 데이터는 다양한 방법으로 사용된다. 근래 현대인의 필수품인 스마트폰으로 접할 수 있는 인터넷으로 영상이나 이미지를 사용한 deepfake 영상이 많이 배포되어 쉽게 접근할 수 있다.
deepfake는 Deep Learning 기술과 Fake의 합성어이다. AI(Artificial Intelligence) 기반으로 이미지 합성 기술을 뜻하기도 한다. 이러한 기술을 기반으로 인터넷 매체에서 단순히 재미와 유머를 목적으로 사용하여 배포하지만 이를 악용하게 되면 정치 및 사회 영역에서는 가짜 뉴스 등을 퍼트려 혼란을 유발할 수 있으며, 특정 인물들을 콘텐츠로 활용하여 음해하는 용도로도 사용되기도 한다.
네덜란드 디지털 보안연구소의 2019 보고서에 따르면 온라인에 유포된 deepfake 중 96%가 불법 음란 영상물이라고 나타냈으며, 영상의 25%는 한국 여성 아이돌로 나타낸다. 이에 대한 사례로써 유명인 여성을 특정하여 누드로 편집(Deep porn)하거나, A의 얼굴을 B에 활용하여 인권침해 사례도 다수 발생하고 있다. 또 금융사기 등에 유용하게 쓰이며 국가 수준의 사회관계망 서비스(SNS) 왜곡에도 이용되고 있다. 최근 발생한 문제의 영상은 러시아와 전쟁을 겪고 있는 우크라이나의 젤렌스키 대통령을 대상으로 한 deepfake 영상이 공개되었던 적이 있다. 이처럼 Deepfake, Fake face와 같이 AI를 활용하여, 진짜 같은 위조 얼굴 합성 기술은 악의적인 기만행위로 사회적인 혼란을 준다. 이에 deepfake 영상을 판별하는 시스템의 기존의 연구가 증가하고 있지만 deepfake에 사용되는 알고리즘은 각각의 생성자와 판별자를 두어 학습 및 판별하기에 deepfake 영상에 따라 판별 시스템을 설계해야 하는 문제가 존재한다.
이러한 문제를 해결하기 위해 deepfake 영상 기반 위조 얼굴 판별 시스템에 대해 제안한다. GAN과 DCGAN 알고리즘을 사용하여 deepfake 영상을 생성한다. 이에 구현된 영상을 기반으로 통합적인 판별 모델을 설계 및 구현하여 하나의 판별 시스템을 구현한다. 본 논문에서 제안하는 판별 시스템은 각 Deepfake 영상이 입력 데이터로 사용하였을 때 프레임 분리, 이미지 프레임을 추출하여 얼굴인식 기술을 한다. 또한 검출, 조정, 마스크 생성 과정을 실행하여 facial landmark(얼굴 특정 포인트, 특징) 생성하여 결과를 나타낸다.

이는 실물과 점점 가까워지는 deepfake 기술을 번거로움 없이 판별할 수 있을 것이며, 2차 피해를 막을 수 있을 것이라 사료한다.

#AI #GAN #DCGAN #Deepfake #Deep porn #Fake face

국문초록 ⅰ
목 차 ⅵ
그림목차 ⅶ
도표목차 ⅸ
약 어 표 ⅹ
Ⅰ. 서 론 1
1.1 연구 배경 및 목적 1
1.2 연구내용 및 범위 · 2
1.3 논문의 구성 4
Ⅱ. 관련 연구 5
2.1 AI, Artificial Intelligence 5
2.2 AI의 영상처리 · 7
2.3 딥페이크(Deepfake) · 9
2.3.1 Deepfake 기술 활용 · 10
2.3.2 Deepfake 피해 사례 현황 11
2.3.3 Facial Recognition, Facial Coding, Deepfake 비교분석 · 15
2.4 Deepfake 기술을 활용한 얼굴 합성 · 18
2.4.1 GAN(Generative Adversarial Networks) 19
2.4.2 DCGAN, (Deep Convolution Generative Adversarial Networks) 22
2.4.3 Deepfake 관련 연구사례 25
2.5 기존 시스템들의 문제점 33
2.5.1 GAN을 기반한 기존의 시스템 문제점 · 34
2.5.2 DCGAN 기반 기존의 시스템 문제점 35
2.6 제안하는 시스템의 요구사항 분석 36
Ⅲ. Deepfake 영상 판별 시스템 설계 38
3.1 제안하는 시스템의 개요 38
3.2 전체 시스템 설계 40
3.2.1 GAN 기반 Deepfake 시스템 42
3.2.2 DCGAN 기반 Deepfake 시스템 · 48
3.2.3 판별 모델 설계 · 54
3.4 얼굴 데이터 확보 및 추출 56
3.5 데이터베이스 설계 58
Ⅳ. 시스템 구현 · 60
4.1 전체 시스템 구현 환경 · 60
4.1.1 시스템 구현 환경 60
4.1.2 Colab 개발환경 60
4.2 Deepfake 얼굴 합성 영상 구현 63
4.2.1 data set 생성 및 사용 63
4.2.2 GAN 기반 Deepfake 얼굴 합성 영상 구현 · 64
4.2.3 DCGAN 기반 Deepfake 얼굴 합성 영상 구현 67
4.3 얼굴 합성 Deepfake 영상 판별 시스템 구현 69
4.3.1 얼굴 합성 Deepfake 영상 판별과정 69
4.3.2 얼굴 이미지 데이터 생성 및 저장 70
4.3.3 얼굴 이미지 데이터 프레임 추출 및 얼굴인식 · 71
4.3.4 얼굴 이미지 데이터 기반 얼굴 랜드마크 생성 및 특징점 추출 · 72
4.3.5 얼굴 합성 Deepfake 영상 판별 모델 저장 74
4.3.6 얼굴 합성 Deepfake 영상 판별 모델을 이용한 판별 시스템 수행 결과 · 75
4.4 고찰 78
Ⅴ. 결 론 82
참고문헌 · 85
영문초록 · 94
감사의 글(Acknowledgement) 97

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록·키워드

목차

최근 본 자료 전체보기

댓글(0)