무슨 Deepfake 비디오 및 눈 깜짝 할 사이에 그들을 감지 무엇입니까

Deepfake 비디오는 무엇이고 눈 깜박임은 무엇인지 감지합니다.

2018 중간 선거 운동이 가열되면서 새로운 형태의 오보가 온라인 커뮤니티를 통해 전파 될 수 있습니다. '딥 피시 (deepfakes)'라고 기술을 대중화 한 익명의 온라인 계정 - 프로세스가 "심층 학습"이라는 기술적 방법을 사용하기 때문에 이름을 선택했을 수 있습니다. 이러한 가짜 비디오는 매우 사실적으로 보입니다.

지금까지 사람들은 딥 파이크 비디오를 포르노 그리고, 풍자 유명한 사람들이 정상적으로하지 않을 일을하고있는 것처럼 보입니다.

그러나 거의 확실하다. 캠페인 시즌 중에 딥 페이드가 표시됩니다.후보자 묘사 사물을 말하다 또는 실제 후보자가 가지 않는 곳으로 갈 수 있습니다.

버락 오바마, 그렇지?


InnerSelf에서 최신 정보 받기


이러한 기술이 새롭기 때문에 사람들은 실제 비디오와 딥 페이크 비디오의 차이점을 알려주지 못하고 있습니다. 내 작업, 동료 Ming-Ching Chang과 우리 박사와 함께. 학생 Yuezun Li는 다음과 같은 방법을 발견했습니다. 딥 페이크 비디오에서 실제 비디오를 확실하게 전달하십시오.. 기술이 향상 될 것이므로 영구적 인 해결책은 아닙니다. 그러나 이것은 출발점이며 컴퓨터가 사람들로 하여금 허구로부터 진실을 말할 수 있도록 도울 수 있기를 희망합니다.

어쨌든, 'deepfake'는 무엇입니까?

deepfake 비디오를 만드는 것은 언어 간 변환과 비슷합니다. 같은 서비스 구글 번역 기계 학습 사용 - 수만 개의 텍스트에 대한 컴퓨터 분석 여러 언어로 -에서 단어 사용 패턴을 탐지한다. 그들은 번역을 만드는 데 사용합니다.

Deepfake 알고리즘은 같은 방식으로 작동합니다. 심 신경 네트워크 한 사람의 얼굴 움직임을 검사합니다. 그런 다음 그들은 유사한 움직임을 보이는 다른 사람의 얼굴의 이미지를 합성합니다. 이렇게하면 소스 사람이 한 일을하거나 말하는 것처럼 보이는 대상자의 비디오가 효과적으로 생성됩니다.

동영상을 얼마나 깊이 찍었습니다.

그들이 제대로 작동하기 전에 심층 신경 네트워크는 가장이나 가장 대상이되는 사람의 사진과 같은 많은 소스 정보를 필요로합니다. deepfake 알고리즘을 훈련하는 데 사용되는 이미지가 많을수록 디지털 가장이 현실적이됩니다.

깜박임 감지 중

이 새로운 유형의 알고리즘에는 여전히 결함이 있습니다. 그 중 하나는 시뮬레이트 된 얼굴이 깜박 거리는 방식과 관련이 있습니다. 건강한 성인 인간이 깜박입니다. 모든 2 ~ 10 초 사이, 한 번 깜박임 10 분의 1 초에서 4 분의 1 초 사이. 그것이 사람이 말하는 비디오에서 보는 것이 정상입니다. 그러나 많은 딥 페이크 비디오에서는 그런 일이 발생하지 않습니다.

진짜 사람이 말하는 동안 깜박입니다.

시뮬레이션 된 얼굴은 실제 사람이하는 것처럼 깜박 거리지 않습니다.

Deepfake 알고리즘이 사람의 얼굴 이미지에 대해 교육을 받으면 교육 데이터로 사용할 수있는 인터넷에서 사용할 수있는 사진에 의존합니다. 종종 사진을 찍는 사람들을 위해, 눈을 감은 상태로 온라인으로 볼 수있는 이미지는 거의 없습니다. 사람들의 눈은 대부분 열리기 때문에 희귀 한 사진뿐만 아니라 사진 작가는 대개 주체의 눈을 감은 이미지를 게시하지 않습니다.

사람들의 이미지를 트레이닝하지 않으면, 딥 파이어 알고리즘이 정상적으로 깜박 거리는 얼굴을 만들 가능성이 적습니다. 우리가 깜박 거리는 전체 속도를 계산하고 자연적인 범위와 비교할 때, 우리는 딥 페이크 비디오의 캐릭터가 실제 사람들과 비교하여 훨씬 덜 빈번하게 깜박이는 것을 발견했습니다. 우리의 연구는 비디오에서 눈의 여닫기를 검사하십시오..

이것은 우리에게 deepfake 비디오를 감지 할 수있는 영감을줍니다. 그 다음, 우리는 비디오의 사람이 깜박일 때를 감지하는 방법을 개발합니다. 더 구체적으로 말하면, 문제의 비디오의 각 프레임을 스캔하고, 그 안의 얼굴을 탐지 한 다음 자동으로 눈을 찾습니다. 그런 다음 다른 심 신경 네트워크를 사용하여 눈의 모양, 기하학적 특징 및 움직임을 사용하여 감지 된 눈이 열려 있는지 또는 닫혀 있는지를 결정합니다.

우리는 우리의 작업이 deepfake 알고리즘을 훈련시키는 데 사용할 수있는 데이터의 결함을 이용하고 있음을 알고 있습니다. 유사한 결함에 대한 먹이감을 피하기 위해 우리는 열린 눈과 닫힌 눈의 거대한 이미지 라이브러리에 대해 시스템을 훈련 시켰습니다. 이 방법은 효과가있는 것 같아 결과적으로 95 % 이상의 탐지율을 달성했습니다.

물론 이것은 deepfakes를 탐지하는 마지막 단어가 아닙니다. 기술은 빠르게 개선되고있다., 그리고 가짜 비디오를 생성하고 탐지하는 경쟁은 체스 게임과 유사합니다. 특히, 닫힌 눈으로 얼굴 이미지를 포함 시키거나 훈련을 위해 비디오 시퀀스를 사용하여 깜박임을 추가하여 비디오를 deepfake 할 수 있습니다. 대중을 혼란스럽게하려는 사람들은 거짓 비디오를 만드는 것이 더 나아질 것이며, 우리와 기술 공동체의 다른 사람들은 계속해서이를 탐지 할 방법을 찾아야 할 것입니다.대화

저자에 관하여

Siwei Lyu, 컴퓨터 과학 준 교수; 컴퓨터 비전 및 기계 학습 연구소 소장, 알바니 대학교, 뉴욕 주립대 학교

이 기사는 원래에 게시되었습니다. 대화. 읽기 원래 기사.

관련 서적

{amazonWS : searchindex = Books, keywords = Deepfake Videos, maxresults = 3}

enafar에서 zh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

InnerSelf을 (를) 팔로우하세요.

페이스 북-아이콘지저귀다 아이콘rss 아이콘

이메일로 최신 정보 얻기

{emailcloak = 오프}