Научиха невронна мрежа да разпознава лица, редактирани с Photoshop
Американски изследователи са създали алгоритъм да откриват промяна на лице с един от инструментите на Adobe Photoshop с точност от 93,9%.Освен това благодарение на изчисленията на оптическия поток между оригиналните и редактирани кадри, алгоритъмът може да пресъздаде оригиналната снимка, Статията е публикувана в arHiv.org.
Американски изследователи са създали алгоритъм да откриват промяна на лице с един от инструментите на Adobe Photoshop с точност от 93,9%.Освен това благодарение на изчисленията на оптическия поток между оригиналните и редактирани кадри, алгоритъмът може да пресъздаде оригиналната снимка, Статията е публикувана в arHiv.org.
Развитието на алгоритмите за обработка на изображения доведе до там, че тях почнаха да ги използват и за създаването на много реалистични „фейкови” фотографии. Например, широка известност получиха алгоритми, събирателно наречени deepfakes, по никнейма на разработчика им . В тях той демонстрира клипове, където лицата на хората достатъчно реалистично са заместени с лица на други хора. Подобни технологии предизвикаха широк обществен резонанс , в резултат, на което интернет-платформите забраниха такъв тип съдържание, а изследователите в областта на алгоритмите за работа с изображения се концентрираха на създаване на защита от „фейкове”.
В своята работа изследователи от Калифорнийския университет в Бъркли ( University of California , Burkeley) и компанията Adobe създадоха алгоритъм за определяне на промяна на лица от фотографии с помощта на популярния графичен редактор Adobe Photoshop. Те са се спряли на инструмента Face Aware Liquify, позволяващ да се редактират конкретни части на лицето. Той най-често се използва за промяна на формите на конкретни части на лицето и мимиката.
Алгоритъмът се състои от две основни части: невронна мрежа за разпознаване на редактирани изображения, а също така невронна мрежа за определяне областите, подложени на редакция. За решаване на първата задача разработчиците са използвали конволюционната невронната мрежа (convolutional neural network) ResNet-50 , отначало обучена на популярния масив от данни ImageNet, а след това дообучена на създадения от авторите масив от изображения, състоящ се от почти милион изходни и редактирани изображения. Този масив те са получили автоматично със скрипт в графичния редактор.
Разработчиците са оценили ефективността на определянето на редактираните изображения и са я сравнили с ефективността на човек. Общата точност за определяне на отредактираните с помощта на функцията Face Aware Liquify изображения била 93,9%. Също така авторите оценили точността при определянето на истински и редактирани изображения. В този случай точността на алгоритъма била 99,4%, а точността на поканени доброволци на платформата Amazon Mechanical Turk била 53,5%.
Но може би най-главното в дадената работа е че екипът научил алгоритъма да определя как именно са били редактирани изображенията и даже да възстановява оригиналното изображение. Затова те използвали конвулюционната невронна мрежа DRN-C-26 , която също била обучена на масива ImageNet, а след това дообучена на нов масив за изпълнение на новата задача. Него изследователите съставили от оригинални изображения и редактирани, за които бил пресметнат оптическия поток, отразяващ движението на фрагментите на изображенията между двата кадъра. В резултат на това невронната мрежа се научила да определя оптическия поток без изходно изображение и така да показва областите, подложени на редакция.

Sheng-Yu Wang et al. / arXiv.org, 2019
Освен това екипът се опитал да използва алгоритъма за възстановяване на началното изображение. За това алгоритъмът използвал пресметнатия оптически поток, провеждал обратно редактиране на определените области и минимизирал оптическият поток. Авторите са демонстрирали възможността за използване на този подход, но отбелязват, че възстановените от алгоритъма изображения не съвпадат напълно с оригинала.