Навіщо створюються діпфейки і про які алгоритми їхнього виявлення повинні знати медійники? Дата-аналітик Світового Банку, керівник відділу навчання YouControl Михайло Кольцов провів вебінар на цю тему для викладачів журналістики. Це вже другий із серії вебінарів з медіаграмотності для викладачів журналістики, який спільно проводять Український інститут медіа та комунікації і IREX. Публікуємо нотатки основних тез та порад від Михайла Кольцова.
Найскладніше завдання для журналістів — виховувати свою аудиторію. І це не завжди вдається.
Фактчекінг завжди буде повільніший за фейки. Фальшиві новини продовжують свою поширення, розвиток, навіть після спростування.
Що таке діпфейк?
Це термін, який описує аудіо- та відеоматеріали, створені за допомогою штучного інтелекту, точніше, машинного навчання:
- Заміна обличчя (коли обличчя однієї людини замінюється іншою),
- Синхронізація губ (коли рот людини, що говорить, можна налаштувати на доріжку, що відрізняється від оригіналу),
- Клонування голосу — коли голос «копіюється», щоб змусити цей голос говорити
Наприклад, щоразу заходячи на сайт https://thispersondoesnotexist.com, ви можете отримати зображення людини, яка була створена штучним інтелектом.
Для того, щоб зробити діпфейк-відео з вашим обличчям, мені потрібно від 200 до 2000 зображень як вихідний матеріал, який штучний інтелект повинен аналізувати, щоб вчитися. Для журналістів це важливий момент. Він фактично дозволяє з одного боку комунікувати про обережне поводження людей зі своїм зображеннями (для того, щоб на їхній основі не можна було замінити вашу персону), а з іншого боку – ви і самі розумієте, що перебуваєте в зоні ризику. Тепер, для того, щоб не був створений діпфейк, потрібно розуміти, які матеріали ви викладаєте, щоб їх не було використано для заміни вашої особистості.
У 2021 році стало відомо про перший кіберзлочин з використанням діпфейків. Менеджер гонконгського банку отримав дзвінок, в якому голосом керівника йому наказали здійснити трансфер на 35 млн. Фактично, голос керівника був украдений, замінений.
Як виявити діпфейк?
- Якщо це відео, варто звернути увагу, чи кліпають очі і як. Раніше очі не моргали, але в останніх діпфейк-технологіях уже почали, однак моргання може бути нерегулярним.
- Низька якість зображення.
- Дивні стрибки у відео, зміна голосового тону, неякісний звук, розмиті плями, незвичні форми кінцівок, інші надзвичайні невідповідності.
- Недоліки алгоритмів: неприродно симетричне обличчя (машина завжди намагається його зробити ідеальним), невідповідні сережки або скляні оправи, незвичайні форми вух, носа, зубів, колір та тон ділянок шкіри, нерівності в ділянці шиї, волосся, або нез’єднаних пальців, дивне освітлення.
- Масштабуйте відео і подивіться на рухи рота та губ, порівняйте їх із власною поведінкою. Придивіться, як повинен виглядати рот при озвучуванні певних звуків?
Інструменти для роботи з діпфейками
watchframebyframe.com — інструмент для перевірки відео. Можна розглянути відео пофреймово і показати відмінність між двома фреймами, у випадку, якщо там були внесені зміни.
digger-project.com/sharpen-your-senses — проєкт від німецької агенції, яка займається виявленням діпфейків. Тут тренуються ваші здатності побачити щось. Ви шліфуєте, на що потрібно дивитися. Система вас буде тренувати, доки не навчить дивитися саме туди, куди потрібно. Ці завдання можна включати в курс для студентів. Найважливіше на цьому ресурсі — він дозволяє тренувати слух. Найтяжче вловлювати діпфейки голосом, тому важливо, щоб журналісти пройшли мінімальне сенситивне тренування, після якого вони б могли розрізнити фейковий та справжній голос.
detectfakes.media.mit.edu — інструмент, створений Массачусетським інститутом технологій, спрямований на тренування навички розпізнавання діпфейків. Цей ресурс тренує журналістську інтуїцію. Спробуйте прислухатися до тону голосу людей, до пауз між фразами, придивитися до міміки.
http://zinc.cse.buffalo.edu/ubmdfl/deep-o-meter/ — один з небагатьох робочих автоматичних інструментів, які дозволяють виявляти діпфейки. Як не дивно, саме журналісти були першими, хто почав бити на сполох, казати, що ці технології можуть призводити до соціальної напруги.
Зараз Microsoft готує до запуску інструмент для автоматичної перевірки фальшивих відео. Він поки що не доступний для журналістського середовища.
Отож, перш ніж поширювати інформацію — заспокойтесь і запитайте себе: Чи це правда?
Довіряйте своїм відчуттям, придивляйтесь і прислухайтесь
Перевірте, чи наявна ця історія в джерелах, які варті довіри.
Знайдіть іншу версію цього відео та порівняйте. Якщо відео опубліковане якимось фейсбук-акаунтом, створеним два дні тому і про якого немає згадки в жодних медіа, а оригінал цього відео був створений ще 5 років тому і воно сильно відрізняється — ви відразу зрозумієте, що навряд чи перед вами правдиве відео.
Перевіряйте не лише відео, а й текст
Технології, які використовуються для генерування діпфеків у вигляді відео та фото, почали використовувати і для генерування текстів.
Цей текст згенерувала машина ще три роки тому. Ситуація з використання штучного інтелекту і машинного навчання в журналістській роботі стосовно тексту, заміни текстів і заміни журналістів — це набагато небезпечніше за викривлене фото чи відео. Хоча, побачимо.
Guardian ще рік тому почав експериментувати з тим, щоби алгоритми штучного інтелекту почали писати за нього статті. Ми вже більше чуємо новин про те, що агенції замінюють журналістів машинно написаним текстом. Поки що це загрожує лише англомовній журналістиці. Ми бачимо, що Bloomberg 1/3 новин віддав штучному інтелекту, New York Times говорить, що ми перебуваємо на етапі появи робота-репортера (машини, яка за людину пише тексти і новини).
Якщо я скористаюся ось цією програмою, яка здатна генерувати тексти автоматично, напишу англійську фразу, то текст вийде доволі цікавий, виглядатиме правильно. Якщо я введу українську, автоматично він згенерує маячню.
Поки що українського контексту це не стосується, але рано чи пізно ви з цим будете мати справу.
Якими ще корисними інструментами варто користуватися?
http://gltr.io/dist/index.html — машина, здатна оцінювати природність мови. Якщо введений текст буде дуже зеленим — то, швидше за все, він написаний машиною.
https://botometer.osome.iu.edu/ — інструмент, який автоматично визначає ботів у Твіттері, оцінюючи їхню мову.
https://cosmosmagazine.com/technology/ai/fake-science-headline/ — вправа на вгадування, який заголовок написала людина, а який — машина.
Рано чи пізно ця технологія автоматичного написання текстів перейде і в українську журналістику. Можливо, це перспектива 2-3 років, можливо навіть раніше. Чому вони є спокусливими для сучасних редакцій? Тому що машини не роблять одруків.
Основним інструментом журналістики при верифікації діпфейків чи звичайної фальшивої інформації, залишаються інструменти, які журналісти використовували останні роки: комунікація з джерелом, донесення інформації про те, що це неправдива інформація. Сама логіка підходу лишається такою самою, лише дещо видозмінюються інструменти.
Використовуйте ці вправи для своїх студентів, хай вони знають, що існують ці технології, адаптуйте ці чеклисти і хай це буде окремою вправою для них.
Будьте готові до нових понять
- Синтетичні медіа — коли новинний контент і журналістські матеріали створюються у взаємодії між людиною та інструментами ШІ й машинного навчання
- Алгоритмічна журналістика
- Роботизована журналістика
- Роборепортери
- Модульна журналістика — коли машинний алгоритм генерує план, основні пункти, а журналіст доповнює їх.
Це зовсім не означає, що роботи в якомусь моменті замінять журналістів – до цієї перспективи ще далеко. Але в поточній перспективі вони можуть значно полегшити роботу журналіста, особливо, коли йому треба розшифровувати великі фрагменти аудіоматеріалів, підписати відео, додати субтитри. Нам доведеться звикати, що в журналістиці з’являться нові поняття.
Журналіст має бути готовим до того, що технології будуть йому як допомагати, так і виступати проти нього.