Донедавна було досить просто розпізнати ботів, які просували шкідливі наративи під дописами в соцмережах. Нерідко працівникам ботоферм давали завдання коментувати пости нерідною мовою, через це у коментарях траплялися граматичні помилки або слова, вжиті у незвичному для них контексті. Системи виявлення могли шукати ці закономірності у використаній мові.
Однак багато що змінилося з появою генеративного ШІ. По-перше, ШІ дозволяє поширювати дезінформацію ще швидше та дешевше (як зазначала дослідниця дезінформації Юлія Дукач, вже «не треба тримати штат людей, достатньо одного навіть непрограміста»). По-друге, системи постійно ШІ вдосконалюються, а їхні коментарі дедалі складніше відрізнити від написаних людиною. Спроби виявляти слід ШІ за надміром довгих тире або окремими словами вже неефективно. Натомість краще зосередитися на тому, чи намагається коментатор відвести розмову від початкової теми в бік питань, що викликають більшу поляризацію думок, вважають Шон Робертс, викладач лінгвістики у Кардіффському університеті, та Катерина Криконюк, почесна наукова співробітниця Школи мов, мистецтв та суспільств Шеффілдського університету.
Пошук знаків
Дослідники проаналізували вручну 1684 коментарі під 50 відео BBC News на YouTube, в яких висвітлювалися політичні події та їхні наслідки для суспільства (для аналізу було відібрано сім найпопулярніших коментарів до кожного відео та до семи відповідей на кожен з цих коментарів). Виявилося, що у 36 % випадків коментарі, які збивали хід дискусії, містили інформацію, яка взагалі не стосується початкового коментаря (цей прийом ще називають «червоним оселедцем»/red herring), а у 65 % — нерелевантні аргументи (висновки, які логічно не випливали з того, що їм передувало). У 20 % коментатори переходили на особистість. Крім того, автори таких коментарів набагато рідше посилалися на попередні коментарі або висловлювали співпереживання.
Як це виглядає на практиці? Наприклад, до відео, де президент України спілкується з британськими високопосадовцями, хтось залишає коментар: «Зеленському, мабуть, цікаво, наскільки часто змінюються міністри закордонних справ у Великій Британії». А тому відповідають: «Звісно! Зеленський обіймає посаду президента лише чотири роки. Можливо, саме тому цей маленький тиран перешкоджає діяльності опозиції».
Питання не в тому, чи є цей другий пункт правдивим або хибним, кажуть дослідники. Автор не відповідає на початковий коментар, а перенаправляє розмову на іншу, більш суперечливу тему. Подібні маніпуляції важко виявити звичайній системі виявлення дезінформації, оскільки вони не пов’язані з конкретними словами чи фразами.
Тож дослідники вирішили за допомогою ШІ створити систему, яка зможе розпізнавати це явище в онлайн-дискусіях.
Автори дали завдання великій мовній моделі згенерувати кілька обґрунтованих і доречних відповідей до кожного справжнього коментаря з вибірки. У випадку з коментарем про кількість міністрів закордонних справ Великої Британії, ШІ пропонував такі відповіді: «Поточна ситуація в цій країні, мабуть, неабияк шокувала» або «Забагато?». Обидві відповіді безпосередньо стосувалися початкової думки.
Потім система мала порівняти опублікований коментар фейкового акаунта із відповідями, які згенерував ШІ за запитом дослідників. Якщо фактичний коментар суттєво відрізнявся від цих відповідей, це могло свідчити про те, що хтось намагався скерувати розмову в іншому напрямку. Отже, замість пошуку підозрілих слів система авторів шукає несподівані зміни в ході дискусії.
Дослідники перевірили цей підхід на наборі даних, позначеному вручну. Система правильно ідентифікувала коментарі, що збивають розмову з курсу, приблизно в 77 % випадків.
«Це далеко не ідеальний результат, але жодна система виявлення не є ідеальною — особливо під час аналізу такого складного явища як людська розмова. Проте наш підхід показав результати приблизно вдвічі кращі, ніж наявні системи, засновані на аналізі тональності на рівні слів. Він також досяг результатів, порівнянних із рівнем згоди між дослідниками-людьми, — кажуть дослідники. — Наш підхід є ефективним, оскільки ШІ навчається розпізнавати, як виглядає типова відповідь у розмові. Коли повідомлення несподівано змінює хід дискусії, система може виявити цю зміну та проаналізувати паттерни, які попередні методи не могли виявити».
Звісно, відхилення від теми не завжди свідчить про злий намір чи дезінформацію, кажуть автори дослідження. За їхніми словами, для людей цілком природно переводити розмову в несподіване русло і це може ставатися з різних причин. Тому дослідники радять розглядати їхню технологію радше як систему раннього попередження, а не як заміну людського судження. Вона може допомогти модераторам платформ виявляти розмови, які потребують особливої уваги, але остаточні рішення про долю цього контенту мають ухвалювати кваліфіковані фахівці.
Дослідники також зауважують, що системи ШІ можуть віддзеркалювати упередження, які містилися в навчальних даних, і досі не здатні зчитувати розмови на тому ж рівні, що й люди. Перед розробниками стоїть виклик, як покращити навички ШІ у відображенні та інтерпретації людських дискусій.
«Майстерня інформаційної стійкості» створена в межах проєкту з медіаграмотності для людей старшого віку (60+), який реалізує Український інститут медіа та комунікації в партнерстві з DW Akademie за фінансової підтримки Федерального міністерства економічного співробітництва та розвитку Німеччини (BMZ).
Головне зображення: Jason Leung / Unsplash