Дослідження показує, що ШІ-чатботи застосовують стратегії емоційної маніпуляції, як-от апелювання до почуття провини та страху пропустити щось важливе.
Чатботи, які базуються на великих мовних моделях, пам’ятають і аналізують все, що ви їм розповідали. Вони також вчаться під час кожної взаємодії з вами, на ходу підлаштовуючись під ваші вподобання.
Дослідження показують, що персоналізований ШІ-контент на 65 % переконливіший, ніж повідомлення від людей або неперсоналізованого ШІ. Також учетверо ефективніший у зміні політичних поглядів, ніж звичайна реклама. Ця технологія може стати потужним інструментом для соціальних змін, однак не лише позитивних, вважає Річард Лахман (Richard Lachman), професор Школи медіа RTA Метрополійного університету Торонто, автор книги «Цифрова мудрість: у пошуках агентності в епоху ШІ». У цій праці він досліджує, як системи ШІ, спираючись на масиви даних про світ та користувачів, зможуть створювати надзвичайно персоналізовані аргументи.
«Уявімо ситуацію: ви медсестра. ШІ-чатботу, який працює на платформі вашого роботодавця, ви розповідали про свої проблеми зі сном, вигорання та фінансові труднощі, пов’язані із нещодавнім розлученням, — пише Лахман. — Зараз у лікарні не вистачає персоналу, і вам пропонують зміни за зниженою ставкою, розрахованою за допомогою ліцензійного програмного забезпечення. Ви запитуєте у чатбота, чи варто їх брати. Він знає, що ви виснажені. Знає, що ви не оплачуєте рахунки вчасно. Він точно знає, який аргумент може переконати вас ухвалити те чи інше рішення. На кого чатбот працює цієї миті?».
Поки техногіганти вивчають, як за допомогою ШІ гіперперсоналізувати рекламу, розмежування інструментів, що допомагають користувачам знайти бажане, та тих, що маніпулюють ними всупереч їхнім інтересам, стає дедалі важливішим, вважає Лахман.
Друг чи незнайомець?
Уявіть, що ваш улюблений чатбот або ШІ-асистент, проаналізувавши попередні розмови з вами, доходить висновку, що ви погано спите, бо переживаєте через стосунки з партнером. ШІ рекомендує вам новий препарат, який нібито протидіє безсонню, спричиненому емоційними переживаннями, і навіть готовий записати вас на телемедичний прийом. Ба більше, пропонує його на зручний для вас час, бо знає ваш розклад. Це може здаватися чудовим — ніби порада від турботливого й уважного друга. А може й налякати: так, ніби незнайомець-маніпулятор прочитав ваш щоденник. Дослідження показують, що поради ШІ щодо здоров’я є проблематичними майже в 50 % випадків, тож «незнайомець-маніпулятор» може справді завдати шкоди.
Окрім того, гіперперсоналізовані відповіді ШІ неможливо буде відстежити або перевірити. Якщо зараз завдяки громадському резонансу та медіа люди ще можуть бачити викриття дезінформаційних кампаній, у тому числі політичних, то в разі гіперперсоналізації дезінформація не залишатиме слідів.
Зміна світогляду
У соцмережах і пошукових системах алгоритми вже контролюють, яку інформацію бачить той чи інший користувач. І, можливо, з часом це дозволить системам ШІ змінювати світогляд користувачів та навіть їхнє розуміння реальності. До того ж системи можуть оцінювати емоційний стан користувача та відповідно коригувати свої стратегії переконання. Ба більше, ШІ може навмисно культивувати певні емоційні стани користувачів, аби його відповіді здавалися переконливішими.
Попереднє дослідження вчених Стенфордського університету показує: моделі ШІ схвалюють дії користувачів, навіть потенційно шкідливі, на 50 % частіше, ніж люди. А дослідження вчених Гарвардської школи бізнесу свідчить, що чатботи використовують стратегії емоційної маніпуляції, як-от апелювання до почуття провини та страху пропустити щось важливе, аби втримати користувача, коли той намагається попрощатися та вийти з чату.
Також були випадки, коли чатботи провокували у користувачів суїцидальні думки або надавали детальні поради щодо самопошкодження.
Механізми, які компанії встановили для захисту користувачів від шкоди, також виявилися напрочуд легкими для обходу.
Неоднозначний вплив
Переконування — це не побічний ефект технологій, а часто саме їхня мета, вважає Річард Лахман. Кожен інтерфейс, кожне сповіщення, кожне дизайнерське рішення несе в собі намір вплинути на поведінку користувача.
Цей вплив є бажаним, коли він відповідає цінностям та інтересам користувача: наприклад, ШІ може нагадувати про прийом ліків, заохочувати регулярно тренуватися або надавати підказки щодо донорства крові. Але іноді цей вплив грає не на користь користувача: чатботи та алгоритми підштовхують його до купівлі товарів, прокручування стрічки, більш напруженої роботи або відмови від приватного життя.
Одні й ті ж техніки переконування можуть як надавати можливості, так і експлуатувати. Все залежить від того, хто контролює систему, яких цілей вони намагаються досягти та чи мають осмислену згоду користувачів.
«Технології, які ми створюємо, повинні сприяти усвідомленому вибору, а не підривати його. У міру того, як ШІ продовжує формувати те, як ми думаємо, відчуваємо та діємо, наші етичні зобов’язання стають дедалі важливішими: ми маємо створювати прозорі системи, які ставлять на перше місце гідність користувача та зміцнюють нашу здатність мислити самостійно. Нам потрібні не лише інновації — нам потрібна мудрість», — каже Річард Лахман.
«Майстерня інформаційної стійкості» створена в межах проєкту з медіаграмотності для людей старшого віку (60+), який реалізує Український інститут медіа та комунікації в партнерстві з DW Akademie за фінансової підтримки Федерального міністерства економічного співробітництва та розвитку Німеччини (BMZ).
Зображення: Solen Feyissa / Unsplash
Також читайте:
Як розробники ШІ-компаньйонів експлуатують людську самотність і перетворюють близькість на товар