Якщо ШІ-детектор покаже, що роботу студента, найімовірніше, згенерував ШІ, викладач щонайменше відправить того на перездачу. Чи можна на подібні програми покладати таку відповідальність — розбиралася Надія Баловсяк, доцентка Школи журналістики та комунікацій УКУ та IT-дослідниця.
Щойно інструменти ШІ стали доступнішими для мас, в освітньому середовищі занепокоїлись: а чи студенти не доручатимуть інструментам генеративного ШІ, зокрема ChatGPT та його аналогам, виконувати письмові завдання? І що це, як не списування та плагіат? У відповідь на активне використання ChatGPT з’явилися ШІ-детектори — інструменти, схожі на системи перевірки унікальності текстів. Програмне забезпечення для виявлення ШІ стали запроваджувати багато шкіл та університетів, сподіваючись викрити студентів, які використовують ШІ для письмових робіт. Проте чим популярнішими ставали ці продукти, тим більше щодо їхньої надійності виникало питань.
Я неодноразово перевіряла власні роботи в цих сервісах, і вони «наполягали» на тому, що мої тексти були згенеровані чатботами — причому з ймовірністю вище 70–80 %. Особливо часто це траплялося у випадку наукових статей. Ця перевірка переконала мене, що ШІ-детектори радше створюють більше проблем із академічною доброчесністю, аніж виявляють «сліди» неетичного використання ШІ.
Фундаментальні недоліки детекторів ШІ
Проблеми з точністю та хибнопозитивні результати
Більшість ШІ-детекторів працює, аналізуючи текст на наявність закономірностей, таких як передбачуваність та варіативність речень, що нібито притаманне письму, згенерованому ШІ. При цьому детектори часто позначають роботу, написану людиною, як створену ШІ (коефіцієнт помилок варіюється від 27 % до 60 %). Це особливо помітно для наукових чи аналітичних текстів, обов’язковими елементами яких є логічність, відсутність емоційно забарвленої лексики та структурована, іноді навіть стандартизована частина з аргументацією. Усе це часто помилково сприймається детекторами як ознака машинного походження.
Хибнонегативні результати теж є проблемою: часто ці інструменти не розрізняють текст, написаний ШІ, тим паче ШІ-моделі постійно удосконалюються.
Окрім того, моделі упереджені щодо не-носіїв англійської мови: мовні конструкції, які використовують іноземні студенти, частіше більш прості, прямолінійні або граматично стандартні, і алгоритми теж помилково вважають це ознакою тексту, згенерованого ШІ.
У 2023-му OpenAI припинила вдосконалювати власний класифікатор ШІ після того, як виявилося, що він правильно ідентифікує лише 26 % тексту, створеного ШІ, і у 9% випадків може приписувати авторство людського тексту ШІ. У компанії це рішення пояснили так: «Чи працюють детектори ШІ? Коротка відповідь — ні. Наш досвід і дослідження показують, що ці інструменти не є достатньо надійними, особливо якщо врахувати, що їхні результати можуть впливати на рішення викладачів, а це своєю чергою може мати серйозні й довготривалі наслідки для студентів».
Наразі уже існують наукові дослідження, які фіксують високий рівень помилок у роботі ШІ-детекторів, а інші довели, що текст, написаний людиною, легко класифікувати як текст, згенерований ШІ, внісши невеликі корективи до нього.
Гонитва ШІ-озброєнь: ШІ-детектори проти ШІ-гуманізаторів
У відповідь на зростання популярності ШІ-детекторів з’явилися ШІ-гуманізатори — інструменти, призначені для «олюднення» тексту, згенерованого ШІ, наприклад, StealthWriter, Humbot, BypassGPT. Вони здебільшого спрощують й перефразовують текст, часом навіть умисне додають помилки — роблять його таким, аби ШІ-детектори не помітили сліду ШІ. Проте така гуманізація підходить не для всіх текстів, до прикладу, наукові статті чи випускні кваліфікаційні роботи, які мусять бути написані в науковому стилі, ШІ-гуманізатори лише погіршують.
Загалом ці інструменти використовують ті самі слабкі місця в алгоритмах ШІ-ідентифікації, що дозволяє студентам легко «обійти систему». Результатом є нескінченний цикл: щойно покращуються детектори, підтягуються і ШІ-гуманізатори. Експерти Центру передового досвіду викладання Канзаського університету переконані: «Програмне забезпечення для розпізнавання ШІ ніколи не встигне за здатністю ШІ уникати виявлення. Покладаючись на це програмне забезпечення, ми хіба що лікуємо симптоми набагато більшої, комплексної проблеми».
Що робити викладачам в часи засилля генеративного ШІ
По-перше, дозволити студентам використовувати ШІ, але бажано створити відповідну політику та озвучити її і в усній, і в письмовій формі, наприклад, у силабусі курсу. Не завадить дати чіткі визначення плагіату і шахрайства у контексті ШІ та навести приклади, що можна робити з ШІ‑інструментами, а чого — ні. Політики використання ШІ краще обговорити на перших заняттях курсу та пояснити, чому важлива академічна доброчесність у світі з ШІ та як можна застосовувати ці інструменти у навчальному курсі.
По-друге, трансформувати завдання відповідно до нинішніх реалій. До прикладу, замість написання есе запропонуйте студентові завдання, поетапне виконання якого можливо продемонструвати — від генерації ідеї й створення плану до поступової реалізації. Якщо дозволено використання ШІ, то елементом готової роботи може бути посилання на діалог із ШІ-інструментом, де студент поетапно виконував роботу. Перевагою такого підходу стане вдосконалення навичок промпт-інжинірингу у студентів.
Залежно від предмету та суті завдань можна запропонувати студенту подискутувати із ШІ-чатботом. Потім нехай студент порівняє різні точки зору — свою та запропоновану ШІ. До роботи він також може додати посилання на взаємодію із ШІ-чатботом, аби викладач зміг оцінити здатність студента формулювати аргументи та захищати свою позицію.
Розширений варіант цього завдання: нехай студент за допомогою ШІ-чатботу розгляне декілька способів виконання завдання. До прикладу, майбутній журналіст може попросити ШІ запропонувати кілька форматів статті про проблеми екології регіону та до кожної створити план та анотацію. Студент повинен буде обрати один із варіантів від ШІ та аргументувати свій вибір.
Сервіси роботи з документами, як-от Google Docs, фіксують хронологію редагування та внесені зміни, тож видно, як студент працює із текстом. Навіть якщо використання ШІ дозволено правилами курсу, викладач може так оцінити процес мислення та динаміку редагування, визначити, наскільки студент покладався на ШІ або наскільки був самостійним при виконанні завдання.
Подеколи доцільно повертатися до письмових робіт в аудиторії (як на папері, так і на комп’ютері без доступу до інтернету), усних відповідей та обговорень проблем. Тоді змінюється не лише формат оцінювання, а й сам принцип завдання, що унеможливлює використання ШІ.
Усі ці підходи сприятимуть прозорості навчального процесу, де студенти чітко розумітимуть очікування викладача. Така визначеність знизить ризик непорозумінь і випадкового порушення академічної доброчесності. Крім того, це зменшить залежність від недосконалих Ші-детекторів і покращить результат навчання. Адже майбутні фахівці працюватимуть у світі, де ШІ є головним помічником. То ж вчити використовувати ці інструменти можна та потрібно уже сьогодні.
Ми відстежуємо ключові тенденції у світі медіа, публікуємо результати останніх медіадосліджень, розповідаємо, як за кордоном медійники, освітяни та науковці взаємодіють з ШІ, реагують на зміни в політичному середовищі й вивчають суспільства. Інтерв’юємо цікавих і незвичних спікерів — від колишнього головного редактора телебачення Сараєва до медіадослідниці з Австралії, проти якої Кремль висунув персональні санкції. Шукаємо незвичні погляди на освіту, медіа, протидію дезінформації та технології. Даємо голос українським викладачам журналістики й поступово формуємо базу журфаків України. Розвиваємо платформу електронного навчання Е-навчання.
ПІДТРИМАЙТЕ JTA — щоб ми могли й надалі створювати контент, який розширює горизонти.
Це можна зробити, переказавши посильну для Вас суму за такими реквізитами:
РЕКВІЗИТИ:
Одержувач платежу: ГРОМАДСЬКА ОРГАНІЗАЦІЯ «УКРАЇНСЬКИЙ ІНСТИТУТ МЕДІА ТА КОМУНІКАЦІЇ»
Код ЄДРПОУ: 42146919
Рахунок: IBAN: UA253003350000000260052372600 (валюта: UAH) в “Райффайзен Банк” (МФО: 300335)
Призначення платежу: Благодійний внесок на статутну діяльність від… (П.І.Б – для фіз.особи, найменування – для юр.особи)