Аби мовна модель виконувала адекватно завдання, потрібно щонайменше вводити її в контекст. Інакше вона знаходитиме маніпуляції навіть в рецепті шарлотки.
Василь Задворний — експерт з цифрової трансформації та впровадження ШІ, засновник AI Supercharger, CEO ГО «Технології прогресу», ексдиректор ДП «Прозорро». Має понад 10 років досвіду в управлінні продуктами, державними цифровими реформами та масштабними ІТ-проєктами.
Учасникам воркшопу «[RE]Inforce: Посилення регіональних медіа в умовах війни» Василь розповів, як працюють мовні моделі, з якими завданнями вони справляються добре та чому у людей поки не стане менше роботи.
Публікуємо основне з цього тренінгу.
Що спільного у мовної моделі та випускника першого курсу?
Людство вперше імплементувало ШІ в 1966-му (йдеться про ELIZA — першу програму, що імітувала людське спілкування — ред.). Не три роки тому. Наприкінці 2022-го просто почали розвиватися так звані мовні моделі, вони ж моделі-трансформери: ChatGPT, Claude, Gemini та інші. З 1966-го ШІ землю не захопив. Думаю, не захопить і зараз. Технології не розвиваються лінійно: не буде щороку виникати щось нове та проривне.
Попередні версії ШІ умовно розпізнавали, де на картинках є світлофор, а де немає. Колись Олексій Орап, засновник українського сервісу YouScan, порівнював ці версії з дитиною: вони добре виконують завдання, на які людині треба секунди, та погано працюють там, де у людини це займає години або хвилини. Відштовхуючись від його ідеї, я пропоную розглядати нинішні великі мовні моделі як завзятого і не дуже розумного випускника першого курсу. Студент дуже ефективно і продуктивно працюватиме, якщо йому прописати детальну інструкцію. Якщо ви йому даватиме простір для творчості, то вона його може завести будь-куди. Можливо, вам пощастить, і вона поведе його в потрібному вам напрямку. Якщо ви студенту щось скажете знайти, а йому це не вдасться, то він вам впевнено розповідатиме, що у нього вся інформація є. От так само діють мовні моделі.
Про рівень їхнього розвитку я якраз нещодавно говорив з одним доволі великим українським ритейлером. У компанії відповіли: «Чудово, у нас є для чатбота завдання: треба проаналізувати всі наші продажі за минулі роки, план наших продажів на наступний рік і сказати, чи це реалістичний план, чи ні». Я кажу: «Добре, а студенту ви справді готові таке завдання довірити, хай навіть з надзвичайно детальною інструкцією?».
Мовні моделі підкупають тим, що працюють 24/7, а їхні послуги обійдуться набагато дешевше, ніж людини-фахівця. Так, це проривна технологія, але часто наше уявлення про неї дещо хибне. У будь-якій роботі, використовуючи інструменти мовних моделей, ми маємо тримати в голові їхнє обмеження. Насправді погана новина полягає в тому, що роботи менше не стане. Вам все одно треба вміти правильно поставити завдання.
Про що треба пам’ятати:
- Модель не створює нічого нового. Вона компілює ті дані, які у неї завантажили.
- Мовні моделі не розуміють текст, а вгадують кожне наступне слово. Просто ланцюжок цих слів, які модель може вгадати, дуже великий (500–700 слів). Якщо ви попросите чатбот продовжити ряд: «червоний, оранжевий, жовтий…» і не додасте нічого іншого, то, найімовірніше, модель подумає про веселку. Будь-яка модель завжди вислизає в мейнстрім.
- Модель може не знати про ваш контекст нічого або мало, якщо ви працюєте з вузькою галуззю. Наприклад, у 2023-му я намагався зробити в чатботі аналіз тендерної документації з Prozorro, він не впорався. Чому? Тому що мова, якою написана тендерна документація, дуже специфічна. Модель про неї мало знає, відповідно погано розбирається. Якщо ви розпитуватимете моделі про якісь специфічні галузі, не даючи багато контексту, вона вам видаватиме галюцинації.
Етичні питання
- Приватність. Все, що ви віддаєте до мовних моделей, публічних доступних сервісів, зберігатиметься у компаніях, яким ті належать. Суперсекретними матеріалами з моделями ділитися не треба. На мою думку, приватність вже вмирає і сильно за неї битися менш ефективно, ніж використовувати ці ресурси. Однак це має бути усвідомлений вибір кожного.
- Упередження. Дані, на яких тренувалися мовні моделі, частково сповнені упереджень, відповідно це може позначатися на відповідях чатботів.
- Достовірність. Коли ми говоримо, як відрізняти правду від брехні за допомогою мовних моделей, чесна відповідь — ніяк. Так, люди можуть давати зворотний зв’язок мовним моделям, ставити, наприклад, лайки або дизлайки, але працює це не дуже добре. У цілому моделі використовувати як джерело знань, в принципі, неможливо. Однак чатботи можна застосовувати для іншого.
Для яких завдань чатботи будуть помічними
За допомогою цих інструментів ви можете швидко ознайомитися із новою цариною знань, але за умови, якщо про неї написано багато якісних матеріалів. Наприклад, про мінімальні запаси нафти та нафтопродуктів є чимало інформації, а от про створення дронів для збиття шахедів — текстів мало, тож мовна модель не спрацює добре. Щоб візуалізувати взаємозв’язки між різними поняттями та сутностями в новій якійсь царині, можна скористатися Mermaid Chart. Приклад промпту: «Працюючи як професійний аналітик та спеціаліст в рідкоземельних металах, опиши мені основні поняття, сутності та об’єкти, які стосуються теми видобутку рідкоземельних металів на території України, та побудуй зв’язок між цими поняттями, сутностями та об’єктами у вигляді діаграми».
Як писати запити
Створюючи завдання для мовної моделі, ви маєте дати відповіді на три групи запитань.
Чому ми щось робимо:
- Вводимо в контекст. Ваше завдання не існує у вакуумі. Наприклад, вам потрібен аналіз резюме: ви повідомляєте моделі, що ваше регіональне медіа має вакансію, на ринку праці брак людей, вам треба підібрати людину з нижчим цінником, але достатньо ефективну.
- Вказуємо цільову аудиторію.
Як ми це робимо:
- Визначаємо роль мовної моделі. Наприклад, «ти працюєш як журналіст / маркетолог / SMM-менеджер».
- Вказуємо тональність. Наприклад, «пиши офіційно на п’ять з десяти / пиши з гумором на п’ять з десяти».
Яким має бути кінцевий результат:
- Додаємо правила, обмеження. Наприклад, кажемо не використовувати англіцизми або закликаємо вживати сленг.
- Описуємо вимоги до вихідного тексту. До речі, врахуйте, що модель навряд чи зможе коректно опрацювати запит на кшталт «напиши текст українською обсягом 200 слів», оскільки вона перекладає ваш запит всередині системи, обробляє його англійською (основний обсяг текстів, на яких модель тренували, написані англійською) і рахує відповідно англійські слова. Можете натомість вказати кількість речень / абзаців.
Якщо ваше завдання складне, не просто текст написати, то мовній моделі треба описати детально алгоритм дій.
Розберімо запит «Напиши короткий допис про особливості роботи нашого органу влади, щоб було цікаво всім».
Що можна поліпшити:
- короткий — це який саме обсяг;
- всі — хто саме;
- цікаво — яка саме реакція потрібна: щоб було стільки-то охоплень, лайків або ж щоб стільки-то людей виконали певну дію, наприклад, заповнили реєстраційну форму;
- допис для якої соцмережі.
Запит «Проаналізуй скарги громадян на роботу МВС України, дай свої висновки» (припустимо, ви додаєте перелік цих скарг).
Що можна поліпшити:
- Уточнити, що саме треба проаналізувати: тематики скарг, в які дати надходили, кількість слів абощо.
- Висновки: які вони мають бути, для чого ви їх використовуватимете.
За моїми спостереженнями, люди починають за допомогою чатботу знаходити «маніпуляції» у коментарях і дописах інших й повідомляти їм про це. Але якщо я попрошу чатбот знайти у рецепті шарлотки маніпуляцію, то він точно її знайде. Як написати промпт, щоб чатбот відслідковував маніпуляції: «Ти експерт з пошуку маніпуляцій, твоє завдання — проаналізувати текст та надати максимально чітку оцінку щодо наявності або відсутності в ньому маніпуляцій. Оцінюй текст, який я тобі надам, за такими параметрами». В іншому чаті я пишу: «Дай мені параметри, за якими можна оцінювати маніпуляцію». Ці параметри відредагую й додаю в попередній чат.
Далі я йому кажу: «Використовуй тільки ці правила, жодного іншого. Для кожного правила простав оцінку відповідності його в тексті від 1 (немає або майже немає) до 5 (точно виражено). Порахуй загальну ситуацію» (повністю промпт можна переглянути за посиланням). І от чатбот мені завжди віддаватиме результат в одному і тому самому шаблоні, очевидно, відпрацьовуючи його.
Хочете отримати ефективний результат? Доведеться писати великі завдання.
Воркшоп організовує ГО «Український інститут медіа та комунікації» у партнерстві із ЮНЕСКО та за підтримки Японії. Проєкт є частиною ширших зусиль ЮНЕСКО щодо підтримки безпеки журналістів і свободи слова в Україні.
Фото: Світлана Шкурай