Це написав учень чи штучний інтелект: як «спіймати» ChatGPT в домашніх завданнях?

З появою ChatGPT у вчителів виникло логічне запитання: чи не буде він виконувати роботу замість учнів? Тож тепер, окрім перевірки на списування з інтернет-джерел, вчителі ще й намагаються визначити, чи не користувалися діти ШІ. Як розпізнати в учнівських роботах ChatGPT? Як учителю реагувати на його використання? Про це ми розпитали у засновника студії онлайн-освіти EdEra Іллі Філіпова. А також дослідили, як ставляться до проблеми використання штучного інтелекту вчителі зі США.

Важливо навчити дітей працювати з ШІ

У питанні штучного інтелекту варто зрозуміти, що тотальна заборона не спрацює, учні все одно будуть його використовувати. Тому краще замість залякування, змінити деякі підходи до навчання. Перше, що можна зробити — встановити правила використання ШІ для навчання. Це може бути щось схоже на кодекс честі, який вчителі розроблять разом із учнями.

Варто визначити, для яких завдань не можна використовувати штучний інтелект і просити учнів зазначати, яку частину завдання вони виконали з допомогою ШІ. І, звісно, важливо стежити за тим, як діти дотримуються цих правил.

Також потрібно поговорити з учнями про їхню відповідальність. Наприклад, створити щось аналогічне до договору про нерозголошення, який підписують працівники багатьох компаній. Довести його порушення на практиці буває складно, але люди все ж відчувають свою відповідальність. Тож учителі можуть так само попросити учнів підписати кодекс із правилами щодо використання ШІ. Це ймовірно буде психологічний чинник, але він допоможе педагогам та учням вибудувати правомірну стратегію відповідальності за порушення.

Для дотримання академічної доброчесності важливо навчити дітей працювати зі штучним інтелектом. Наприклад, давати домашні завдання, які учням потрібно виконати з ChatGPT. Нехай вони з його допомогою щось досліджують або шукають альтернативні варіанти історії та нові ідеї. А в класі діти можуть обговорити, як вони застосовували ChatGPT, які промпти прописували йому.

Використання штучного інтелекту вивільняє багато часу для творчої роботи, і це варто показати учням. Тобто можна побудувати навчання таким чином, щоб була легальна частина використання ШІ та творча, де він застосовуватись не повинен. Наприклад, якщо діти пишуть твір, можна запропонувати їм використати ChatGPT для пошуку аналогій або прикладів з історії.

Важливо пояснити дітям, що ChatGPT не генерує кінцевий результат. Він допомагає рухатись до нього: пропонує ідеї, структуру. Навіть якщо попросити ШІ згенерувати повністю текст, його все одно доведеться відредагувати та доповнити.

Як розпізнати використання ШІ?

Існують сервіси для розпізнавання штучного інтелекту, але зараз вони працюють некоректно. Я спробував їх протестувати: надсилав тексти, які написав сам, і які згенерував ChatGPT. І ці сервіси не розпізнавали ШІ, вони просто видавали рандомний результат. Деякі мої тексти визначали, як створені ШІ, деякі тексти ChatGPT — як оригінальні. Проте є деякі моменти, за якими можна розпізнати використання ChatGPT в учнівських роботах. Ось так звані червоні прапорці для вчителя:

Грамотність учнів. Добре знаючи своїх учнів, вчителі можуть зрозуміти, яких помилок можуть припускатися діти. Якщо говорити про тексти, ChatGPT генерує їх добре структурованими, у нього чітка логіка оповіді та в цілому хороша грамотність. Тому тут можна просто проаналізувати, чи притаманно це вашому учневі.

Цитування. ChatGPT взагалі не знає твори українських письменників. Якщо дитина попросить його знайти певну цитату, він просто сам згенерує вірш чи інші рядки. Але вони не будуть мати нічого спільного з оригіналом.

Посилання. ChatGPT не надає активних посилань. Якщо попросити його знайти лінки на певні джерела, він може щось згенерувати. Але коли це посилання вставити у пошуковик, то воно може бути або неактивним, або вести зовсім на інше джерело. Так само і з назвами досліджень чи книг. ШІ може надати наявні назви, але вони будуть зовсім не релевантні. Тому вчителі можуть просити учнів надавати список джерел, з якими вони працювали або якими надихались при роботі над своїми завданнями.

Закордонний досвід

У деяких школах та університетах США викладачі використовують ШІ-детектори для боротьби з академічною недоброчесністю учнівства. Проте ці програми впроваджуються ще до того, як вони пройшли широку перевірку. Але технології штучного інтелекту розвиваються так швидко, що будь-який інструмент для перевірки, швидше за все, наразі застарів.

В одній з американських шкіл виникло непорозуміння, коли ШІ-детектор Turnitin визначив оригінальне есе учениці як створене на 50% за допомогою штучного інтелекту. На щастя ця учениця мала гарні стосунки з учителем та змогла його переконати у своїй правоті.

Вчитель вирішив протестувати детектор разом з кількома своїми учнями. Вони написали 16 зразків есе: оригінальних, повністю та частково створених ШІ. У тому числі там була та ж сама робота учениці, яку раніше оцінював детектор. У результаті понад половину есе Turnitin оцінив неправильно. А роботу учениці цього разу позначив на 8% створеною штучним інтелектом. Хоча програма зазначає, що має точність 98%, а випадки помилкового спрацювання повинні становити менше ніж 1%.

Якщо врахувати статистичну можливість помилки програми, навіть 1%, то це може негативно торкнутися великої кількості учнів. І може призвести до безпідставних розслідувань використання ШІ. Це займає час учителів, а вони не повинні бути експертами з використання таких програм та розбиратися у всіх нюансах. Так вважає директор з розвитку ШІ-детектора Turnitin Енні Чечітеллі.

Детектори більш схильні помилятися, коли роботу учня не повністю виконав ШІ, а лише є певні частини. Але якщо діти користуються програмами для перефразування тексту, детектор може взагалі не виявити роботу штучного інтелекту.

Ще одна проблема — стиль написання. Щоб виявити ШІ за допомогою програм, потрібна статистика. Проте експерти зазначають, що статистично ШІ відрізняється від людини тим, що він «стабільно середній». Наприклад, ChatGPT працює таким чином, що підбирає найбільш вдале кожне наступне слово у тексті. Тобто це щось типу вдосконаленого автозаповнення. Тому його тексти звучать досить природно, схоже на середньостатистичне письмо людини.

Деякі роботи учні повинні писати у більш офіційному, «сухому» стилі. Наприклад, звіти з економіки чи математики, лабораторні роботи. А це означає, що їх із більшою ймовірністю можна помилково ідентифікувати як написані ШІ.

Також на уроках іноземної мови школярі можуть використовувати штучний інтелект для перекладу. І тут виникає дилема: чи враховувати вчителям використання ШІ, чи оцінювати лише учнівську роботу?

Звісно, якщо ігнорувати ШІ, учні будуть все частіше недоброчесно його використовувати. Тому важливо підняти цю тему в класі.

Вчителька з Каліфорнії Ребека Делл вирішила розв’язати цю проблему за допомогою відкритих розмов з учнями. Коли згадки про ChatGPT почали поширюватися в медіа, вона присвятила цілий урок, щоб обговорити його з дітьми. Розповіла, у чому він може бути корисним, а для чого не підходить. Тоді згенерувала за допомогою ШІ есе, яке учні мали написати самостійно. І разом з класом проаналізувала цю роботу та всі помилки у ній. Щоб переконати дітей не списувати, треба дати їм зрозуміти, що те, чого вони навчаються, є важливим для них, вважає педагогиня.