Як “одружити” освіту та оцінку її якості? Складні питання для директорки УЦОЯО

В Україні завершилася основна сесія Національного мультипредметного тесту. Вже четвертий рік вступ до закладів вищої освіти здійснюється саме завдяки складанню НМТ.

✔ Які особливості були у цієї вступної кампанії?

✔ Які попередні результати НМТ-2025 і що очікує абітурієнтів в наступному році?

✔ Чи дійсно тести були нерівнозначними в різні дні?

✔ Чому завдання з англійської не склали носії мови?

✔ Чи може завдання НМТ складати чи перевіряти штучний інтелект?

✔ Коли буде ДПА після 9-класу і чи буде коли-небудь пробне НМТ?

Всі ці і багато інших питань співзасновниця ГО “Смарт освіта” Іванна Коберник та головний редактор медіа НУШ Сергій Горбачов вирішили обговорити із Тетяною Вакуленко, директоркою Українського центру оцінювання якості освіти.

Слухайте розмову на подкасті “Що там із НУШ?”, а ми пропонуємо вам скорочену текстову версію.

ІВАННА КОБЕРНИК: Давай почнемо так, щоб коротко: назви три основні цифри цьогорічної сесії НМТ і скажи, як би ти оцінила за шкалою складності від 1 до 10 завдання тесту, порівнюючи їх з попередніми двома роками?

ТЕТЯНА ВАКУЛЕНКО: Це напевно, 312 000 зареєстрованих вступників; це понад 280 тисяч тих, хто отримав результат; і понад 20 000 тих, хто хотіли проходити оцінювання за кордоном.

Що стосується складності тесту, я би сказала, що за десятибальною шкалою це була би вісімка.

ІВАННА КОБЕРНИК: Тобто на четвірочку по-старому, скажимо так.

СЕРГІЙ ГОРБАЧОВ: А порівняно з чим чи це?

ТЕТЯНА ВАКУЛЕНКО: Напевно десятка — це був найскладніший 2022 рік. Так само я би в десятку оцінила 2020 рік. Ми три роки працювали над сервісом НМТ, в 2022 році він народився і з коліс запускався в роботу, а тепер ми цілком задоволені тим, як працює сама онлайнова платформа.

ІВАННА КОБЕРНИК: Дозволь, я уточню. Оскільки НМТ — це онлайн тестування, то минулого року було багато зауважень, що у когось із вступників зависала програма, були інші технічні збої. Ти хочеш сказати, що цього року такого не було?

ТЕТЯНА ВАКУЛЕНКО: Майже не було. Кількість [зауважень] була мінімальною, враховуючи ту кількість вступників, які пройшли оцінювання. Тож це дуже і дуже хороший результат. Були дні, коли взагалі на 22 тисячі вступників ми не мали жодного нарікання на те, як працює платформа, як завантажуються сторінки, як вони оновлюються, як відображаються тестові завдання, тобто все те, що є основою для онлайнового оцінювання і все те, що визначає фактично рівність вступників.

СЕРГІЙ ГОРБАЧОВ: А от дивіться, є платформа, умовно кажучи, де все це стартує, і є точки доступу — центри тестування. На вашу думку, яке відсоткове відношення значущості роботи серверу і роботи організаторів на місцях?

ТЕТЯНА ВАКУЛЕНКО: Мені складно сказати, але точно обидва елементи є надзвичайно важливими. Ну і привідкрию таємницю, що ми не розгортаємося на локальних серверах, ми обрали дещо інше рішення, яке на цьому етапі забезпечує кращий рівень захисту інформації. І забезпечує кращий рівень роботи цієї платформи.

СЕРГІЙ ГОРБАЧОВ: Чи були у вас скарги на роботу конкретних центрів тестування, і чи має УЦОЯО важелі впливу на місцях на роботу центрів?

ТЕТЯНА ВАКУЛЕНКО: Справа в тім, що таку кількість тестових центрів, які одночасно працюють і працюють багато днів поспіль, а деякі з’являються лише на один день, дійсно надзвичайно складно проконтролювати, забезпечити повноцінну їхню роботу і гарантувати роботу кожного центру. Саме тому в Порядку проведення оцінювання і є величезний розділ про додаткову сесію тестування. І фактично ті учасники, які із нашої провини (а ми вважаємо нашою провиною, якщо з нашої вини ми не змогли забезпечити оцінювання), не змогли проти оцінювання, таким вступникам ми пропонуємо додаткову сесію.

Цього року у нас було декілька таких ситуацій, наприклад, після масованих обстрілів, коли були влучання в електромережі, ми не змогли відновити електропостачання в окремі локації, й учасників перевели. В іншій ситуації ми не мали інтернету так само через те, що вночі фактично зникло живлення на терміналі. Перевозити дітей було нікуди, тому що саме екзаменаційний центр знаходився в такому населеному пункті, до якого ще потрібно доїхати, тому всім цим учасникам ми запропонували додаткову сесію.

Так, я розумію, що це неповною мірою компенсує їхні емоційні втрати. Але вони точно гарантовано отримують результат в межах додаткової сесії.

ІВАННА КОБЕРНИК: Якщо ми говоримо про безпекові виклики, в скількох областях немає можливості проводити НМТ, і що тоді відбувається з випускниками з цих областей?

ТЕТЯНА ВАКУЛЕНКО: Цьогоріч ми не проводимо оцінювання в Автономній республіці Крим, в Донецькій, Луганській і Херсонській областях. Вступники, які проживають на цих територіях і хотіли би пройти тестування, під час реєстрації обирають будь-яку іншу локацію, тобто будь-який інший населений пункт, де вони хотіли би пройти оцінювання, і приїздять туди.

ІВАННА КОБЕРНИК: Давай поговоримо про цьогорічний тест. Один з докорів, який звучав, був про те, що в різні тестові дні була різна кількість завдань минулих років. І відповідно, це було перевагою, якщо діти готувалися і в них був великий відсоток завдань минулих років — їм було легше скласти на високий бал, а якщо таких завдань було менше, відповідно, [скласти тест важче]. Вступники були в нерівних умовах. Чи це правдива інформація?

ТЕТЯНА ВАКУЛЕНКО: Так, фактично у межах всіх предметів ми використовуємо до 20% завдань минулих років. Тобто в тестах з різних предметів це може бути різна кількість. Але в тестах з історії, наприклад, це однакова кількість на всі тестові форми. Питання в тому, що якісь тестові форми могли бути трохи раніше і потрапити в більшу частину збірок з підготовлення чи в онлайнресурси, якісь тестові завдання, можливо, не настільки оприлюднені. Але частка цих завдань, які ми використовували всюди, однакова.

Зауважу, що складність тестової форми для вступника чи для репетитора це суб’єктивна категорія. Так я бачила завдання в певному формулюванні. Воно мені здається простішим, тому що я його раніше розв’язувала, але для нас складність тестових завдань — це об’єктивний показник. Це фактично те, як із завданням впоралися випускники. І ми гарантуємо, що ось ця складність є приблизно однаковою. Тестові завдання минулих років бувають складніші, простіші, і ми їх розставляємо по тестових формах так, щоби вони були ідентичними. Це певна добірка, і якщо тобі потрапив умовно простіший параметр, то це означає, що десь є завдання, які в своїй сукупності будуть складнішими. Тобто добірка працює як цілісність. Не можна аналізувати тестову добірку за одним чи 2 завданнями.

ІВАННА КОБЕРНИК: Ну добре, але коли було ЗНО, там було чітко розділено: ось 30 завдань для всіх і останні 4 завдання були для дуже розумних, щоб вони могли показати свої найкращі результати.

Я правильно розумію, що зараз не так? Що послідовність завдань є різна і, безумовно, це ускладнює для дітей, які, наприклад, не збиралися вступати на профільний напрямок, де потрібна математика, а їм трапляється одним з перших умовний параметр, це забирає у них досить багато часу і це не зовсім справедливо.

ТЕТЯНА ВАКУЛЕНКО: Так не буває, щоби таке завдання потрапило першим.

ІВАННА КОБЕРНИК: Добре, але й не останнім, так же ж буває.

ТЕТЯНА ВАКУЛЕНКО: Так, ми використовуємо частково рандомізацію, але ця рандомізація стосується типу однакових подібних завдань. Не може бути так, щоби якась розгорнута геометрична задача виповзла для учасника першою. Ну а загалом зрозуміло, що як і раніше, вступники з різними навчальними досягненнями виконують різні тестові завдання, і як і раніше, не завжди найскладніше завдання буває останнім або доволі просте завдання — всередині.

Наприклад, із завдань з математики завдання на обрахунок завжди є дуже і дуже простим і воно стоїть в останніх групах, але це двобальне завдання, яке потребує розрахунку. Цей розрахунок дуже простий, і ми спеціально це робимо для того, щоб вступник побачив, що він може навіть із цих двобальних завдань одне виконати правильно і отримати результат.

ІВАННА КОБЕРНИК: Останнє тоді питання до укладачів тестових завдань: всі ці завдання виглядають так, немов би [мета укладача] — підловити. Не перевірити ширину знань чи знання базових речей, а обов’язково з підковиркою, начебто, щоб дитина спеціально спіткнулася. І про це говорять навіть ті, хто добре склав.

ТЕТЯНА ВАКУЛЕНКО: Це точно не про всі тестові завдання, але очевидно, що коли ви пропонуєте доволі коротку тестову форму і вам потрібно розділити найсильніших, середніх і слабких, то у вас має бути якась кількість завдань, в яких немає простої і однозначної відповіді, де потрібно подумати, де закладається когнітивна складність цього тестового завдання.

Але, до речі, дуже часто, наприклад, учасники оцінювання з української мови роблять хибу якраз тому, що шукають складність, якої там немає. До будь-якого тесту потрібно готуватися. Не існує тестів, які можна просто скласти: прийшов, сів і щось склав. І якщо дитина 1, 2, 3, 4 рази спробувала ці завдання подивитися, то вона вже зрозуміє, що запитання, які видаються як капкан, насправді такими не є. Просто потрібно уважно читати умови. Наприклад, якщо в умові написано “не” або “виключення”, то це спеціально виділяється і потрібно це слово відзначати. Якщо ти дуже швидко виконуєш тести, можеш не зважити на це слово і помилитися. І саме тому ми низку добірок оприлюднюємо — для того, щоб учасник побачив свої помилки, зрозумів, що от саме це для нього проблемне завдання. І далі, коли він аналізує вже тестові завдання безпосередньо в пункті, щоби він розумів: так, мені не потрібно поспішати, якщо тут є “не”, значить, я шукаю не все, а те, що не відповідає цьому принципу. Тобто це також про навичку і про те, що було би непогано потренуватися вдома.

СЕРГІЙ ГОРБАЧОВ: Коли я був директором ліцею, ми проводили тести, і у нас кожне завдання одразу мало відразу маркування по кількості балів. Чи можуть наші учасники тестування бачити перелік номерів, де біля кожного стоїть [позначка] 2, 3 чи 5 балів, щоб вони самі могли будувати свою траєкторію, орієнтуючись на найпростіший чи, навпаки, на найскладніші запитання?

ТЕТЯНА ВАКУЛЕНКО: Уже безпосередньо під час проходження оцінювання це не зовсім доречно, тому що свою траєкторію і спосіб проходження тесту потрібно насправді з’ясувати до цього.

СЕРГІЙ ГОРБАЧОВ: Але ж вони не бачать складності завдання.

ТЕТЯНА ВАКУЛЕНКО: Але ми визначили завчасну структуру всіх тестових добірок. Вона, до речі, не змінювалася. З минулого року демонстраційні варіанти відповідають за структурою тим, що є тепер, і з тим, скільки балів нараховується за кожний із типів завдань.

СЕРГІЙ ГОРБАЧОВ: Тут я не погоджуюся. Таким чином ви накладаєте на дитину зобов’язання вивчати структуру і рамку завдань, не розуміючи самі завдання. Насправді дуже проста пропозиція: біля кожного завдання [проставити бал], який можна отримати.

ІВАННА КОБЕРНИК: Особливо враховуючи, що у дитини всього година на виконання завдання. Тож чим погано — сказати його ціну?

ТЕТЯНА ВАКУЛЕНКО: Так, це можна робити, просто потрібно бачити ці добірки тестових завдань, де у нас тепер фактично із ключових усього два типи залишились: це однобальні завдання з вибором однієї правильної відповіді із запропонованих (деякі тести наполовину складаються з таких завдань)). І далі це завдання на відповідність, де фактично кожна пара — це так само один тестовий бал. За великим рахунком, для дитини — це те саме. Я не розумію, яку новацію ми тут даємо.

ІВАННА КОБЕРНИК: У мене є відповідь на питання, для чого це робити. Це тест високих ставок. І для дітей в умовах повномасштабного вторгнення це ще й тест на психологічну стійкість і все, що допоможе їм відчувати себе впевнено, знизити рівень невизначеності і краще себе показати, — все це добре.

І в цьому ж контексті я хочу ще нагадати, що діти зараз позбавлені, наприклад, пробного НМТ, яке мали можливість пройти діти, коли у нас було ЗНО.

Чи обговорюється зараз можливість проведення пробного НМТ?

ТЕТЯНА ВАКУЛЕНКО: Наразі не обговорюється, тому що пробне тестування має проводитися за кошти дітей. І відтак ми маємо гарантувати, що ми проведемо це оцінювання в ті терміни і в той момент, коли фактично воно буде проводитися. Враховуючи те, що ми не знаємо, коли нас будуть обстрілювати, і ми також не можемо залучити для цього державних коштів, бо у нас є бюджетне законодавство, то зараз виглядає так, що це фактично неможливо зорганізувати.

Ну і плюс треба розуміти, що діти знаходяться в дуже різних економічних ситуаціях. І знову ж таки, дитині з Херсону доведеться ще приїхати, якщо б вона хотіла брати участь в пробному НМТ, заплатити свої кошти, а раптом будуть обстріли. І вона не отримає результат, [за який заплатила]. За державний кошт в межах основної сесії ми в такому випадку пропонуєм брати участь в додатковій сесії, а тут — ні.

СЕРГІЙ ГОРБАЧОВ: Але якщо при проведенні пробного НМТ немає питання доброчесності, бо це ж питання особистого вибору (брати чи не брати участь), чому б його не зробити дистанційно на комп’ютерах користувачів?

ТЕТЯНА ВАКУЛЕНКО: Ми так і робимо. Фактично зараз на платформі “Всеукраїнська школа онлайн” ми виклали багато варіантів готових тестів, які використовувалися у НМТ у попередні роки. Будь-яка дитина вдома може взяти таймер і спробувати, бо єдине, чого там немає, — це можливості засікати час.

Відтак дитина сама може організовувати собі такі пробні НМТ в будь-який день. Було б добре, якби вона це робила раз на місяць. Один день, наприклад, виділила для того, щоби зробити пробний тест з усіх 4 предметів. Сама б собі засікла час: дві години працює з математикою, української, визначається зі стратегією по цих предметах, 2 години — по інших предметах.

Вперше це буде просто проба пера, не потрібно очікувати високих результатів. Просто потрібно зрозуміти, з якого завдання мені почати, чи правильно я зробив, як використовувати довідкові матеріали, чи розв’язати все і потім повернутися до задач, де мені потрібна ця інформація, чи варто зробити перерву 20 хвилин і потім повернутися знову.

І це все до питання про те, що матеріали НМТ доступні, абсолютно безоплатні. І щойно у вас є інтернет для того, щоб пройти ці тести, будь ласка, користуйтеся. Навіть більше: немає інтернету — теж не біда. У нас є pdf-файли таких матеріалів. Це допоможе зрозуміти рівень завдань і свою стратегію напрацювати.

Цьогорічні так само ми покладемо туди щонайменше 2 тестових добірки повністю — з усіма правильними відповідями.

ІВАННА КОБЕРНИК: У британській профільні старшій школі 3 предмети діти вивчають протягом року. Ми вже обговорили величезну кількість дуже різнопланових завдань і вимог, які необхідні для успішного складання НМТ. Як діти мають до цього готуватися, якщо взагалі-то у них є ще 20 інших предметів, і ніхто не скасовував програму 11 класу?

ТЕТЯНА ВАКУЛЕНКО: Взагалі-то абсолютна більшість учасників НМТ чесно говорять: ми дуже добре вчилися в школі останні 10 років і за півроку до цього або за рік почали виконувати оці демонстраційні добірки тестових завдань. Цього цілком достатньо для того, щоби зрозуміти формат оцінювання й очікування від організаторів.

ІВАННА КОБЕРНИК: але це нівелює іншу освіту в 11 класі.

СЕРГІЙ ГОРБАЧОВ: Абсолютно! Учні просто просто перестають ходити на уроки друге півріччя 11 класу.

ТЕТЯНА ВАКУЛЕНКО: Зрозуміло, що не всі предмети вивчаються однаково поглиблено і однаково ретельно. Але те, що уроки ідуть і вчителі викладають — це клас, я би сказала, що це дуже правильно, тому що коли ми позбавляємо, наприклад, дитину абсолютно всіх уроків і говоримо — готуйся до НМТ, у неї здатність до довгої та ретельної роботи втрачається. Для того щоб 4 години писати тестування, потрібно, щоби твій мозок був готовий до навантаження.

Але це питання до того, що ми, відповідальні дорослі, дозволяємо, і як ми з цим працюємо, як пояснюємо..

СЕРГІЙ ГОРБАЧОВ: 4 години триває тестування. Чи розглядається можливість поділу НМТ на 2 дні на наступний рік?

ТЕТЯНА ВАКУЛЕНКО: Розглядається і такий варіант, він розглядався і раніше. Ми маємо зрозуміти історію не лише умовно Центральної і Західної України, але й тих областей, де тестування не проводиться. Зокрема, вступники з Донецької, Луганської і Херсонської областей, вступники, які знаходяться поруч із лінією активних бойових дій в тих областях, де ми проводимо оцінювання. Вступники, які перебувають за кордоном, яким потрібно приїжджати до тимчасового екзаменаційного центру.

Для них це буде вже не один приїзд, а щонайменше два, а можливо що й чотири приїзди. І треба вирішувати проблему житла — де ночувати. Тож треба думати.

ІВАННА КОБЕРНИК: Чи обговорюється варіант, щоби оплатити їм цей приїзд? Ми ж розуміємо кількість цих дітей. Ми розуміємо, де вони зареєстровані, де вони обрали місце для складання тесту. і власне, чому державі не підтримати матеріально цих дітей?

ТЕТЯНА ВАКУЛЕНКО: Мені здається, що історія про оплату проїзду — це дуже хороша історія. Але не в країні, яка воює і якій потрібно ще завчасно розрахувати бюджети на такі штуки. Більше того, ми маємо уявляти собі, що, крім того, щоби фактично в якийсь спосіб отримати кошти, щоби це здійснити, ми матимемо ще в якийсь спосіб зібрати підтверджуючі документи, які будуть за цими коштами стояти. І це зовсім не проста історія, хто хоч одну поїздку організовував для 20 людей, розуміє, що це виклик, а на 1000 людей розрахунки будуть зовсім іншими. І процеси будуть зовсім іншими.

ІВАННА КОБЕРНИК: Добре, але в 2014 році був такий випадок, коли не було бюджетних коштів на ЗНО, і міністерство звернулося до великого бізнесу. Тоді фактично проведення ЗНО було повністю оплачено великим бізнесом. Зараз біда куди більша, ніж була в 2014 році. Чому держава не звернеться до українського бізнесу з тим, щоби отримати допомогу на таку справу?

ТЕТЯНА ВАКУЛЕНКО: Немає не тільки грошей — немає способів оплачувати. Ось приклад. Дитина приїхала з Луганської області, пройшла оцінювання. Ми маємо їй ще оплачувати, наприклад, проживання впродовж якогось періоду. За який період? Хто буде брати відповідальність за проживання цієї дитини в іншому населеному пункті? Хто організує безпечне перебування цієї дитини?

ІВАННА КОБЕРНИК: Безумовно, ніхто не каже, що все це — прості речі. Ми зараз не говоримо про те, як додати тортик до хорошого обіду. Ми говоримо про комплекс проблемних питань і шукаємо шляхи [як їх вирішити].

Бо НМТ — це не просто тест твоїх досягнень за попереднє навчання, а ще й тест витривалості і стійкості, і цей тест взагалі-то на це не був розрахований.

ТЕТЯНА ВАКУЛЕНКО: Але треба розуміти, що найближчим часом здобуття вищої освіти в Україні так само не буде простим. Треба усвідомлювати, що потрібно буде дуже багато працювати самостійно, перериватися на повітряні тривоги, надолужувати щось, працювати вдома після завершення навчального дня, тому що зранку була тривога і жодної пари, і весь той матеріал, який ви мали вивчити, ви матимете вивчати самостійно.

ІВАННА КОБЕРНИК: Ти знаєш, які коментарі в цю секунду пишуть наші глядачі? Пишуть, що “ви виштовхуєте дітей за кордон, створюючи додаткові складнощі”.

ТЕТЯНА ВАКУЛЕНКО: Я би сказала, що виштовхують дітей за кордон ті люди, які говорять, що це абсолютно неможливо писати такий тест, що ніхто на ньому не отримає найкращих результатів і що це тільки якісь генії найбільшого порядку на це здатні.

Ми маємо реальну статистику — і минулорічну, і цьогорічну. Є дуже високі результати, наприклад, вступників зі Східної України, якщо порівнювати їх з результатами з умовно безпечних регіонів.

І от що би я говорила вступникам, так це те, що, дійсно, НМТ — це виклик, але це цілком посильний виклик, якщо ти вчив предмет. І якщо у тебе був час для самостійного опрацювання, наприклад, з демонстраційними варіантами, якщо ти раз на місяць себе до цього готував, то нічого захмарного там немає.

І до речі, часто говорять, що на четвертому предметі втрачається фокусування та здатність до такого миттєвої діяльності. Але ми бачимо, що результати з четвертих предметів подекуди навіть краще, тому що ми вибираємо предмети не випадковим способом. Так, це залежить від того, куди я вступаю, який предмет найкраще знаю. Наприклад, результати з англійської мови є доволі високі, попри те, що це і четвертий предмет. І це предмет, який вимагає високої концентрації, тому що там є тексти на читання, і там є доволі великі фрагменти текстів, які для того, щоби добре опрацювати, потрібно уважно вчитуватися у кожне слово.

ІВАННА КОБЕРНИК: Я дуже хочу зупинитися на тестах з англійської мови, але, якщо можна, ще трошки даних про ось ці результати східних і західних областей. Ти можеш конкретніше назвати?

ТЕТЯНА ВАКУЛЕНКО: Зараз маємо результати тільки 13 сесії. Тобто маємо оперативну статистику. До прикладу, якщо взяти 5 більш небезпечних регіонів, де ми проводили НМТ, і порівняти з трьома західними регіонами (Закарпатська, Волинська, Рівненська), то ми побачимо, що ці результати — порівнювані, [близькі]. Це говорить про сильну мотивацію і здатність дітей опановувати предмети попри такий величезний стрес, постійні обстріли.

СЕРГІЙ ГОРБАЧОВ: А якщо говорити про конкретні цифри?

ТЕТЯНА ВАКУЛЕНКО: Я ж кажу: частки тих, хто отримує 160 балів плюс, наприклад, з математики й історії України, — вони однаковісінькі в цих порівнюваних регіонах.

ІВАННА КОБЕРНИК: У мене кілька питань про англійську мову. Раніше, коли було ЗНО, можна було принести сертифікат TOEFL отримати бал…

ТЕТЯНА ВАКУЛЕНКО: Ні, неможна було. Автоматичне зарахування було можливе для результатів державної підсумкової атестації. Вступний бал не зараховувався автоматично, тому що там інші шкали. Питання не у наявності сертифіката, а в тому, що є декілька таких міжнародно визнаних агенцій, які проводять оцінювання з іноземних мов. І вони видають результати у різних шкалах. У них там є більше говоріння й слухання, чого в нас немає. І питання в тому, як акуратно перевести наші таблиці і їхні таблиці так, щоби і вступник не втратив, але й вступні результати були.

СЕРГІЙ ГОРБАЧОВ: А давайте обговоримо історію про двох експертів з англійської…

ІВАННА КОБЕРНИК: Та, нагадаю, про що йдеться. Одна з репетиторок попросила своїх знайомих іноземців — носіїв мови скласти тест з англійської,, і вони показали не дуже високий результат. Чи це є підтвердженням того, що тест з англійської занадто складний?

ТЕТЯНА ВАКУЛЕНКО: Для мене це прекрасний приклад, який я наводитиму, коли проводитиму заняття з критичного мислення і критичного читання, тому що в цьому експерименті є декілька речей, на які варто було би звернути увагу. Перше — це час, за який потенційні учасники виконували ці завдання. Їм була поставлена мета виконати завдання не більш як за 20 хвилин. Тестування розраховане на годину. Я розумію, що людина, яка оволоділа мовою досконало, як носій мови, що вона швидше читає, ніж, наприклад, український підліток, але вона не читає моментально.

Друге — це вибірка. Ми навіть не знаємо, чи існують ці люди.

А третє — ми проаналізували ці завдання. Так от, абсолютно всі завдання, в яких наші колеги помилилися (а це був реальний тест), наші українські підлітки виконали все правильно.

Я навіть розумію, чому колеги помилялися із завданнями до читання. Тому що читання, наприклад, тексту на п’ятсот слів все ж таки потребує концентрації. По діагоналі пройти це неможливо. Але вони помилялися навіть в завданнях розділу use of language — використання мови, зробили просто елементарні граматичні помилки. Це про що?

Цей тест використаний був минулого року, про нього є вся статистика, вона є в звіті.

Він був складений більшістю вступників. Якщо не помиляюсь, більше 20% підлітків саме цю тестову форму виконали з максимальним результатом, а це серед більше ніж 1000 учасників.

ІВАННА КОБЕРНИК: Ми поставили частину питань від тих, які кажуть, що НМТ запросте. Але є і частина людей, які кажуть, що НМТ примітивне і не дозволяє насправді виявити здатність випускників чи абітурієнтів до повноцінного навчання у вищій освіті, що треба робити його складнішим. Зокрема зауважують, що немає розгорнутих питань, немає складних завдань з доведенням. І якщо казати про англійську мову — що немає слухання, говоріння, яке в інших тестах, і яке безумовно, дуже важливо для знання мови.

Давай почнемо з англійської: онлайн формат дозволяє додати щонайменше слухання. Чому це не робиться?

ТЕТЯНА ВАКУЛЕНКО: Слухання — дозволяє, і ми на платформі маємо змогу додавати файл для слухання, наприклад, щоби в аудиторії вмикали якісь фрагмент, потім його переслуховували. Але тут виникають питання, пов’язані із безпековими загрозами. Якщо ми прослухали пів текста і повітряна тривога, ми переслуховуємо все чи не переслуховуємо? Ми повертаємося з укриття, і що ми робимо?

Уявімо собі що, ми прослухали, всі почали відповідати, але недовідповідали.

ІВАННА КОБЕРНИК: Читання теж переривається.

ТЕТЯНА ВАКУЛЕНКО: Читання — це самостійна діяльність учасника, а слухання — колективне. Для того, щоб забезпечити навушниками всіх учасників, потрібні ресурси. А якщо ми забезпечуємо слухання в тому режимі, в якому воно було, тобто в аудиторії одне джерело, а потім всі записують, то це означає забрати час від іншої частини тесту і ще скоротити щось із того, що вже є. Наприклад, скоротити тексти на читання чи на використання мови.

ІВАННА КОБЕРНИК: Використання граматики можна скоротити, це те, що я називаємо обміном граматичними конструкціями.

ТЕТЯНА ВАКУЛЕНКО: її майже немає. Якщо подивитися на тест, який є зараз, переважна більшість завдань — це саме з читання.

І ще одне питання: якщо за годину ми пропонуємо не таку велику кількість завдань, але видаємо результат, то вага кожного завдання в загальному балі буде ще більшою. Тобто будь-яка помилка, наприклад, у читанні буде ще вагомішою.

Тобто теоретично це можна зробити, але на практиці — дуже багато питань.

Ну і плюс ще питання в центрах за кордоном. Якщо тут ми можемо забезпечити акустичні колонки в тимчасових екзаменаційних центрах, тому що ми працюємо з цими людьми і ми можемо свої приносити, то в 100+ локаціях за кордоном — це ще додаткова історія складності. І якщо ми говоримо, наприклад, про тест у Німеччині, там ми працюємо з величезними університетами, і в нас є тимчасові екзаменаційні центри, де 100 посадкових місць, прекрасні умови, є перегородки. Тобто ми дуже дякуємо партнерам, але знову ж таки аудіювання — це інший формат на 100 людей. Це ж не в гучномовець звук вмикати. Можливо там нам би надали навушники, ми не знаємо, ми не просили, але чи це рівні умови тоді, якщо тут у нас одне джерело звуку, а там всі сидітимуть в навушниках?

Те ж саме із завданнями з відкритою формою відповіді, наприклад, SSI. Теоретично можна пропрацювати, щоб учасники отримали бланк відповіді. Написали відповідь, щоб не вдруковувати її, бо там накладаються інші питання про швидкість набору, якість клавіатури тощо. Ми можемо, наприклад, дати якісь бланки, але питання, якщо ми зібрали ці бланки, запакували їх, а туди в машину прилетіло. Що робити?

ІВАННА КОБЕРНИК: Давайте поговоримо про репетиторів, які влаштовують свято недоброчесності замість НМТ, які пишаються тим, що вони друкують зливи завдань.

Мене з одного боку, це дуже обурює, з іншого боку, розуміючи всі ті складності, з якими стикається УЦОЯО, чи не здається тобі, що єдиний шлях зменшити ось ці зливи і зупинити “нормалізацію списування”, — це все ж таки відкривати завдання?

ТЕТЯНА ВАКУЛЕНКО: По-перше, у нас є вже досвід зовнішньо незалежного оцінювання, коли ми видавали всі зошити, і це жодним чином не знімало того, що в день оцінювання (ми викладали зошити з ключами на наступний день, тому що ще засідали комісія, яка ухвалювала ключі і підтверджувала фактично, що ті відповіді, які були визначені раніше як правильні авторами тестових завдань і добірок, є правильними, і що інших немає), за пів години після завершення ЗНО мали розбори на youtube-каналах з усіма зошитами.

А друге — тестове завдання це дуже дорога історія. Якщо порахувати всі елементи, всі етапи роботи, які проходить завдання від автора до потрапляння на екран учасника, то це цілий процес.

ІВАННА КОБЕРНИК: Ні, ми так людей не переконаємо. Візьміть більше авторів, не ведіть себе як секта, немов би ніхто не може так добре працювати.

ТЕТЯНА ВАКУЛЕНКО: Ми замовляємо постійно завдання в багатьох авторів, але треба усвідомлювати, що написання тестового завдання — це складна історія, як і будь-яка хороша робота. Коли люди кажуть “ я вмію готувати борщ” і “я готую на ресторанному рівні” — то це дві різні історії. Якщо ви можете написати і завтра дати завдання учням, то це зовсім не ті тестові завдання, які ми потребуємо на 20 000 учасників однієї сесії.

СЕРГІЙ ГОРБАЧОВ: Тест НМТ є відносним, тобто він встановлює якусь відносну шкалу, ранжує людей. Якщо у нас певна вибірка учасників, дорослих, які поздають на 200 балів, чи це вплине на результати дітей? Наскільки це зашкодить?

ТЕТЯНА ВАКУЛЕНКО: Коли раніше ми шкалювали результати на основі реальних даних вступників, це була величезна проблема. Якраз ці потенційні руйнівники шкали направду мали внесок у загальне тло, тому що, до прикладу, в оцінюванні з іспанської брали участь до 150 вступників. І якщо потенційно уявити собі,, що на кожного такого вступника прийде один вчитель з іспанської мови, то тоді якраз проблема з цим могли бути. Тепер цих проблем немає. Чому? Тому що таблиці переведення тестових балів у шкалу 100/200 затверджуються завчасно і немає значення, яка є статистика конкретного року.

ІВАННА КОБЕРНИК: Можна я уточню, щоб всі зрозуміли. Раніше було так: 200 балів — це був найкращий результат якогось учасника. Він, можливо, не виконав всі завдання, але він виявився найкращим серед інших, і це було 200 балів. З моменту запровадження НМТ це не так: 200 балів — це всі виконані завдання, немає жодної помилки.

ТЕТЯНА ВАКУЛЕНКО: Правильно. Раніше таблиці переведення тестових балів у шкалу 100/200 будувалися після проведення оцінювання на підставі експертних думок і на основі реальної статистики. Тобто якщо, наприклад, у завданні було 40 тестових балів, але найкращий вступник отримав 38, він отримував 200 балів за свої 38. Тепер це не так. Таблиці затверджуються з 2022 го року завчасно, і ти фактично одразу бачиш на екрані свої тестові бали.

ІВАННА КОБЕРНИК: В мене інша пропозиція щодо покарання цих людей, [які реєструються на НМТ для отримання тестових завдань].

Якщо ви знаєте, що є певна кількість людей, яка складає тест не для вступу, а для якихось інших своїх цілей, то чи можна, наприклад, ухвалити рішення, що люди, які складали три рази і не пішли вступати до вишу, наступного разу складають за гроші?

ТЕТЯНА ВАКУЛЕНКО: Це дуже хороша тема для обговорення. Однозначно ми — Український центр оцінювння якості освіти — не можемо ухвалювати такі рішення.

СЕРГІЙ ГОРБАЧОВ: А пропонувати може?

ТЕТЯНА ВАКУЛЕНКО: Так, це рішення на рівні закону потрібно ухвалювати. Тут точно потрібне рішення Комітету Верховної Ради з питань освіти, науки та інновацій. Боюся, що навіть рішення Верховної Ради для цього потрібно. Але це те, що варто обговорювати.

Знову ж таки, я би не розглядала це як покарання. Це просто спосіб компенсувати ресурси, які держава витрачає на людей, яким цей результат не потрібний.

ІВАННА КОБЕРНИК: У нас залишився один блок питань, точніше повернення до теми, про яку ми почали говорити. Я трохи різко сказала, що не потрібно себе вести як секта, коли потрібно складати тестові завдання. Але якщо раціонально про це поговорити, і вам дійсно складно знайти людей для складання тестових завдань, то чому все ж таки не залучити штучний інтелект?

ТЕТЯНА ВАКУЛЕНКО: Ніхто не використовує тестові завдання, створені ШІ, принаймні, не зізнається в цьому. Подивимося, куди це рухатиметься. Моделі на сьогодні стають досконалішими. Менше говорять неправди менше шукають якоїсь неправдивої інформації. Подивимося. Зараз ми обережно оптимістичні щодо того, що деякі завдання, наприклад, колеги дають штучному інтелекту на перевірку або навпаки, виконати як учасник. Тобто ми потроху починаємо щссь використовувати, але до того, щоби на оцінюванні його використовувати — ще точно зарано.

Зараз ми точно знаємо, з якими авторомами нам варто працювати. Ми рахуємо статистику від кожного автора: скільки прийшло завдань, скільки не отримало позитивних рецензій, скільки завдань пішли на апробацію і мають погану статистику. Ми розуміємо фактично, який автор як пише, що він пише, де він хибить, де не хибить. Зі штучним інтелектом це буде складніше. Ну, подивимося, як це розвиватиметься далі.

СЕРГІЙ ГОРБАЧОВ: Зараз створив тестове завдання на квадратне рівняння для тесту НМТ. Наскільки воно коректне?

ТЕТЯНА ВАКУЛЕНКО: Так, що тут? Ну, це дуже примітивне тестове завдання.

ІВАННА КОБЕРНИК: То ми маємо його показати.

ТЕТЯНА ВАКУЛЕНКО: Це завдання наші експерти відправили б у смітник.

ІВАННА КОБЕРНИК: Але я почула одну позитивну річ, що, можливо, все ж таки можуть з’явитися відкриті завдання, і їх зможе перевіряти штучний інтелект.

ТЕТЯНА ВАКУЛЕНКО: Ми думаємо про те, щоби коли ми повернемося до моделі, більш наближеної до класичного тестування, тобто коли ми повернемося до моделі з відкритими відповідями, щоби принаймні на рівні експерименту, наприклад, третім екзаменатором був би штучний інтелект, щоби знову ж таки натренувати модель. Два екзаменатори — люди, які визначають оцінку, а третій екзаменатор — штучний інтелект, щоб подивитися, наскільки він суголосний є з оцінкою людей.

ІВАННА КОБЕРНИК: Я не можу не поставити питання на перспективу. Ми говоримо в 2025 році. У 2029-му у нас будуть перші випускники 150-ти пілотних шкіл за дванадцятирічною реформою НУШ, які вже мають складати НМТ чи ЗНО з компетентнісними завданнями. Чи працює вже над цим Центр оцінювання якості освіти? Коли ви покажете ці компетентнісні завдання вчителям, бо у нас на сайті і у фейсбуці Нова українська школа вони багато про це пишуть. Кажуть, що вони не зможуть працювати зі старшокласниками, поки не побачать, якими будуть компетентнісні завдання?

ТЕТЯНА ВАКУЛЕНКО: Так, ми працюємо над цим, і це взагалі про оновлення системи оцінювання у відповідності до концепції Нової української школи. Ми зайшли насправді з 4 класу і рухаємося далі, тому що випускові класи — це щось поки далеке, але в нас уже є випускники початкової ланки НУШ. У нас будуть випускники базової ланки НУШ, і безперечно, система оцінювання має відповідати системі навчання. Тому ми зараз пропілотували матеріали для ДПА 4 класу. І так, там завдання дуже цікаві. В тому числі там є, наприклад, самостійне мовлення. Там є такі нові формати завдань як математичне дослідження, тобто є певна умова, ситуація, у якій дитині потрібно розв’язати декілька задачок, але спершу зрозуміти, що взагалі там математика потрібна. Ну, наприклад, побудувати притулок для тварин.

Далі має бути розроблена система оцінювання для державної підсумкової атестації для дев’ятикласників, і це має бути вже ширша низка предметних галузей.

ІВАННА КОБЕРНИК: А коли ви це покажете?

ТЕТЯНА ВАКУЛЕНКО: Завдання для 4 класу ми думаємо, що в цьому році вже покажемо. У нас було вже понад 4000 дітей, які проходили ці завдання.

На наступний рік ми хочемо пропілотувати певні інструменти для дев’ятого класу з мовної, літературної та математичної галузі. Через рік ми би тоді подивилися, що показувати.

ІВАННА КОБЕРНИК: Наступний навчальний, тобто 2025-2026-й?

ІВАННА КОБЕРНИК: І в 2027-му тоді би показали?

ТЕТЯНА ВАКУЛЕНКО: Так. І на 12 клас поки знову ж таки, не зовсім зрозуміло, що таке профільна школа в широкому сенсі, тобто це універсальні умовні профілі, чи це направду поглиблене вивчення? Яка частка предметів, на якому рівні навчання? Тобто нам потрібно зрозуміти, як працює ця профільна ланка, і тоді ми будемо розробляти ці завдання. Зараз ще до цього не підступалися, чесно скажу. Але ми сподіваємося, що цей досвід, напрацьований колегами, які працюють 4 — 9 класами, ляже в основу нового оцінювання.

Ну і зрозуміло, що там будуть питання посутні до системи вступу, системи відбору на основі цих даних. Тому що якщо я, наприклад, навчалася в профільному ліцеї академічного спрямування, математичного, я маю за логікою речей складати оцей поглиблений рівень з математики. Чи це означає, що для мене закрита, наприклад, журналістика?

ІВАННА КОБЕРНИК: Це питання до умов вступу.

ТЕТЯНА ВАКУЛЕНКО: Так, це питання до умов вступу, до функціонування взагалі профільної ланки, тобто якою вона буде.

Я розумію ті речі, які колеги проговорюють, анонсуючи профільну школу. Вони дуже цікаві, але поки що ця рамка настільки широка, і ми бачимо приклади інших країн, в яких подібні рамки є, але дуже по-різному реалізована система вступу. Це як картини. Ви можете малювати пейзаж. Але пейзаж від соцреалістів чи від імпресіоністів — це зовсім різні пейзажі. І попри те, що у вас є рамка “пейзаж”, ви не знаєте, що там буде всередині.

ІВАННА КОБЕРНИК: Тобто ми маємо побачити програму, підручники, тоді ми і побачимо, які будуть завдання.

ТЕТЯНА ВАКУЛЕНКО: Деталізоване бачення того, що є навчальним планом дитини, як він реалізується. Тобто це не тільки про зміст, але й про структуру і способи навчання. Безперечно, це все пов’язано з оцінюванням.

СЕРГІЙ ГОРБАЧОВ: Пов’язане до профільної школи питання: ЗНО після дев’ятого класу: на якому етапі зараз це питання? Чи може воно взагалі статися?

ТЕТЯНА ВАКУЛЕНКО: Воно має статися обов’язково, і це буде державна підсумкова атестація для здобувачів базової освіти. Ми фактично з наступного року будемо прицільніше над цим працювати. Питання відбору — це питання наявності конкурсу і правил доступу до старшої профільної ланки.

Я вбачаю значення державної підсумкової атестації в отриманні хорошого зворотного зв’язку між учнем чи ученицею і закладом освіти.

Державна підсумкова атестація не використовується ні для чого, окрім як для моніторингу. Але що таке моніторинг? Ми хочемо залучити для нього інструменти штучного інтелекту, щоб на основі наших даних і інформації про тестові завдання ДПА учень чи учениця отримували звіт — людською мовою написаний, де сказано буде, що ти молодець, ти добре зробив ось це і ось те, а за цим треба попрацювати. Щоби не стало так, що випускник з подивом дізнався, що він не знає таблички множення. І якщо це проблема є, щоб ми про це дізналися з батьками ще в четвертому класі, а не в дев’ятому.

ІВАННА КОБЕРНИК: Нам потрібний позитивний фінал. Обмалюй будь ласка за одну хвилину найпрекрасніший сценарій зовнішнього незалежного оцінювання в Україні. Яким би воно мало бути?

ТЕТЯНА ВАКУЛЕНКО: По-перше, я думаю, що яким би ідеальним не був НМТ, усе одно буде велика частка незадоволених. Тому що не існує сценарія, в якому будуть враховані абсолютно всі інтереси.

Мені здається, що якщо існуватиме система оцінювань на етапі 4-го, 9-го та 12 класів, ми чесно проводитимемо ці оцінювання, отримуватимемо результати, й діти і вчителі отримуватимуть хороші звіти, і ми одразу розумітимемо проблему і не будемо тягти її до випуску, то це дасть змогу менше стресувати перед випусковими тестами в 12 класі.

ІВАННА КОБЕРНИК: Отже, система освіти нашої мрії — це є просто освіта, яка сама собою готує до оцінювання і не потребує натаскування для проходження тестів.

ТЕТЯНА ВАКУЛЕНКО: Я б сказала, що так — оцінювання є частиною освіти. Як сказав Андреас Шляхер, ми часто оцінювання розлучаємо з освітою. Він використовує слово англійською divorce, тобто розлучення, розділяємо освіту і оцінювання, як чоловік і дружина, які не змогли знайти спільної мови, а насправді це сім’я і вони мають жити разом.

ІВАННА КОБЕРНИК: Мені подобається ця фінальна точка. Це Тетяна Вакуленко, директорка Українського центру оцінювання якості освіти. Ми говорили про НМТ і перспективи оцінювання в системі освіти.

Повний відеозапис розмови дивіться на YouTube-каналі “Нова українська школа”.