Як будемо визначати результати ЗНО?

  За кілька місяців стартує зовнішнє незалежне оцінювання – 2015. Одним із важливих цьогорічних нововведень в оцінюванні є запровадження європейської практики визначення його результатів, що передбачає встановлення так званого порогового бала «здав/не здав». Насамперед про те, чому виникла необхідність відмовитися від тієї системи, що існувала дотепер.

Як відомо, починаючи із 2006 року, результати зовнішнього незалежного оцінювання визначали з використанням еквіпроцентильного перетворення первинних балів за шкалою 100-200 балів. Оскільки всі учасники зовнішнього оцінювання отримували позитивні результати, то для участі в конкурсі для вступу до вищих навчальних закладів допускалися абітурієнти, які отримали не менше 140 балів із профільних дисциплін і не менше 124 балів з інших предметів.

Коли і кому прийшла в голову ідея визначити 124 бали тим бар’єром, що відмежовував абітурієнтів, котрі начебто успішно склали тест, від тих, хто такий тест начебто не склав ­― таємниця за сімома печатками. У будь-якому випадку, нам не вдалося відшукати автора цієї ідеї. Відомо лише одне: на етапі запровадження зовнішнього незалежного оцінювання необхідно було встановити певний маркер для приймальних комісій, щоб, за словами одного з колишніх очільників Міністерства освіти і науки України, «університети не могли приймати всіх підряд». Немає сумніву в тому, що така мета була досягнута. Більше того, на етапі становлення системи зовнішнього незалежного оцінювання таке рішення, за нашим глибоким переконанням, було правильним. Незважаючи на те, що його не можна назвати професійним.

Однак продовжувати подібну практику далі не можна. Тому, дбаючи про забезпечення більш високого рівня об’єктивності та справедливості зовнішнього незалежного оцінювання, УЦОЯО запропонував запровадити, починаючи з 2015 року, нову технологію визначення його результатів. У її основу покладено традиційне для практики оцінювання визначення порога «здав/не здав». Подібна технологія використовується в більшості країн світу, де практикується проведення зовнішніх іспитів, і передбачає чітке розмежування абітурієнтів на тих, хто має мінімально необхідний обсяг знань і на тих, хто його не має. Необхідно наголосити, що визначення порога «здав/не здав» може здійснюватися за різними методиками і процедурами. Частина таких методик орієнтована на предметні вимоги (що має знати чи вміти кожен абітурієнт). Однак вони не враховують того, яка кількість тих, хто проходив зовнішнє оцінювання, його не склали. А це може бути достатньо велика кількість абітурієнтів (від 10 до 40 відсотків). Інші методики орієнтуються на кількісні (у тому числі й рейтингові) показники, за якими складно визначити обсяг знань, умінь і навичок абітурієнта. Тому УЦОЯО має намір запропонувати визначати поріг «здав/не здав» шляхом використання двох методик ― В. Ангоффа та К. Беука. Перша методика заснована на вимогах до обсягу знань, друга ― на врахуванні найбільш допустимої кількості тих, хто не виконав тест.

Визначення так званого порогового бала за методикою В. Ангоффа полягатиме у встановленні експертами мінімальної кількості (суми) тестових балів, які за виконання тесту може отримати абітурієнт із мінімальним рівнем знань. Загальна кількість експертів із кожного предмета становитиме не менше 100 осіб. Експертні групи створюватимуться при регіональних центрах оцінювання якості освіти на конкурсних засадах шляхом проведення відкритого конкурсу. До складу експертних груп не будуть входити керівники та працівники Українського і регіональних центрів оцінювання якості освіти.

У день проведення тестування, через три години після його початку, експерти отримають сертифікаційну роботу (тест), із якою працюють учасники зовнішнього незалежного оцінювання, та самостійно визначать імовірність виконання кожного її завдання мінімально підготовленим абітурієнтом. Після опрацювання сертифікаційної роботи експерти вказують також відсоток учасників, які, на їхню думку, повинні подолати поріг «здав/не здав».

Результати, визначені експертами, надходитимуть до УЦОЯО. За допомогою програмних засобів визначатиметься усереднений результат порога «здав/не здав» за методом В. Ангоффа.

Однак, як свідчать попередні розрахунки та досвід інших країн, кількість абітурієнтів, які цей поріг не подолають, може буде достатньо високою. Тому ми вирішили не обмежуватися використанням лише методу В. Ангоффа, а продовжити роботу з визначення порогового бала, застосовуючи метод компромісів К. Беука. Як відомо, Кессі Беук в середині 80-х років минулого століття очолював Міністерство освіти Нідердандів і, очевидно, зіткнувшись із проблемою порогового бала, запропонував свою методику, що передбачає його визначення шляхом урахування:

• результатів виконання тесту, які отримані після обробки всіх бланків відповідей;
• порогового бала, отриманого на основі методу Ангоффа;
• відсотка учасників, які, на думку експертів, що працювали з методикою В. Ангоффа, повинні подолати поріг «здав/не здав».

Орієнтовно схема визначення порогового бала за цією методикою може мати такий вигляд:
(Ця схема наведена лише з ілюстративною метою. Не радимо використовувати зазначені в ній дані для визначення порогового бала як для результатів ЗНО минулих років, так і для результатів ЗНО в поточному році. Ці дані будуть зовсім різними для кожного предмета.)
 

У результаті, ми отримуємо інший компромісний пороговий бал, який дає можливість «відсіяти» значно меншу кількість абітурієнтів. Важливо знати, що компромісний пороговий бал може бути визначений більшим або меншим від того, який встановлений за методом В. Ангоффа. Рішення про компромісний пороговий бал також повинні приймати експерти, враховуючи достатньо велику кількість зовнішніх і внутрішніх чинників, зокрема інформацію про політичну, економічну, соціальну ситуацію, стан і перспективи розвитку систем загальної середньої та вищої освіти тощо. Формування персонального складу експертів може взяти на себе або Міністерством освіти і науки України, або фахові громадські організації освітян. Можливі й інші варіанти. Але в жодному разі рішення про компромісний пороговий бал не може прийматися в стінах УЦОЯО.

Такою є позиція Українського центру оцінювання якості освіти. Але маємо зазначити, що вона однозначної підтримки у експертному середовищі ще не має. Одна частина наших колег, вважає, що поріг варто визначати лише користуючись методикою В. Ангоффа, а інша ― застосовуючи методику К. Беука. Тож очевидно, що у цій дискусії буде дуже важливою думка широкої освітянської громадськості. Сподіваємося, що її розгортання на порталі «Освітня політика» допоможе розставити всі крапки над «і».

P.S. Поки триватиме дискусія, регіональні центри оцінювання якості освіти за кілька днів розпочнуть конкурсний відбір бажаючих працювати у експертних комісіях, що будуть визначати пороговий бал за методом В. Ангоффа. До участі у конкурсах запрошуємо всіх бажаючих.

Детальну інформацію про конкурси буде розміщено на сайтах регіональних центрів оцінювання якості освіти.

Ігор Лікарчук, директор Українського центру
оцінювання якості освіти.