02/21/2008 | Василь Петрів

Маємо не те, що маємо, а те, що зробили.

Ми досі нічого не робили в галузі розробки технологій об’єктивного оцінювання знань, кожен навчальний заклад оцінював тільки своїх учнів, студентів чи абітурієнтів і робив це, як вмів і як хотів. Принципові педагоги не знижували планку вимог, тому їх результати були низькими. Менш принципові завищували оцінки, щоб задобрити учнів і начальство. Все більше ставало таких, які за свою доброту сподівалися, або й вимагати винагороди. Освіта наблизилась до хаосу в галузі оцінювання якості, заговорили про корупцію. З цього погляду діяльність Українського центру оцінювання якості освіти (УЦОЯО) є першим, а тому найважливішим кроком, бо він задає напрям зміни всієї системи оцінювання знань. Саме тому актуальним є аналіз зробленого, а не декларацій про наміри чи моральних якостей екзаменаторів.
Проблема об’єктивного оцінювання не нова, дослідження методів вимірювання рівня знань давно стало окремою галуззю педагогічної науки, в більшості країн світу успішно функціонують державні і приватні установи, для яких оцінювання – основний вид діяльності. Навчальні заклади стали споживачами і контролерами якості цих специфічних послуг, але важко уявити, що американські чи європейські університети можна примусити зарахувати оцінки, якщо вони не переконані у їх точності. Знадобилися десятиліття важкої і відповідальної роботи, щоб виробити методи оцінювання та на практиці довести освітянам і науковцям точність виставлених оцінок, завоювати довіру. Установа, яка хоче займатися оцінюванням на замовлення окремих навчальних закладів чи уряду, має за результатами проведених нею іспитів з цифрами в руках довести, що вміє робити це точніше, дешевше та швидше, ніж інші.
Нам знову не вистачає часу на науковий аналіз якості, бо треба боротися проти корупції, за рівний доступ і справедливість. Ми ніби забули, що будь-які спроби встановити цю справедливість за допомогою спеціальних органів з надзвичайними повноваженнями завжди приводять спочатку до диктатури цих органів, а пізніше їх самих роз'їдає корупція. Знову пішли "своїм шляхом" і прийняли політичне рішення про створення єдиної екзаменуючої установи, доручивши їй одночасно виробляти методику оцінювання, проводити його та контролювати якість власної роботи. Оцінки УЦОЯО оголосили точними і об’єктивними ще до їх отримання.
Зважаючи на активність вчителів і викладачів фізики в обговоренні проблем тестування, почнемо з аналізу результатів тестування з цього предмету 2007 року.

Результати такі погані, що їх приховують.
Хто вчив фізику, мав би пам’ятати, що перед початком вимірювання перевіряють, чи прилад показує нуль, коли на його вхід нічого не поступає. Уявімо, що учень Х абсолютно нічого не знає з фізики і прийшов на тестування. Він навіть не читає завдання, а навмання ставить хрестики у бланку відповідей, наприклад, у першій клітинці кожного питання. Тепер візьмемо правильні відповіді та порахуємо, скільки вартують такі "нульові знання". Х вгадав відповіді на 6 питань, тобто набрав 6 тестових балів. Згідно з опублікованою шкалою переведення за такий результат йому видали б сертифікат з оцінкою 5 у 12-бальній системі та 136 за шкалою від 100 до 200 балів. Дивно, що такий рівень перевищує встановлений умовами прийому до вищих навчальних закладів мінімум.
Половина юних фізиків, які зголосилися складати цей предмет, отримали 10 і менше тестових балів з 60 можливих. Вгадані бали звалені в одну купу з результатами слабшої половини учнів і десь всередині цієї купи проведена "червона риска", за якою залишились ті, хто не пройшов за конкурсом. При теперішній конкурсній ситуації на спеціальності, де потрібно складати фізику, Х з "нульовими знаннями" має шанси потрапити навіть на бюджетне навчання. Нероби захоплено сприймають таке тестування і звинувачують у здирництві вчителів, які вимагають на 5 балів хоча б якихось знань. Що робитимуть викладачі вищої школи з відібраним таким способом контингентом?
Учні не хочуть вчити фізику, але не це є предметом нашого розгляду. Ми намагаємося проаналізувати, чи достовірно працює система оцінювання тих учнів, яких ми маємо, а не тих, про яких мріємо.
У кожному підручнику тестології наголошується, що для отримання достовірних результатів тестові завдання треба перевірити на репрезентативній вибірці майбутніх учасників тестування. Аналогічний варіант тесту треба було запропонувати для учнів з різних типів шкіл, різного соціального походження, різних областей, різної успішності. Для правильно складеного тесту найбільша кількість учасників тестування повинна набрати приблизно половину від максимальної кількості балів. УЦОЯО, звичайно, бачить низьку якість тестів, але замість їх вдосконалення йде шляхом приховування результатів різними способами.
Перший спосіб – оцінки виставляють лише за дивною шкалою від 100 до 200 балів. За тест фізики максимально можна отримати 60 тестових балів. В сертифікаті виставляють за чистий бланк оцінку 100, за один правильний хрестик – вже 107, за чотири тестові бали – 125, за десять – 149. У перерахованому вигляді середній бал завжди рівний 150, незалежно ні від рівня знань учнів, ні від складності тесту. Працівники вищої школи без опублікованої аж 8-го жовтня схеми переведення мали сліпо довіряти сертифікатам.
Вчителі також не знають реальних балів, зате можуть порівняти оцінки сертифікатів з річними, зіставити результати різних учнів. Для уникнення цього придумали спосіб, який за висловом директора УЦОЯО пана Лікарчука, можна назвати "педагогічним дикунством". Цим терміном пан професор називає спроби вчителів довідатися результати своїх учнів без їхньої згоди. Рівень знань учня відомий вчителям та однокласникам краще, ніж будь-кому іншому. Засекречування оцінок веде лише до безвідповідальності учнів та екзаменаторів. "Адже невідомо, як горе-педагоги скористаються такою інформацією", – каже пан Лікарчук і має рацію, бо на основі такої інформації вчителі можуть засумніватися в достовірності тестування, а випускникові, який через тиждень піде в доросле життя, не хочуть і не зможуть нашкодити.

Порівняння технології тестування з вступними іспитами у ВНЗ.
Майже такі самі висновки можна зробити про результати з математики, біології, хімії. Тестові завдання надто складні, а при нинішній поінформованості про результати назвати тестування прозорим дуже важко. Недаремно 21 січня цього року (через багато років експериментів!) на засіданні "круглого столу" у Комітеті з питань науки і освіти Верховної Ради України відмічалося, що "серед інших проблем першочергового вирішення потребують: організація якісного наукового супроводу розробки тестових завдань, розроблення методології складання тестів, проведення моніторингу результатів оцінювання". Дуже слушно, але все це треба було зробити до законодавчого впровадження зовнішнього оцінювання.
Розробка якісних тестів і прозорої технології знову відкладається на майбутнє, а зараз основні зусилля спрямовують на боротьбу з корупцією. Чи дійсно технологія зовнішнього оцінювання захищена суб’єктивних факторів? Спробуємо відповісти на це питання, проаналізувавши окремо кожен з чинників, які найчастіше згадують у розмовах про корупцію на вступних іспитах.
1. Завдання вступних іспитів надто складні для більшості школярів. Без "допомоги" екзаменаторів їх не подолати.
На жаль, як ми мали змогу переконатися на прикладах, завдання зовнішнього оцінювання також мають цей недолік.
2. Тільки викладачі ВНЗ знають зміст завдань вступних іспитів. Тому вони не вчать всього матеріалу з предмету, а проводять "репетицію" іспиту за попередньо складеними завданнями. Чим ближчий викладач до розробників завдань – тим кращий він репетитор.
ВНЗ публікують збірники завдань, деякі навіть всю базу, розміщують їх у мережі Інтернет. До тестування залишилося три місяці, але жодного прикладу тестів з правознавства досі ніде не опубліковано. Але ж ці завдання в УЦОЯО також хтось готує. Очевидна різниця між можливістю отримати хоча б несекретну частину бази тестових завдань за півроку до іспиту і можливістю познайомитися з єдиним опублікованим варіантом, якого гарантовано не буде на іспиті, за місяць до тестування.
Окремо слід сказати про пробне тестування. Якщо провести його за аналогічними по складності завданнями, то УЦОЯО зможе тим самим провести апробацію, а учні – перевірити свої знання. Але ж тоді учнів будуть оцінювати двічі, чого центр допустити не може зі страху отримати різні оцінки. Ось і пропонують проводити пробне тестування або за давно відомими минулорічними варіантами, або за варіантами з іншою кількістю завдань.
3. Працівники екзаменаційних комісій ВНЗ повідомляють "своїм" абітурієнтам відповіді на конкретні варіанти завдань безпосередньо перед іспитом.
Щоб уникнути подібних звинувачень, ВНЗ друкують велику кількість варіантів безпосередньо перед іспитом, а абітурієнти випадковим чином вибирають собі один з них. На цьому етапі УЦОЯО сам себе загнав у глухий кут сумнівним твердженням про неможливість створення кількох рівноцінних варіантів тесту, розробляє єдиний для всіх варіант, який ціною неймовірних зусиль і коштів намагається втримати в секреті. За технологією УЦОЯО завдання єдиного варіанту мають бути підготовлені, відредаговані, апробовані, рецензовані експертами, перекладені мовами національних меншин, знову відредаговані, надруковані в сотнях тисяч примірників та доставлені у всі куточки України. Ця робота вимагає багато часу, є ціла група людей, яка має відповіді єдиного варіанту задовго до тестування. Ситуація складна ще й тому, що викладачі можуть "допомогти" поступити тільки у свій ВНЗ, а втаємничені працівники УЦОЯО – у будь-який.
4. Екзаменатори підказують "своїм" абітурієнтам на іспиті або заповнюють за них бланки відповідей.
Насправді майже у всіх ВНЗ екзаменаторів для кожної аудиторії вибирають жеребкуванням безпосередньо перед іспитом. УЦОЯО теж випадково вибирає екзаменаторів, але робить це значно раніше.
5. Під час перевірки робіт екзаменаційні комісії спотворюють результати.
В цьому напрямку за останні роки зроблений величезний крок до прозорості, багато ВНЗ запровадили системи перевірки, які дозволяють повідомити результати вже за 2-3 години, окремі з них навіть проводять перевірку негайно в аудиторії в присутності абітурієнтів. Залишається загадкою, чому технологія УЦОЯО, який витратив величезні кошти на обладнання для сканування бланків відповідей, вимагає аж 40 днів на опрацювання результатів.
6. Оцінки вступних іспитів як завгодно відрізнялися від шкільних. Обурення викликають факти занижених оцінок, а справжня проблема полягає в тому, що студентами часто ставали слабкі учні.
Дуже шкода, що УЦОЯО пішов тим же шляхом, дозволивши учням тримати в секреті оцінки сертифікатів. Досі не можу зрозуміти фрази з інтерв’ю директора УЦОЯО: "Знаю, що багато учасників тестування свої сертифікати в школах так і не показали, хоч здали їх до вищих навчальних закладів і стали студентами". Якщо власники вказаних сертифікатів стали студентами, то оцінка була хороша. Які обставини могли змусити учня погодитись скласти зайвий випускний іспит, а не зарахувати оцінку сертифікату?
Висновок, на жаль, невтішний: технологія УЦОЯО захищена від суб’єктивного впливу ще менше, ніж вступні іспити у ВНЗ. Довести конкретні факти порушень неможливо, але це не можна зробити і у жодному конкретному ВНЗ. Єдина різниця – все зосереджено в одних руках.

Можливі наслідки впровадження монопольного тестування.
По-перше, непродумане впровадження тестування ще більше знизить повагу до вчителя. Адже еталоном оголошують оцінки, точність яких сумнівна, а розбіжності в оцінках безпідставно списують на недобросовісність вчителів.
По-друге, на першій же сесії виявляться студенти з "нульовими знаннями". Ніхто не виділить ні часу, ні фінансування на вивчення прогаяного в школі. Відрахувати – здійметься галас, що дитина успішно пройшла тестування, а вузівські корупціонери знову беруться за своє. Жодної технічної дисципліни без надійної підготовки з математики і фізики навчити неможливо. Є ризик, що така ситуація залишить викладачам єдиний вихід – закрити очі і поставити за "нульові знання" трійки, а це приведе до імітації вже вищої освіти.
По-третє, учні рано чи пізно зрозуміють, що однакові результати мають відверті нероби і слабкі учні, які сумлінною працею намагалися засвоїти хоч би основи премудростей шкільної науки. Зрозуміють і перестануть вчитися, розраховуючи щось вгадати на тестах.
По-четверте, оцінки з абсолютної більшості шкільних предметів ніде не враховуються. А де нема контролю, там совість спить. Попробуйте навчити фізики, хімії, географії та інших "непотрібних" предметів, якщо учень бажає бути юристом. Учні вже зараз відверто ігнорують їх вивчення, що веде до розбалансованості середньої освіти. Молоді люди повинні отримати у школі базові знання зі всіх галузей науки, це потрібно не тільки декларувати, але й контролювати.
І останнє, але дуже важливе. Кажуть, що незалежне оцінювання припинить "ганебний вузівський бізнес" у вигляді репетиторів та підготовчих курсів. У репетиторів та на курсах учні за додаткову платню вчаться додатково, понад шкільну програму. Натомість сотні закладів нового типу збільшують кількість занять з профілюючих предметів за рахунок шкільної програми. Чи має шанси випускник сільської школи, якому вчителька історії переказала в дев'ятому класі зміст підручника з основ правознавства, конкурувати з учнем правничого ліцею, де цей предмет читали викладачі юридичного факультету сусіднього університету двічі на тиждень протягом кількох років? Фактично платні фізико-математичні, правничі, гуманітарні, економічні та інші націлені на вивчення конкретних предметів ліцеї і гімназії створюються масово, способи зарахування і відрахування ніхто не контролює. Методи, з якими так інтенсивно почали боротися, перекочують до школи і з новою силою постануть на етапі зарахування бакалаврів на подальше навчання.

Перевірка – запорука об’єктивності.
Ми заставляємо дітей доводити теореми, проводити досліди з фізики, хімії, біології зовсім не тому, що цього ще ніхто не зробив. Ми вчимо їх, що в науковому світі істинним вважається лише такий результат, який можуть перевірити інші люди. Сотні красивих на перший погляд теорій не витримали такої перевірки і були відкинуті. Так само поступаємо і в повсякденному житті. Навіть на базарі запорукою правильного зважування є наявність контрольної ваги. Саме право на повторну перевірку заставляє чесно проводити будь-яке вимірювання, тому споживачі надзвичайно рідко користуються цим правом.
І школи, і вищі навчальні заклади розуміють необхідність створення установи, яка проводитиме оцінювання за єдиними для всіх вимогами і однаковою процедурою. Але, особливо на етапі становлення центру оцінювання, освітяни повинні не лише мати повну інформацію про результати, але й можливість проведення власних іспитів, можливість порівняння. Такий підхід дозволив би приймати результати свідомо, а не з примусу.
Прикро, але ми йдемо шляхом засекречування результатів від шкільних "горе-педагогів" і заборони перевірки результатів оцінювання вузівськими "корупціонерами", навіть не усвідомлюючи, що такий підхід позбавляє сенсу організацію, яка "справедливо" допускає дітей від перших до других.