Щоб впровадження нової системи випускних та вступних іспитів було схвалено суспільством і дало очікувані результати, потрібно насамперед вияснити для себе і донести до громади відповіді на такі запитання: 1. З яких причин існуюча система іспитів є непридатною? 2. Що конкретно розуміти під терміном "тестування"? 3. Які гарантії неупередженості у роботі незалежних центрів? 4. Від кого ці центри незалежні, а кому підконтрольні? Без такого аналізу всім нам доведеться просто змиритися з черговою "вказівкою зверху", як зараз вчителі змирилися з тим, що екзаменатор ВНЗ на основі кількох сторінок письмової роботи краще оцінює учня, ніж учитель, який протягом кількох років навчив його.

В розмовах про випускні та вступні іспити знову частіше згадують про хабарі, ніж про рівень завдань та технологію проведення вступних випробувань. Говорять і про хабарників явних, і про прихованих під маскою репетиторів, які знають зміст цьогорічних завдань для конкретного факультету. Ректори вузів дружно заперечують такі закиди, користуючись новинкою цього сезону - словами тестування та комп'ютери, які, як відомо, хабарів не беруть. Але про тести є більше критичних публікацій, ніж педагогічних досліджень, а довіра до комп'ютерів значно похитнулася стараннями комунальних служб та Центральної виборчої комісії, які всі прорахунки та відверті шахрайства у своїй роботі пояснюють помилками комп'ютерів і звалюють на хакерів та віруси. Кожен знає, що комп'ютер - це лише інструмент, який використовують конкретні люди, тому результат залежить не від цього інструменту, а від людей. Одні вузи, які проводять тестування, повідомляють результати негайно в присутності абітурієнтів, інші - за кілька годин, ще інші - за тиждень чи три. Спостерігаючи це, люди далі говорять про корупцію, бо легше прошептати сусіду, що "мою дитину зрізали", ніж визнати, що вона погано вчилася.

Хоч диму без вогню не буває, але більшість розмов про корупцію - це плітки, а плітки виникають там, де бракує інформації. Першоджерелом такої інформації мали би бути Умови прийому до вищих навчальних закладів України, затверджені наказом № 164 від 18 березня цього року. Читаємо перший абзац статті 17. "Кількість, перелік і форма вступних випробувань визначаються правилами прийому до вищого навчального закладу (вступне випробування з української мови обов'язкове)." Логічно припустити, що ВНЗ сам обирає форму проведення вступного випробування: усний або письмовий іспит чи тестування. Але вже у четвертому абзаці цієї ж статті однозначно зафіксовано, що "вступні випробування проводяться у формі тестування", а перед тим у 15 статті вказувалось, що "для осіб, які не вивчали (не атестовані) української мови, приймальна комісія з урахуванням наявності педагогічних і науково-педагогічних кадрів установлює конкурсне вступне випробування з тієї мови, оцінки з якої виставлені в документі про освіту". Спробуйте вирішити, чи є обов'язковим вступне випробування з української мови? Чи можна писати диктант, переказ або твір, чи проводити лише тестування? Можна вийти з ситуації, записавши в правилах прийому, що "вступне тестування з української мови проводиться у формі творчого переказу", як це зробив один поважний ВНЗ. А чому не у формі усної співбесіди?

Тестування не є синонімом до перевірки знань, а означає конкретну форму такої перевірки. У такому важливому нормативному документі мав би бути чітко означений не тільки термін "тестування", а вказані хоча б основні вимоги до його проведення: кількість тестових завдань, схеми оцінювання, відкритість (чи доступні для абітурієнтів всі завдання, чи тільки зразки), коло людей, які мають доступ до закритої бази завдань, та їх відповідальність за розголошення її змісту, процедура проведення вступного випробування, перевірки та оголошення результатів. Нічого цього в Умовах прийому немає, тому кожен ВНЗ проводять це тестування по-своєму, породжуючи плітки.

Не стане зрозуміліше і від читання правил прийому того чи іншого ВНЗ. Звичайно, формальні правила зарахування на основі оцінок там записані більш конкретно. Але питання підготовки завдань, проведення іспиту, оцінювання та оприлюднення результатів або не висвітлені зовсім, або подані в загальних рисах. Ситуацію погіршує ще й той фактор, що всі згадані етапи вступу відбуваються в буквальному розумінні за зачиненими дверима. Залишається лише вірити, що там, в зачиненому для сторонніх корпусі навчального закладу, все відбувається саме так, як розповідав ректор на прес-конференції. Повірити можна, але краще побачити. Я завжди стверджую, що вступні випробування мають бути змаганням абітурієнтів за право навчатися за державний кошт, а не судом над ними. Тому екзаменатори мають вирішувати все публічно, як судді на змаганнях, а не в закритій кімнаті, як у суді.

Ми настільки звикли до існуючої системи проведення іспитів, що навіть не задумуємось про її недоліки, а сперечаємось лише про те, хто чесніше проведе відбір абітурієнтів - школа, яка найкраще знає своїх випускників, кожен ВНЗ для себе, всеукраїнський центр для всіх. Суть від цього не міняється, бо до процесу в усіх випадках буде залучена приблизно однакова кількість людей з однаковою мораллю. Потрібно демократизувати сам процес, зробивши його прозорим і підконтрольним громадськості. Щоб обґрунтувати це, хочу навести порівняння процесу відбору майбутніх абітурієнтів з виборами депутатів. Це не велике перебільшення, бо вступ - це вибори майбутньої еліти нації.

Отже, уявімо собі, що вибори відбуваються так, як зараз вступні випробування. Кандидатів реєструє створена президентом комісія. Бюлетені та інформацію про кандидатів готують секретно, ми зможемо прочитати її безпосередньо в день виборів і тільки в приміщенні дільниці. Голосуємо так, як і зараз, але заходити до приміщення можемо тільки за перепустками у призначений графіком час. Після закінчення голосування у приміщенні дільниці залишаються лише люди, яким голова комісії доручив рахувати голоси. Через два тижні оголосять рейтинговий список кандидатів згідно кількості поданих за них голосів. Оскаржувати результат може лише особисто кандидат протягом доби після оголошення результатів, причому предметом апеляції може бути лише число поданих конкретно за нього голосів. Доступ до всіх бюлетенів та протоколів має лише гарант конституції та особи, яким він довіряє. Для повноти картини зауважте, що законодавчо процедури голосування не встановлені, а кожна комісія проводить їх, користуючись своїми внутрішніми правилами і своїми поняннями про справедливість. Наприклад, кандидату-інваліду автоматично додається тисячу голосів, а за рекомендацію депутата вищого рівня - двісті.

Якщо зараз така авторитарна система проведення іспитів хоч як-небудь обмежується бажанням ВНЗ мати кваліфікований контингент студентів, то створення при відсутності законодавчої бази "всеукраїнської приймальної комісії" може привести до повного авторитаризму. Стає очевидним, що впровадження системи тестування слід починати з розробки нормативного документу, його обговорення та затвердження. Повний текст Положення про тестування випускників шкіл та абітурієнтів буде таким же великим за обсягом, як закон про вибори, але для учня процедура має бути така ж зрозуміла, як голосування для виборця. Не можна в рамках однієї статті обговорити всі аспекти майбутнього положення, але я спробую зупинитися на ключових моментах.

Випускні та вступні іспити проводяться у формі тестування. Правильні відповіді на тестові завдання є однозначними та записуються у формі, придатній для комп'ютерної обробки.

База тестових завдань є єдиною і відкритою. Тестові завдання з кожного предмету у базі поділені на 5 рівнів складності. У формуванні бази тестових завдань можуть приймати участь фахівці всіх ланок освіти. Координація цієї роботи покладена на редакційну предметну комісію. База з кожного предмету містить не менше п'яти тисяч завдань і доступна по мережі Інтернет. В період з 1 квітня до 31 серпня кожного року будь-які поповнення бази завдань заборонені.

Варіант тесту - це набір 20-60 тестових завдань. Кількість завдань кожного рівня складності у всіх варіантах є однаковою. Варіанти тесту випадково генерують на основі бази завдань програмою з відкритим кодом. Всі варіанти мають бути різними, кількість варіантів кратна 30 і не менша 90. Генерація і роздрук варіантів тесту починається за N/30 годин до початку тестування, де N - кількість варіантів, які планується надрукувати. Надруковані варіанти запаковуються по 30 у однакові конверти, на яких вказана назва предмета. Будь-які додаткові написи чи позначки на конвертах заборонені. Перелік номерів варіантів у кожному конверті документуєть під час пакування.

В одному приміщенні проходять тестування не більше 30 осіб. В приміщенні присутні два екзаменатори. Екзаменатори не можуть бути фахівцями з предмету тестування і визначають приміщення, де вони чергуватимуть, шляхом жеребкування. За 15 хвилин до початку тестування екзаменатори випадково вибирають один з конвертів з варіантами тесту для кожного приміщення.

Тестування відбувається за звичними правилами. Кожен екзаменований випадково вибирає один з варіантів. Після закінчення часу, відведеного на виконання тестових завдань, екзаменатори в присутності екзаменованих запаковують виконані роботи в окремий конверт і доставляють до приміщення для перевірки. Результати мають бути оголошені не пізніше, як через N/300 годин після закінчення тестування, де N - кількість робіт.

Слідкувати за всіма етапами проведення тестування мають право спостерігачі - дієздатні громадяни України, які зареєструвалиця в організації, яка проводить тестування, не пізніше, як за два дні до початку тестування. Під час реєстрації спостерігачів знайомлять з їхніми правами та попереджують про відповідальність за перевищення повноважень. Спостерігачі мають право: - на етапі підготовки слідкувати за дотриманням положення під час генерації, друкування і пакування варіантів тесту; - на етапі проведення бути присутнім під час жеребкування екзаменаторів, вибору конвертів екзаменаторами, розпакування та роздачі варіантів в аудиторії, слідкувати за дотримання правил тестування, контролювати вчасне збирання і запаковування виконаних тестів; - супроводжувати екзаменаторів до приміщення для перевірки; - на етапі перевірки вибірково перевірити результати 5 осіб. Кількість спостерігачів не може перевищувати 5 на етапі підготовки, 2 у кожному приміщенні на етапі проведення та 20 на етапі перевірки. Приміщення для тестування спстерігачі вибирають шляхом жеребкування. Жеребкуванням визначаються також "зайві" спостерігачі у випадку надто великої кількості бажаючих.

Кожний екзаменований має право проходити тестування кілька разів з одного предмету. Один раз за рахунок бюджету, решту - на платній основі.

Може щось суттєве і пропущено, суть повинна бути зрозуміла. Пропонована система придатна для проведення об'єктивної оцінки випускників школи на базі тестових завдань 1-4 рівнів. За отриманими оцінками можна проводити відбір на переважну більшість факультетів ВНЗ. Окремі факультети, куди заяви подадуть кращі з кращих, можуть провести додаткове вступне тестування на базі завдань 3-5 рівня, але за такою ж схемою. При згадці про тестування, багато педагогів одразу скептично посміхається. Найкращий спосіб оцінки учня - це розмова з професором, але тільки у випадку, коли професор обирає учнів для себе особисто і сам страждає від помилкової оцінки. Так само можна скептично дивитися на анкети шлюбних агентств, бо супутника життя найкраще вибирати самому. Помилки були, є і будуть, але при масовій оцінці людей ми можемо керуватися лише об'єктивними даними, а їх в нашому випадку можуть дати лише тести. А сучасні технічні засоби дозволяють зробити процедури тестування швидкими і прозорими. Коли ж говорять, що тести не дають розкрити особистість учня, то забувають, що сільська дитина на усному іспиті перед кількома столичними професорами може від хвилювання забути власне прізвище, а на папері звично вирішить пропоновані завдання.

Відповіді

• 2005.06.03 | igor

  Re: Абітурієнти, тести, комп'ютери і … демократія

  Додаток №1 до наказу Міносвіти №285 від 31 липня 1998 року
  
  Це чудовий нормативний документ, за який маємо бути вдячними його авторам. Там повністю прописана технологія створення, перевірки тесту і процес тестування.
  Наприклад:
  3.1 Педагогічний контроль у системі вищої освіти
  Додаток Г
  Для забезпечення точності вимірювання, за якою помилка не перевищує 5%, довжина тесту повинна становити від 380 до 420 тестових завдань, для точності у 10% від 80 до 120 і для точності у 20% від 25 до 30 тестових завдань.
  При державному кваліфікаційному іспиті помилка вимірювання не може перевищувати 5%.
  
  Але покажіть хоч один тест створений у відповідності з цим документом!!!
  Уважно його вивчіть і зрозумієте його суттєвий "недолік"
  ВІН ДІЙСНО ЗАБЕЗПЕЧУЄ СТВОРЕННЯ ЯКІСНИХ ТЕСТІВ АЛЕ САМЕ ЦЬОГО НІХТО КРІМ ТИХ ХТО МАЄ ЗНАННЯ НЕ ХОЧЕ
  ТОМУ ЩО
  1. СТВОРЕННЯ ТЕСТУ ОБХОДИТЬСЯ ДОРОГО І ДОВГО
  2. ВПЛИВАТИ НА РЕЗУЛЬТАТ ВАЖКО
  3. ПРОЦЕС ТЕСТУВАННЯ ТРИВАЛИЙ
  4. ВИЯВИТЬСЯ ДІЙСНИЙ РІВЕНЬ ЗНАНЬ
  
  МІж іншим результати тестування, що не відповідають даному документу можна оскаржити!
  згорнути/розгорнути гілку відповідей

  • 2005.06.04 | Рюген

    Точность измерения чего?

    igor пише:
    > Для забезпечення точності вимірювання, за якою помилка не перевищує 5%, довжина тесту повинна становити від 380 до 420 тестових завдань, для точності у 10% від 80 до 120 і для точності у 20% від 25 до 30 тестових завдань.
    Для того, чтобы измерить что-то с какой-либо точностью необходима мера. Для педагогов: "мера" - это что-то вроде линейки или, на худой конец, попугаев, в которых можно что-то измерить с известной погрешностью. Что педагоги собираются мерять и чем, чтобы обеспечить эти самые проценты?
    згорнути/розгорнути гілку відповідей

    • 2005.06.04 | igor

      Re: Точность измерения чего?

      Читайте вказаний документ повністю. На вдміну від багатьох декларативних документів подібного типу цей є досить непоганою методикою до розробки і перевірки тестів.
      Тест є інструментом вимірювання знань у певній області. В ідеалі множина тестових завдань має повністю покривати цю область. Тестові завдання можуть мати різний рівень складності, диференціюючої здатності. Завдання може містити в неявному вигляді підказку, або неоднозначність, питання може бути неясно сформульовано і т.п.
      Респондент може вгадувати відповіді. Навіть якщо множина завдань повністю покриває область знань (а це принаймні декілька тисяч завдань)економічно недоцільно виконувати повне тестування. Завдання даються вибірково і чим більше запитань тим точніше ми вимірюємо рівень знань (грубо % запитань на які респондент може дати правільну відповідь. Якщо говорити точно то слід враховувати профіль знань: залежність правильної відповіді від рівня складності завдання)і тим більше згладжується недосконалість формулювань питань і т.п.
      Розроблена теорія тестування, звідки й можна отримати відповіді на багато запитань тестування.
      
      Наказом передбачено (додаток Ж), що
      Тест має проходити стандартизацію за результатами пілотних
      тестувань на репрезентативній виборці з метою встановлення
      діагностичних властивостей тесту через визначення таких
      статистичних параметрів.
      Для тесту:
      - Середнє значення - X.
      - Середньоквадратичне відхилення - a.
      - Коефіцієнт надійності - R.
      - Стандартна помилка вимірювання - E.
      - Коефіцієнт валідності - V.
      Для тестового завдання:
      - Індекс складності тестового завдання - Iс.
      - Індекс диференцюючої здатності - Iд.
      
      Може хтось покаже тест, що пройшов стандартизацію і має ці параметри?
      Тест з невизначеними параметрами все одно, що китайський вольтметр за 8 грн. Можна робити вигляд, що щось вимирюється.
      згорнути/розгорнути гілку відповідей

      • 2005.06.04 | Denys

        Re: Точность измерения чего?

        > Може хтось покаже тест, що пройшов стандартизацію і має ці параметри?
        
        В Амeриці такими тeстами є TOEFL та GRE, наприклад. В Україні, нажаль, ті хто рeально визначає політику в освіті навіть таких слів нe знають, як квадратичнe відхилeння чи подібних. А ті хто міг би такe у нас впровадити сидять на форумах у інтeрнeті і поки всe нe станe навпаки, таких тeстів у нас нe будe...

      • 2005.06.04 | Рюген

        Китайский вольтметр показывает вольты.

        Вольты не бывают китайские, португальские, или, наоборот, галицкие. Вольтметр может показывать плохо, но он, по крайней, ссылается на некую общепринятую меру. Поэтому повторяю вопрос: какова мера оценки качества знаний? Вы меня посылаете на ваши документы, я Вас могу послать на любой справочник по мат. статистике. Но от этого легче не станет ни мне, ни Вам. Вам недосуг разбираться в квантилях и кватернионах, мне - в хитросплетениях учетно-педагогической мысли. Посему Вы меня очень обяжете, если все-таки ткнете пальцем в того попугая, которым Вы меряете уровень знаний. Чтоб совсем конкретно - размерность величины "Хы".
        igor пише:
        > Читайте вказаний документ повністю. На вдміну від багатьох декларативних документів подібного типу цей є досить непоганою методикою до розробки і перевірки тестів.
        > Тест є інструментом вимірювання знань у певній області. В ідеалі множина тестових завдань має повністю покривати цю область. Тестові завдання можуть мати різний рівень складності, диференціюючої здатності. Завдання може містити в неявному вигляді підказку, або неоднозначність, питання може бути неясно сформульовано і т.п.
        > Респондент може вгадувати відповіді. Навіть якщо множина завдань повністю покриває область знань (а це принаймні декілька тисяч завдань)економічно недоцільно виконувати повне тестування. Завдання даються вибірково і чим більше запитань тим точніше ми вимірюємо рівень знань (грубо % запитань на які респондент може дати правільну відповідь. Якщо говорити точно то слід враховувати профіль знань: залежність правильної відповіді від рівня складності завдання)і тим більше згладжується недосконалість формулювань питань і т.п.
        > Розроблена теорія тестування, звідки й можна отримати відповіді на багато запитань тестування.
        >
        > Наказом передбачено (додаток Ж), що
        > Тест має проходити стандартизацію за результатами пілотних
        > тестувань на репрезентативній виборці з метою встановлення
        > діагностичних властивостей тесту через визначення таких
        > статистичних параметрів.
        > Для тесту:
        > - Середнє значення - X.
        > - Середньоквадратичне відхилення - a.
        > - Коефіцієнт надійності - R.
        > - Стандартна помилка вимірювання - E.
        > - Коефіцієнт валідності - V.
        > Для тестового завдання:
        > - Індекс складності тестового завдання - Iс.
        > - Індекс диференцюючої здатності - Iд.
        >
        > Може хтось покаже тест, що пройшов стандартизацію і має ці параметри?
        > Тест з невизначеними параметрами все одно, що китайський вольтметр за 8 грн. Можна робити вигляд, що щось вимирюється.
        Китайский вольтметр можно поверить и определить его ошибку в каждом диапазоне измерений. Чем можно поверить ваши методики?
        згорнути/розгорнути гілку відповідей

        • 2005.06.06 | igor

          популярне пояснення

          Дуже стисло і популярно. Якщо зацікавитеся глибше потрібно читати спеціальну літературу.
          
          Процедури описані в методиці якраз і відповідають процесу атестації і повірки вимірювального приладу.
          
          Популярно про те що означають 5%.
          Наприклад, маємо тест, що містить 1000 завдань. Будемо вважати, що тест пройшов необхідні перевірки на контрольній групі (тобто питання якості завдань опускаємо).
          Дамо респонденту одне завдання.
          Якщо він виконав його вважаємо, що всі інші він також виконає і ставимо йому умовно кажучи 100%
          якщо він його не виконав ставимо 0%.
          Яка точність вимірювань? +- (100%,999 балів) Здається зрозуміло.
          Дамо респонденту 1000 завдань з яких він виконає 80.
          Ставимо йому 80%. Яка точність? Якщо знехтувати психологічні і семантичні аспекти та вгадування деяких відповідей можемо вважати +-0%
          Скільки потрібно дати завдань n, щоб із ймовірністю 0.95 (0.99) процент правильних відповідей на всі 1000 завдань відрізнявся від процента отриманого при відповіді на n завдань не більше ніж на 5%.
          Відповідь дає теорія тестів. І вона приведена в методиці. Звичайно, там зроблено ряд спрощень, але для практики не суттєвих.
          
          Зрозуміло, що кожен тест є окремою мірою. Що більше або менше придатний для конкретної області знань, конкретної аудиторії, конкретної мети. Тут немає абсолютної міри, ідеалу, абсолютного знання. Якщо респондент набрав m балів в тесті TOEFL то багатьом зрозуміло, що це означає. Якщо x балів при тестуванні авторським тестом на кафедрі мовних дисциплін відокремленого підрозділу Надсучасного університету в м.Мухолюбську, то навряд чи навіть той викладач, що складав цей тест зможе сказати що це означає .
          
          Як правило успіх респондента визначається відносно успіхів іншої групи респондентів. Якщо встановити пороги оцінок (3 4 5) жорстко (що в більшості випадків і робиться в Україні) то обгрунтувати їх практично неможливо, а оцінка взагалі мало про що говорять.
          Тобто сам по собі тест не гарантує ні обєктивності ні точності ні валідності і т.і. Щоб створити хороший тест потрібно дуже багато часу, зусиль і коштів (орієнтовно 500-1000 людино-годин).
          
          Все інше є елементарним окозамилюванням. Інакше значно краще звичайний спосіб оцінювання фахівцем - письмовий іспит. Принаймні залишається персональна відповідальність екзаменатора та можливість апелювати до інших експертів.
          
          Зараз дедалі більше поширюється брутальна практика.
          Адміністрація вимагає від викладача тестів на розробку яких не виділяє ні годин ні оплати. Отримавши тест вважає, що всі проблеми вирішено. Викладач не потрібен і студент не може мати жодних претензій (бо все чесно - згідно тесту).
          Спосіб захисту: викладач складає такий тест відповіді на який може дати лише (або вузьке коло колег) він сам (або під його опікою, після репетиторських занять ).
          Боротися дуже важко. Бо маємо видимість обєктивності у вигляді тесту.
          Вимагати перевірки характеристик тесту? Апелювати до міністерського наказу? А хто на це зважатиме.
          згорнути/розгорнути гілку відповідей

          • 2005.06.06 | igor

            Вибачте, помилка не 80 а 800 (-)

          • 2005.06.08 | Рюген

            Спасибо за ясный исчерпывающий ответ.

            Я к нему еще вернусь (постараюсь), и если будет сказать что по существу, скажу.