Зовнішнє стандартизоване сертифікаційне тестування
…написав, прочитав написане, подумав. Красиво виглядає, логічно. Це мабуть тому, що я не побачив реальних проблем. Прочитайте і Ви. Виявите проблеми – пишіть v_petriv@yahoo.com З повагою Василь Петрів
Зовнішнє стандартизоване сертифікаційне тестування.
Тестування є формою перевірки знань, при якій всі завдання мають однозначну відповідь. Це не лише примітивний вибір правильної відповіді з кількох запропонованих. Відповідь може бути числом, послідовністю букв чи слів. Варіанти тесту мають бути рівносильними, тобто містити однакову кількість завдань і оцінюватись однаковою сумарною кількістю балів. Шляхом тестування можна встановити рівень знань, вмінь та навичок учнів, але важко вияснити стиль мислення, обдарованість, талановитість. Проведення іспитів у формі тестування є об’єктивнішим за традиційні усні чи письмові екзамени.
Програмою нового уряду передбачено впровадження тестування, про це говорить міністр освіти і науки та інші посадовці. Оцінку знань випускників школи спеціальними центрами тестування проводять практично всі країни. Не заперечуючи, що найкраще відібрати обдарованих абітурієнтів може професор ВНЗ шляхом усного іспиту, мусимо визнати, що для оцінювання сотень тисяч учнів, які прагнуть вчитися у різних ВНЗ України та за кордоном, необхідна прозора, формалізована і стандартизована система вимірювання рівня підготовленості, яку визнаватимуть усі навчальні заклади.
Зараз атестат про середню освіту отримують усі учні, диплом про вищу освіту також отримують практично всі студенти. Таким чином, перепусткою для отримання диплому фактично є вступні іспити, але їх заміна централізованим тестуванням стане латанням дірок в існуючій системі, але самої проблеми не зніме. Зовнішнє стандартизоване сертифікаційне тестування має замінити підсумкову державну атестацію у школі, а ВНЗ можуть використати його для відбору чи пошуку абітурієнтів. Результат тестування має бути вказаний з кожного предмету окремо за однаковою шкалою, але варіант тесту може об’єднувати тестові завдання з кількох предметів. Рівень складності тестів має бути таким, щоб атестати отримували приблизно 90% учнів, а максимальної кількості балів досягали біля 10% учнів з кожного предмету. Сертифікаційне тестування встановить необхідний рівень вимогливості під час випуску зі школи, поверне значимість шкільного атестату, а кращим учням не дасть можливості заспокоїтися отриманням тільки необхідного для тестування мінімуму знань.
Вищі навчальні заклади можуть враховувати результати сертифікаційного тестування для кожної спеціальності за такою, наприклад, формулою Бали = Укр.мова + Історія + 3·Алгебра + 3·Геометрія+ 2·Фізика + Географія У випадку високого конкурсу ВНЗ може провести додатковий вступний іспит, результати якого додають до порахованих балів атестату. Право проведення такого іспиту надається лише тоді, коли різниця балів абітурієнтів у межах кількості місць менша за встановлений мінімум. Пропонований спосіб зарахування результатів дозволить провідним університетам приймати активну участь у формуванні контингенту студентів і одночасно не дасть можливості встановлювати кишенькові правила гри при невисокому конкурсі.
Стандартизованими мають бути зміст та оцінка тестових завдань. Вимоги до рівня знань з кожного шкільного предмету детально визначені у відповідних нормативних документах, тому можна створити всеукраїнську базу тестових завдань з кожного предмету, до наповнення, перевірки та систематизації якої могли б долучатися всі бажаючі вчителі та викладачі ВНЗ. На основі такої бази можна формувати варіанти тестів довільної складності. Велика кількість завдань у цій базі дозволить зробити її абсолютно відкритою. До бази потрібно включити також завдання підвищеної складності для додаткових іспитів, бо сьогодні важко зрозуміти, чому для вступу, наприклад, на математичний факультет кожен ВНЗ розробляє свої завдання з математики.
Слово «зовнішнє» означає лише той факт, що тестування учень проходить не у приміщенні школи, де він навчався, а проводять тестування вчителі іншої школи чи викладачі ВНЗ. Зовнішньою є лише невелика установа, яка забезпечує технічну роботу: формування списків випускників, розробку графіка тестування, друк та доставку тестових завдань, розподіл чергових екзаменаторів тощо. Правила роботи цієї установи мають бути детально обговорені і відомі всім.
В умовах України найважливішим чинником забезпечення об’єктивності є технологія проведення тестування, тому хочу зробити короткий огляд наявного досвіду та запропонувати один з можливих варіантів проведення тестування. Замість того, щоб сперечатися, хто буде проводити тестування і чи можна їм вірити, обговоримо прозору і демократичну технологію тестування.
Вперше традиційні вступні іспити були замінені тестуванням у Львівському національному університеті імені Івана Франка у 1991 році. Технологія з незначними змінами використовується досі, передана багатьом навчальним закладам, але масового поширення не набула. Основою технології є великий набір тестових завдань з кожного предмету, переважна частина з яких щороку публікується і вільно продається у вигляді збірників. Тести генеруються з цього набору безпосередньо перед іспитом. Жеребкуванням вибирають чергових екзаменаторів, місця в аудиторії, варіанти тесту.
Найбільше нарікань викликає зміст тестових завдань. Плітки про необ’єктивність зумовлені тим, що ручне введення результатів тестування в комп’ютерну систему та їх перевірка тривали в попередні роки понад добу. Не всі вірили, що за зачиненими дверима не робиться щось незаконне. Справедливо висловлювали зауваження вчителі, бо університет ніяк не враховує оцінки атестату, а абітурієнти, наприклад, хімічного факультету проходять вступні тестування лише з хімії та української мови і літератури. Така ситуація приводить до масового ігнорування старшокласниками вивчення більшості предметів у школі.
Символом прозорості та справедливості стала система тестування Національного університету «Києво-Могилянська Академія». Перевагою технології є публічність всіх етапів проведення тестування та перевірки результатів. Тести на основі модулів тестових завдань з різних предметів дозволяють відібрати на навчання всебічно освічених молодих людей, які здобуватимуть спеціальність у вибраному напрямку. Проблема поширення такої системи – невелика кількість варіантів тесту, які щороку секретно готує вузьке коло людей.
Спробою впровадити систему зовнішнього тестування в національному масштабі став проект «Центр тестових технологій», який фінансується міжнародним фондом «Відродження» за підтримки Міністерства освіти і науки. Випускники шкіл надають перевагу такій формі проведення іспитів, про що свідчать не лише опитування, але і велика кількість бажаючих пройти тестування. ВНЗ не висловлюють критичних зауважень щодо технології і об’єктивності тестування, але приймати результати в якості вступних іспитів погоджується лише мізерна частина з них. Заслуга ЦТТ уже в тому, що він вперше поєднав випускні іспити та вступні випробування в одному тестуванні, зробив спроби аналізу тестових завдань та результатів тестування на основі сучасної теорії. Розроблена технологія проведення тестування та перевірки результатів забезпечує достатній рівень надійності.
Погодившись з аргументами педагогів, ЦТТ зробив частиною тестування так звані відкриті завдання, які аналогічні завданням традиційного письмового іспиту. Таке поєднання тестових і відкритих завдань у Росії отримало назву «контрольно-вимірювальних матеріалів» і є таким же поганим з педагогічної точки зору, як тести, і таким же повільним і необ’єктивним, як традиційний письмовий екзамен. Виходячи з очевидного твердження, що створити два абсолютно рівносильних варіанти тесту неможливо, центр тестових технологій пропонує всім випускникам України одночасно виконувати один варіант тесту, тому будь-який витік інформації про зміст цього тесту може позбавити сенсу всю систему.
Всі три згадані системи тестування реально працюють і дають об’єктивну оцінку знань. Вказані недоліки компенсуються чесною працею і авторитетом колективів та керівників відповідних установ. Впровадженню таких технологій в національному масштабі заважають наявні в кожній з них недоступні для публічного контролю етапи, які викликають недовіру суспільства, особливо після останніх виборів. Тестування повинно стати публічним змаганням випускників школи, а не судом над ними, коли судді-екзаменатори, навіть найчесніші, роблять щось за зачиненими дверима. Потрібно поєднати елементи розглянутих технологій тестування, щоб отримати прозору і демократичну процедуру. Повний опис її буде таким же великим за обсягом, як закон про вибори, але для учня процедура тестування має бути не складніша, ніж процедура голосування для виборця. Опис основних елементів цієї процедури почнемо з визначення організацій та дійових осіб процесу тестування.
Центр тестових технологій (ЦТТ) – це організація, яка розробляє та деталізує всі правила, про які буде йти мова нижче, встановлює посадові інструкції всім працівникам. ЦТТ координує роботу авторів тестових завдань, формує єдину базу тестових завдань і забезпечує доступ до умов завдань через комп’ютерну мережу не пізніше, як за два місяці до тестування, розробляє алгоритми формування рівносильних варіантів тесту.
Регіональний центр тестування створюється на кожні 10-15 тисяч випускників і забезпечує формування списків учнів, підготовку пунктів тестування, навчання чергових екзаменаторів, друк варіантів тестів, організацію процесу тестування та перевірки результатів.
Пункти тестування – це приміщення шкіл та ВНЗ, у яких проводиться тестування. Доступ до пунктів тестування у день проведення мають лише самі учасники тестування, чергові екзаменатори та спостерігачі. Кожна з кімнат пункту тестування розрахована на 30 учнів, 2 екзаменатори і 1 спостерігач. Роботу кожного пункту тестування організовує координатор, який є педагогом та має досвід керівної роботи.
Чергові екзаменатори – це вчителі або викладачі ВНЗ, які уклали договір на виконання роботи з проведення тестування. Договір передбачає ознайомлення з правилами проведення тестування, розмір оплати та відповідальність у розмірі вартості повторного тестування 30 учнів, якщо допущені порушення правил привели до неможливості об’єктивного встановлення результату.
Спостерігачі – це особи, які виявили бажання на безоплатній основі слідкувати за процедурою тестування на будь-якому етапі. Спостерігачі попередньо реєструються в регіональних центрах, ознайомлюються зі своїми правами та підписують угоду про відповідальність за перевищення своїх повноважень.
Учасники тестування – це особи, що виявили бажання проходити тестування з певного предмету. Випускникам школи надається право одноразового безкоштовного тестування з кожного предмету. Учасники, які не є випускниками школи, та випускники, які хочуть повторно пройти тестування, повинні сплатити його вартість.
Ключові моменти і терміни сертифікаційного тестування.
1. За два місяці до тестування ЦТТ формує (оновлює) базу тестових завдань.2. За 30 днів до тестування ЦТТ доводить до регіональних центрів алгоритми формування варіантів тестів. Алгоритм повинен давати можливість формування не менше тисячі варіантів з кожного предмету.
3. За 10 днів до тестування регіональні центри завершують формування списків учасників тестування, чергових екзаменаторів та спостерігачів. Учасникам тестування повідомляють лише адресу пункту тестування, дату і час його проведення з кожного предмету.
4. За 5 днів до тестування регіональні центри завершують друк необхідної кількості варіантів тесту, запаковуючи їх в конверти по 30 таким чином, щоб в жодному конверті не було двох однакових варіантів, а серед конвертів не було двох з однаковим набором варіантів. Зовні на конверті вказують лише назву предмету, а будь-які інші написи чи помітки заборонені. Номери варіантів кожного конверта записують у протокол та передають до ЦТТ не пізніше, ніж за 3 дні до тестування. Цей процес легко автоматизувати.
5. За 2 дні до тестування проводиться жеребкування чи розподіл іншим випадковим способом координаторів, чергових екзаменаторів та спостерігачів по пунктах тестування. Координатори отримують потрібну кількість конвертів з варіантами тестів по акту, вибираючи їх довільно (випадково) та несуть відповідальність за збереження та цілісність отриманих конвертів.
6. За 2 дні до початку тестування комп’ютерною програмою встановлюється розподіл учасників тестування по кімнатах та за партами таким чином, щоб двоє учасників з однієї школи не сиділи в одній кімнаті, або сиділи далеко. Списки передаються координаторам у запечатаному конверті у вигляді впорядкованого за абеткою списку, де навпроти кожного учасника вказано номер кімнати і місця, та у вигляді протоколу тестування для кожної кімнати. До кожного конверта вкладають комплекти бланків відповідей для кожної кімнати. Конверт заборонено розпаковувати швидше, як за годину до початку тестування. Зауваження: - на варіантах тестових завдань та бланках відповідей відповідальний працівник регіонального центру тестування розміщає штрих-коди з довільною інформацією, зміст якої він зобов’язаний оприлюднити за годину до закінчення тестування; - термін отримання вказаних матеріалів може бути змінений на прохання координаторів, якщо вони не мають умов для їх надійного зберігання.
7. За годину до початку тестування координатор пункту тестування розкриває конверт зі списками та вивішує алфавітний список учасників, щоб вони могли займати свої місця, проводить жеребкування чергових екзаменаторів та спостерігачів по кімнатах пункту тестування. Під час жеребкування спостерігач довільно вибирає один з конвертів з варіантами тестів, а екзаменатори отримують цей конверт, протокол проведення тестування та комплект бланків відповідей;
8. За 30 хвилин до початку тестування чергові екзаменатори перевіряють за протоколом та особистими документами всіх учасників тестування своєї кімнати, роздають талони відповідей і пояснюють правила їх заповнення.
9. За 10 хвилин до початку тестування екзаменатори розпечатують конверт з варіантами тестів, пропонують всім учасникам довільно вибрати один з варіантів тесту (як білети на усному екзамені), та записати номер вибраного варіанту у талон відповідей. Екзаменатор записує номер вибраного варіанту у протокол. Невикористані талони відповідей та варіанти тесту погашаються шляхом відрізання верхнього лівого кутка.
10. Тестування триває не більше двох годин з дотриманням загальноприйнятих правил. Спостерігачі присутні в кімнаті, але не мають права робити будь-яких зауважень учасникам чи втручатися у процес тестування. У випадку виявлених порушень, спостерігач фіксує це у протоколі тестування. На талонах відповідей та варіантах тестів учасники тестування ставлять особистий підпис. Після завершення часу чергові екзаменатори приймають талони відповідей та запаковують їх разом з протоколом у присутності всіх учасників тестування. Підписані умови варіантів тестів запаковують до окремого конверта. Якщо учасник тестування відмовився здати талон чи варіант тесту, про це робиться запис у протоколі.
11. Конверти з талонами відповідей та протоколами чергові екзаменатори не пізніше, ніж через 15 хвилин після завершення часу тестування, передають координатору пункту тестування, який у супроводі двох екзаменаторів та двох спостерігачів доставляє їх до регіонального центру тестування.
12. Перевірка результатів проводиться у регіональному центрі публічно шляхом комп’ютерного сканування талонів відповідей та протоколів без перерви від доставки перших конвертів до завершення перевірки всіх талонів. Результати друкують у вигляді окремої таблиці по кожному пункті тестування, вказуючи кількість балів за кожне завдання та за тест разом.
Не звинувачуйте мене у запозиченнях. Я не видумую нової процедури, а лише поєдную відомі та апробовані елементи розглянутих вище технологій тестування, додаючи лише незначні вдосконалення. Практично вся процедура організації запозичена з проекту «Центр тестових технологій», генерування варіантів та жеребкування екзаменаторів давно використовується у Львівському національному університеті імені Івана Франка, а присутність спостерігачів та комп’ютерне сканування талонів відповідей – у національному університеті «Києво-Могилянська Академія».
Навіть такий конспективний виклад процедури наводить сумніви у можливості її реалізації в стислий час. Однак у цьому випадку складність правил не приводить до тривалої процедури. Розглянемо приклад, коли регіональний (обласний) центр тестування має перевірити знання 12 тисяч учнів з 5 предметів чи груп предметів. З врахуванням повторних тестувань та випускників минулих років це буде біля 18 тисяч. На тестування з одного предмету потрібно надрукувати варіант тесту (двосторонній аркуш А4) та бланк відповідей. Крім того ще списки, протоколи, акти та інша супровідна документація. Вважаю, що для області не стане проблемою придбання обладнання, на якому протягом місяця можна надрукувати 200-250 тисяч аркушів.
Як пункт тестування можна використати приміщення будь-якої школи, що має 10 кімнат з партами відповідного розміру. Таким чином, за одну зміну в кожному пункті тестування можна прийняти 300 учнів. Якщо допустити, що тестування з одного предмету проводиться протягом трьох днів, то потрібно 20 пунктів тестування. Проблеми приміщень немає.
Найважча проблема – сканування бланків відповідей. Сучасні системи допускають сканування та розпізнавання до 30 бланків за хвилину. З врахуванням часу на додаткову технічну роботу 300 талонів з одного пункту можуть бути опрацьовані за 20-30 хвилин. Враховуючи віддаленість багатьох пунктів тестування, яка приведе до розподілі в часі доставки конвертів з результатами, навіть одне робоче місце для опрацювання талонів практично забезпечить перевірку в реальному часі.
Фінансові затрати детально аналізувати не буду, сподіваюся, що вони не будуть великими. Тим більше, що протягом навчального року обладнання регіональних центрів тестування може використовуватись для проведення моніторингових досліджень успішності школярів та студентів.
Найбільше мене приваблює можливість вибрати час тестування і при потребі повторно пройти його. Щоб зрозуміти психологічний стан учня на сертифікаційному тестуванні, уявіть собі, що Вам потрібно пройти вдовж бруса, шириною 10 сантиметрів, який лежить на землі. Чудово. А тепер брус закріпили на висоті 20 метрів. Відчуваєте, як впливає відсутність права на помилку?
Відповіді
2005.03.10 | Olha_K
Має сенс.
Запозичення - то добре. ТО значить, вже є досвід використання, і можна побачити, на якому етапі можливі проблеми. Мені подобається, що процедура передбачає довільне обрання варіантів, як я розумію. Тобто, отримавши кілька варіантів, не знаєш, який дістанеться групі, а тим більше улюбленому учню. Спостерігачі - це добре, скоріш за все, це будуть батьки тих дітей, які можуть постраждати внаслідок хабарництва і зацікавлені у прозорій процедурі. Ті конверти, за цілісність яких несуть відповідальність координатори мають ще бути хитро якось заклеєні, щоб не можна було непомітно відкрити. Є прості і надійні засоби.2005.03.10 | Георгій
Оце мені дуже подобається
Василь Петрів пише:> Найбільше мене приваблює можливість вибрати час тестування і при потребі повторно пройти його. Щоб зрозуміти психологічний стан учня на сертифікаційному тестуванні, уявіть собі, що Вам потрібно пройти вдовж бруса, шириною 10 сантиметрів, який лежить на землі. Чудово. А тепер брус закріпили на висоті 20 метрів. Відчуваєте, як впливає відсутність права на помилку?
(ГП) Точно. Я пригадую свої конкурсні іспити - хвилювався страшно, такий був стрес (хоч я у школі вчився добре і насправді до тих екзаменів був цілком готовий). А чи це потрібно? По-моєму, дійсно абітурієнтам треба дати змогу показати свої знання в обстановці, яка не індукує в них ніякого стресу.
З іншого боку, зміст зовнішніх сертифікаційних тестів - це серйозна проблема, тут ще, мабуть, думати й думати.
2005.03.10 | igrot
Re: Зовнішнє стандартизоване сертифікаційне тестування
Чи є ввпевненість в тому, що таке тестування буде незалежним, оскільки навіть за радянських часів при друку 500 екземплярів вступних білетів прості виконавці знаходили можливість залишити собі 1 екземпляр.2005.03.11 | Olha_K
Чесність
- на неї розраховувати не можна. Повинен бути зовнішній контроль. Трюк у тому, що на кожному етапі завдання генеруються комп*ютером, чи обираються без системи, у випадковому порядку. Якщо пул завдань 10000, то друкуй-не друкуй один екземпляр - все одно ВСІХ відповідей не запишеш і не запам*ятаєш. І потім, у групі будуть сидіти 30 учнів з різних шкіл, ходити два перевіряючих з різних шкіл, спостерігачі. Білети обираються випадково. Ну і куди той один роздрукований варіант приткнути?Хоча я дякую всіх, хто формулює "каверзні" питання. Так виявляються слабкі місця, і сподіваюсь пан Василь відповість краще за мене.
2005.03.12 | Людмила
кілька уточнень
загалом - чудово! але спробувала пошукати проблеми6. За 2 дні до початку тестування комп’ютерною програмою встановлюється розподіл учасників тестування по кімнатах та за партами таким чином, щоб двоє учасників з однієї школи не сиділи в одній кімнаті, або сиділи далеко. це неможливо буде забезпечити у сільській місцевості. >
12. Перевірка результатів проводиться у регіональному центрі публічно шляхом комп’ютерного сканування талонів відповідей та протоколів без перерви від доставки перших конвертів до завершення перевірки всіх талонів. Результати друкують у вигляді окремої таблиці по кожному пункті тестування, вказуючи кількість балів за кожне завдання та за тест разом. якось незавершене. а що як раптом поодинокі учасники виявляться незгодними із результатами? чи можуть вони якось оскаржити? я може не дуже уявляю собі, що відбувається з ключами до варіантів завдань. вони генеруються комп"ютером на підставі протоколів РЦТ? коли? чи можна детальніше прописати процедуру перевірки? чи існує вірогидність помилки? наприклад, учасник виконує варіант Х, а в протокол записаний варіант У? (все ж таки люди записують...) і ще: як обраховуються результати? вірна відповідь - 1 бал, будь-яка з невірних - 0? і потім просто ВСЕ сумуЄться? чи як? чи є більш складні завдання, які "коштують" більше балів? чи варто прописувати якісь форс-мажорні обставини (зіпсували бланк відповідей, ...)? з одного боку - все ж таки діти, з іншого - серйозна справа
а загалом є чудовий механізм щоб з високою ступіню достовірності оцінити наявність можливостей для зловживать 
тре звернутися до керівників виборчих комісій (які за сумісництвом переважно є керівниками навчальних закладів), яким "світить" справа про участь фальсифікаціях. за умови подальшої амністії вони швиденько розшукають у запропонованій системі всі можливості заробити хабаря.
бо в чесної людини не це ніколи фантазії не вистачить! 
2005.03.13 | sama
Маленьке доповнення від Ніколаєнка
У "Дзеркалі тижня" наш міністр уточнив - непрофільні предмети можна зараховувати за результатами зовнішнього тестування, а для профільних дозволити вузам проводити додатковій іспит у випадку, коли бажаючих буде більше від запропонованих місць.Ну так хабарникам цього буде цілком досить. Колись сільських випускнів за рекомендацією райвно у педучилища приймали без іспитів. Для майбутнього вчителя молодших класів треба було пройти тільки випробування чи то на слух чи то на ритміку.От за те, що пані постукала по столі так, щоб ти міг повторити, вона брала 1000 крб.Це було давно - я думаю методи удосконалилися.Слід придумати якісь критерії відбору незалежні від вузівського чиновника.Рейтинговий список абощо.
2005.03.16 | Aj
Re: Зовнішнє стандартизоване сертифікаційне тестування
Кілька слів про "проколи" тестування у НаУКМА. Перший - підготовлені випускники або й студенти йшли здавати тест за абітурієнта. Зараз цей канал перекрито - спеціальні картки з фотографією цю проблему нібито зняли.(Картки ніби ще не навчилися підробляти, хоча...) Другий шлях - підготовлений абітурієнт іде разом з непідготовленим і вирішує його тест замість свого. Протиотрута в 2004 не застосовувалася. Мабуть, слід запровадити якийсь випадковий розподіл по групам і місцям, де сидять абітурієнти. Третій момент - ті, хто відвідує курси НаУКМА і беруть участь у "тренувальному" тестуванні суттєво підвищують свої шанси вступу. Четвертий - тести готуються секретно, без обговорення, тому щороку виявляються кілька нечітко сформульованих, двозначних завдань, що стають предметом апеляції. Також в тестах часом випадають важливі розділи шкільної програми натомість бувають широко представлені другорядні теми.На мій погляд, наша система забезпечує більш-менш "чесний" відбір, але не об"єктивний. Тобто вступають без хабарів, але не завжди найсильніші.
Викладач НаУКМА
2005.03.17 | Olha_K
тестування в НАУКМА
>хто відвідує курси НаУКМА і беруть участь у "тренувальному" тестуванні суттєво підвищують свої шанси вступу.Це завжди так, з будь-яким тестом. Треба готуватися здавати, і робити типові задачі, і звикати до формату щоб не витрачати час не інструкції. Коли тест стандартний для всієї країни, можна зробити тренувальні центри більш розповсюдженими і літературу доступною (наприклад, розповсюджувати через шкільні та публічні бібліотеки), це поставить у рівні умови всіх абітурієнтів.
>Четвертий - тести готуються секретно, без обговорення, тому щороку виявляються кілька нечітко сформульованих, двозначних завдань, що стають предметом апеляції. Також в тестах часом випадають важливі розділи шкільної програми натомість бувають широко представлені другорядні теми.
Мені здається, що протестувати завдання на "стандартність" не проблема. Наприклад, можна тестувати впродовж навчального року прямо у школах (як раніше приходили з контрольними роботами - тільки на добровільній основі) і дивитися на статистику вірних відповідей. І абітурієнти були б зацікавлені спробувати сили. Якщо завдань буде багато, і компьютер обиратиме довільно - то не потрібно надсекретності. Все одно невідомо що випаде.