Тестування: оцінки з історії розіграли в лотерею?
10/05/2006 | Василь Петрів
Нарешті опубліковані аналітичні звіти про результати зовнішнього оцінювання (незалежного тестування). Я попробував проаналізувати наведену там статистику і отримав дуже несподівані результати.
Виявляється, що лише 8-10% результатів з історії перевищують рівень вгадування. Це означає, що якби учні відповідали на такому ж бланку на питання, наприклад, з Корану чи китайської мови, то розподіл оцінок суттєво не змінимвся б !!!
Не вірите? Я сам собі досі не вірю
Я не зміг розмістити тут ілюстрацій, без яких важко пояснити суть аналізу, тому відкрив сторінку на безкоштовному сервері, де і розмістив детальний виклад своїх міркувань.
http://petriv.ho.com.ua/test/
Прошу всіх, хто має хоча б основи знань з статистики чи програмування перевірити мої висновки.
Виявляється, що лише 8-10% результатів з історії перевищують рівень вгадування. Це означає, що якби учні відповідали на такому ж бланку на питання, наприклад, з Корану чи китайської мови, то розподіл оцінок суттєво не змінимвся б !!!
Не вірите? Я сам собі досі не вірю
Я не зміг розмістити тут ілюстрацій, без яких важко пояснити суть аналізу, тому відкрив сторінку на безкоштовному сервері, де і розмістив детальний виклад своїх міркувань.
http://petriv.ho.com.ua/test/
Прошу всіх, хто має хоча б основи знань з статистики чи програмування перевірити мої висновки.
Відповіді
2006.10.05 | igor
Дуже Вам вдячний за цей аналіз !!!
Радий такому прояву конструктиву на форумі. Бо останнім часом здається всіх цікавить лише НАНУ.Я неодноразово вступав у дискусію з питань тестування. І стверджував, що запропонована система тестування не відповідає найелементарнішим вимогам до тестів. А точніше, така система не дає можливості обєктивно встановити якість тестів. Апріорі. Але наявність результатів тестування дозволяє зробити певні оцінки. Втім користі з того мало, бо на наступний рік будуть розроблені нові тести .
Те що Ви виконали відноситься до області перевірки статистичних гіпотез. Ви маєте певний статистичний критерій. В даному випадку суму балів відповідей. І задаєтеся задачею перевірки нульової статистичної гіпотезу про те, що набрана сума балів є результатом випадкового вгадування. Щоб вирішити цю задачу необхідно знати, який закон розподілу має критерій, якщо нулова гіпотеза є істиною. Цей закон розподілу Ви встановили експериментально, шляхом моделювання (втім він добре апроксимується нормальним законом). Далі все дуже просто. Чим далі від центру (матсподівання або середнього) знайденого розподілу є набрана сума балів, тим менша ймовірність випадковості. Критичне значення помилки першого роду (невірне відкидання нульової гіпотези, тобто коли ви кажете що результат невгаданий, а насправді він вгаданий) дорівнює площі знайденого Вами закону розподілу праворуч (або ліворуч, якщо менше за середнє) від значення критерію. Так що принципово Ваші висновки є абсолютно вірними. А Ваша робота достойна публікації у хорошому фаховому виданні .
Мене дивує те, що при наявності загальнодоступної інформації про методику підготовки тестів ця методика ПОВНІСТЮ ІГНОРУЄТЬСЯ. І до справи залучаються абсолютні профани. Очевидно, що питання з істрії готували люди незнайомі зі шкільною програмою, або які простодушно розуміють хороший тест як дуже складний тест.
Основним нормативним документом щодо тестування є наступний:
Комплекс нормативних документів для розробки складових cистем стандартів вищої освіти. Додаток 1 до наказу Міносвіти N 285 від 31 липня 1998 р. (якщо не знайдете я готовий надіслати)
До речі, а якщо тест не відповідає вказаній процедурі то чи можна його застосування оспорити скажімо в судовому порядку?
Корисно також заглянути на наступні посилання
http://www.seua.am/rus/new_edu_technol/metod_materiali/ped_iznerenia/Teotia%20izmer.htm
http://elena.od.ua/files/sertA+.html
http://library.tup.km.ua/fond/NOV/NEW_01_2005/chelishkova.htm
2006.10.11 | Василь Петрів
Re: Дуже Вам вдячний за цей аналіз !!!
Відносно публікації, Ви явно перебільшуєте. Таке завдання можна давати старшокласникам як тематичну атестацію з основ програмування.2006.10.14 | igor
Не прибідняйтеся :)
при бажанні можна навіть кандидатську захистити .2006.10.14 | igor
приклад :) дисертаційної роботи
http://www.nbuv.gov.ua/ard/2006/06kvvogk.zipЄ певна близкість (навчання операторів і перевірка статгіпотез),
але на відміну від Вашого дослідження результати відсутні. Успішно захищено .
2006.10.06 | igor
Моя дитина навчається в 11 класі
і протягом всього шкільного періоду добросовісно вчиться на відмінно. Я познайомив її з питаннями з історії. Відповідь однозначна: учень не в змозі дати відповідь на переважну більшість запитань. А значну частину взагалі не знайде в шкільному підручнику. Для цього йому потрібно протягом 10 років вивчати ЛИШЕ ТІЛЬКИ ІСТОРІЮ. Тоді може десь на 9-10 витягне . Цікаво протестувати самих фахівців істориків. Думаю, що результат буде не набагато кращий. Повірте, зошит із історії вартий того, щоб його принаймні полистати. Хороший матеріал для інтелектуальних ігор .То цікаво, як отримані оті бравурні висновки про належну якість тесту в аналізі результатів. Та чи будуть зроблені хоч якісь висновки.
Є пропозиція до асоціації за європейські цінності підняти це питання.