Тестування: оцінки з історії розіграли в лотерею?
10/05/2006 | Василь Петрів
Нарешті опубліковані аналітичні звіти про результати зовнішнього оцінювання (незалежного тестування). Я попробував проаналізувати наведену там статистику і отримав дуже несподівані результати.
Виявляється, що лише 8-10% результатів з історії перевищують рівень вгадування. Це означає, що якби учні відповідали на такому ж бланку на питання, наприклад, з Корану чи китайської мови, то розподіл оцінок суттєво не змінимвся б !!!
Не вірите? Я сам собі досі не вірю
Я не зміг розмістити тут ілюстрацій, без яких важко пояснити суть аналізу, тому відкрив сторінку на безкоштовному сервері, де і розмістив детальний виклад своїх міркувань.
http://petriv.ho.com.ua/test/
Прошу всіх, хто має хоча б основи знань з статистики чи програмування перевірити мої висновки.
Виявляється, що лише 8-10% результатів з історії перевищують рівень вгадування. Це означає, що якби учні відповідали на такому ж бланку на питання, наприклад, з Корану чи китайської мови, то розподіл оцінок суттєво не змінимвся б !!!
Не вірите? Я сам собі досі не вірю
Я не зміг розмістити тут ілюстрацій, без яких важко пояснити суть аналізу, тому відкрив сторінку на безкоштовному сервері, де і розмістив детальний виклад своїх міркувань.
http://petriv.ho.com.ua/test/
Прошу всіх, хто має хоча б основи знань з статистики чи програмування перевірити мої висновки.
Відповіді
2006.10.05 | igor
Дуже Вам вдячний за цей аналіз !!!
Радий такому прояву конструктиву на форумі. Бо останнім часом здається всіх цікавить лише НАНУ.Я неодноразово вступав у дискусію з питань тестування. І стверджував, що запропонована система тестування не відповідає найелементарнішим вимогам до тестів. А точніше, така система не дає можливості обєктивно встановити якість тестів. Апріорі. Але наявність результатів тестування дозволяє зробити певні оцінки. Втім користі з того мало, бо на наступний рік будуть розроблені нові тести
Те що Ви виконали відноситься до області перевірки статистичних гіпотез. Ви маєте певний статистичний критерій. В даному випадку суму балів відповідей. І задаєтеся задачею перевірки нульової статистичної гіпотезу про те, що набрана сума балів є результатом випадкового вгадування. Щоб вирішити цю задачу необхідно знати, який закон розподілу має критерій, якщо нулова гіпотеза є істиною. Цей закон розподілу Ви встановили експериментально, шляхом моделювання (втім він добре апроксимується нормальним законом). Далі все дуже просто. Чим далі від центру (матсподівання або середнього) знайденого розподілу є набрана сума балів, тим менша ймовірність випадковості. Критичне значення помилки першого роду (невірне відкидання нульової гіпотези, тобто коли ви кажете що результат невгаданий, а насправді він вгаданий) дорівнює площі знайденого Вами закону розподілу праворуч (або ліворуч, якщо менше за середнє) від значення критерію. Так що принципово Ваші висновки є абсолютно вірними. А Ваша робота достойна публікації у хорошому фаховому виданні
Мене дивує те, що при наявності загальнодоступної інформації про методику підготовки тестів ця методика ПОВНІСТЮ ІГНОРУЄТЬСЯ. І до справи залучаються абсолютні профани. Очевидно, що питання з істрії готували люди незнайомі зі шкільною програмою, або які простодушно розуміють хороший тест як дуже складний тест.
Основним нормативним документом щодо тестування є наступний:
Комплекс нормативних документів для розробки складових cистем стандартів вищої освіти. Додаток 1 до наказу Міносвіти N 285 від 31 липня 1998 р. (якщо не знайдете я готовий надіслати)
До речі, а якщо тест не відповідає вказаній процедурі то чи можна його застосування оспорити скажімо в судовому порядку?
Корисно також заглянути на наступні посилання
http://www.seua.am/rus/new_edu_technol/metod_materiali/ped_iznerenia/Teotia%20izmer.htm
http://elena.od.ua/files/sertA+.html
http://library.tup.km.ua/fond/NOV/NEW_01_2005/chelishkova.htm
2006.10.11 | Василь Петрів
Re: Дуже Вам вдячний за цей аналіз !!!
Відносно публікації, Ви явно перебільшуєте. Таке завдання можна давати старшокласникам як тематичну атестацію з основ програмування.2006.10.14 | igor
Не прибідняйтеся :)
при бажанні можна навіть кандидатську захистити2006.10.14 | igor
приклад :) дисертаційної роботи
http://www.nbuv.gov.ua/ard/2006/06kvvogk.zipЄ певна близкість (навчання операторів і перевірка статгіпотез),
але на відміну від Вашого дослідження результати відсутні. Успішно захищено
2006.10.06 | igor
Моя дитина навчається в 11 класі
і протягом всього шкільного періоду добросовісно вчиться на відмінно. Я познайомив її з питаннями з історії. Відповідь однозначна: учень не в змозі дати відповідь на переважну більшість запитань. А значну частину взагалі не знайде в шкільному підручнику. Для цього йому потрібно протягом 10 років вивчати ЛИШЕ ТІЛЬКИ ІСТОРІЮ. Тоді може десь на 9-10 витягнеТо цікаво, як отримані оті бравурні висновки про належну якість тесту в аналізі результатів. Та чи будуть зроблені хоч якісь висновки.
Є пропозиція до асоціації за європейські цінності підняти це питання.