Цитата тижня
04/29/2006 | Сергій Вакуленко
Запитання:
— Але в такому разі ми тим паче не позбавимося корупції у вищих навчальних закладах, заради чого, за великим рахунком, і впроваджується тестування. Може, для боротьби з корупцією слід придивитися до досвіду Азербайджану? Там прийом до вузів жорстко зв’язаний із оцінкою за незалежним тестуванням, у результаті чого торік у вуз не змогли вступити навіть діти вищих чиновників держави.
Відповідь ректора Волинського державного університету ім. Лесі Українки Ігоря КОЦАНА:
— Це тупиковий шлях.
— Але в такому разі ми тим паче не позбавимося корупції у вищих навчальних закладах, заради чого, за великим рахунком, і впроваджується тестування. Може, для боротьби з корупцією слід придивитися до досвіду Азербайджану? Там прийом до вузів жорстко зв’язаний із оцінкою за незалежним тестуванням, у результаті чого торік у вуз не змогли вступити навіть діти вищих чиновників держави.
Відповідь ректора Волинського державного університету ім. Лесі Українки Ігоря КОЦАНА:
— Це тупиковий шлях.
Відповіді
2006.04.29 | Сергій Вакуленко
Перепрошую, + (л)
http://www.zn.kiev.ua/ie/show/596/53257/2006.04.29 | igor
Коли припиниться лукавство?
У переважній більшості ВНЗ (чим далі від столиці тим більше) бюджетні місця розписані ще до іспитівДруга проблема - саме тестування. Я вже довгий час пробую знайти хоч якусь змістовну інформацію про принципи і завдання. Може хтось покаже приклади тестів? Зокрема з математики. Є велика підозра що там весь ключ в самих завданнях. Щось подібне до системи районних, міських, обласних олімпіад? Система абсолютно закрита (для загалу) то як її можна оцінити. Автори також невідомо хто.
Скільки можна лукавити з тестуванням? Адже є i теорія тестування і методики і навіть нормативна база. Я не раз про це вже писав на форумі, намарно.
Цікаво, а чи не можна оскаржити результати тестування як такі, тести в яких не відповідають номативній базі міністерства?
З подачі Георгія заглянув в систему тестування SAT. Алгебра, геометрія. Цілком пристойна і зрозуміла система. Охоплює всю шкільну програму. Множина завдань велика, числа змінюються.
Я не розумію, чому не можна застосовувати уже визнану у світі систему оцінювання. І співставити можна.
У статті є дуже цікаві міркування голови прийомної комісії КНУ:
/Не знаємо ми, і за яким результатом видаватимуть сертифікат у центрі — за абсолютним чи відносним (залежно від результатів інших дітей у групі). За абсолютним результатом дитина може набрати 30 балів, а за відносним — 99. Із приводу зарахування також існують свої нюанси. Скажімо, якщо декілька людей прийдуть із найвищими результатами за тестами, то це зрозуміло, а якщо таких буде чоловік 100?/
1) Це означає, що інформація закрита і для ВНЗ?
2) Як розуміти відносність оцінки в групі при прийомі? Якщо 80 не вміють множити, 30 вміють і лише один вміє додавати дроби то як виставити бали? 3,4,5 !? SAT охоплює всю шкільну математику. Якщо учень вирішив 30%, 80% або 90% завдань то зрозуміло що це означає.
Дітей мало, ліцензійний набір потрібно покрити (інакше не буде навантаження, фінансування і т.п.) тому слід брати всіх підряд адже діти не винуваті, що їх погано вчили /це також із статті/.
Все просто. Якщо мало елементарних знань приймайте на підготовчі курси при університеті. Якщо, звичайно, є необхідний рівень інтелекту. Для цього також є тести.
Якщо багато претендентів із високими балами тоді доцільно влаштовувати додатковий конкурс із олімпіадними завданнями. Адже тест по типу SAT перевіряє лише наявність елементарно необхідних знань і навичок.
Я маю досвід подібного тестування для вступаючих до недержавного ВНЗ. Ми розробили 4 варіанти із 30-40 елементарних запитань, що перекривали шкільний курс математики. Можна вважати спрощеним SAT (принаймні за принципом). Результати вражаючі. Адміністрація результати тестування відразу забрала і заховала. Однак на певний період вдалося домовитися про додаткові курси з математики, щоб покрити елемантарні білі плями у знаннях студентів. Щоправда це тривало лише два роки.
На жаль завдання не зберіг, а зараз немає часу знову складати. Може в скороченому варіанті спробую протестувати студентів молодших курсів
2006.04.30 | sama
Re: Коли припиниться лукавство?
Насправді, автори відомо хто. Міністерство освіти проводило консультації з вчителями, які мають великий досвід викладацької роботи роботи з відповідним предметом і серйозні результати - призерів міжнародок та високий рівень випускників, підтверджений протягом навчання у вузах.Паралельно консультації велися і з представниками вузів.Борортьба іде за те, чиї завдання будуть прийняті.Відомо, що вузівські завдання часто мають або завищену планку, або специфічні завдання, підготовка до яких вимагає репетиторів- що вигідно працівникам даного вузу. Тестування вибиває підготовку до тестів а заставляє готувати предмет.Вчительський варіант тестів перевіряє наявність необхідного рівня для можливості подальшого навчання.Страх , що прийде 100 абітурієнтів з максимальним результатом в країні де рівень знань випускника нижче від...самі знаєте чого, базується на впевненості у зловживаннях та продажості всіх причетних до вступу.Завдання до вступу ( в ідеалі ) мають бути нікому не відомі.Скажете мало порядних людей -0 ну так давайте їх вирощувати, прополюючи бур"ян. Повний банк завдань знає ну зовсім мало людей, які дали відповідні розписки прокуратурі.
Прізвища авторів завдань є на обгортці так званого сілабуса - книжки для тестування.Це відомі в Україні люди.
2006.04.30 | igor
Можете вказати конкретну інформацію?
Тест є інструментом вимірювання знань. І має цілком певні характеристики як інструмент вимірювання (я про це вже писав). Валідність, достовірність, інформативність та інші. На жаль мій власний досвід (від шкільної парти до нинішнього дня) не дозволяє покластися на слово невідомих мені людей. Тим більше, що процедура підготовки і встановлення характеристик тестів також невідома. Відсутня також якась інформація про ці характеристики. Отже маємо кота в мішкуЗ іншого боку якраз "СЕКРЕТНІСТЬ" і весь піар навколо цього в 99% є звичайним прикриттям явищ вкрай негативних.
Ви можете надати певну інформацію про тестування? Дайте посилання, назвіть прізвища кваліфікацію і заслуги організаторів, характеристики тестів, процедуру підготовки тестів. Знаєте, посилання на МОН якось не надихає
2006.04.30 | sama
Re: Можете вказати конкретну інформацію?
igor пише:> Ви можете надати певну інформацію про тестування? Дайте посилання, назвіть прізвища кваліфікацію і заслуги організаторів, характеристики тестів, процедуру підготовки тестів. Знаєте, посилання на МОН якось не надихає
Мені видається ви ближче Києва і знаєте поіменно людей, які боролися за впровадження незалежного тестування.Лілю Гриневич наприклад.Всі необхідні характеристики для тестування бралися з джерел, що мають тривалий досвід такого тестування. Консультами були і прибалти (доктор математичних наук Альгірдас Забуліоніс),і поляки і американські фахівці.
igor пише:
назвіть прізвища кваліфікацію і заслуги організаторів, характеристики тестів, процедуру підготовки тестів. Знаєте, посилання на МОН якось не надихає
Мене таж не надихає. Але це не означає що треба від цього гидливо відвернутися. Треба брати в цьому участь і пробувати навернути цей процес в нормальне русло.В нижніх шарах ідуть бурхливі процеси дискусій та обговорення. Згадайте статті Петріва, який на своєму рівні був в числі розробників методів тестування зокрема у Львівському університеті.
2006.04.30 | igor
інформація про тести ...
Дякую за Вашу відповідь, яле я зовсім не є близький до Києва. З тестуванням довелося познайомитися в силу обставин і з дещо інших причин. Не сприйміть як недовіру, але я так і не отримав жодних відповідей стосовно тестів. Натомість є посилання авторитети, на людей, котрі мають певний досвід, на американцівНу хоча б елементарні речі. Скільки всього завдань. Скільки завдань дають учню. Як вибираються завдання із бази. Тестові питання відкриті чи закриті. Як підраховуються бали. Як визначається складність запитань. Чи є завдання різного рівня складності. Чи однозначні запитання і відповіді. Чи виконувалася перевірка тестових завдань на валідність, диференціюючу здатність.
На жаль, з практики більшість тестів за оцінкою їх якості є просто жахливими. А їх автори навіть не підозрюють про існування обєктивних характеристик тестів.
2006.05.01 | sama
Re: інформація про тести ...
igor пише:> Дякую за Вашу відповідь, яле я зовсім не є близький до Києва. З тестуванням довелося познайомитися в силу обставин і з дещо інших причин. Не сприйміть як недовіру, але я так і не отримав жодних відповідей стосовно тестів. Натомість є посилання авторитети, на людей, котрі мають певний досвід, на американців
> Ну хоча б елементарні речі. Скільки всього завдань. Скільки завдань дають учню. Як вибираються завдання із бази. Тестові питання відкриті чи закриті. Як підраховуються бали. Як визначається складність запитань. Чи є завдання різного рівня складності. Чи однозначні запитання і відповіді. Чи виконувалася перевірка тестових завдань на валідність, диференціюючу здатність.
Завдань 40.З надлишком вистачає, щоб не було у всіх максимального результату.Вибір з бази ще обговорюється . Дискусія іде на тему чи всі мають мати уніфіковане одне завдання як було в пробному тестуванні чи завдання вибираються компютером для кожного окремо. Ви розумієте, що тоді еквівалентні завданн скласти важко ( і дорого).В першому випадку центр тестування на місці дістає один варіант завдань а в другому - всю базу.Підключення до спільного сервера для складання завдань на місцях-це не з нашого життя.
Завдання різного рівня складності і різної вартості погруповані за принципом - 10 легких -20 нормальних і 10 важчих.Складність визначається кількістю кроків до розвязку.Відповіді однозначні.Перевірка якості завданьвиконується незалежно іншою групою людей,
> На жаль, з практики більшість тестів за оцінкою їх якості є просто жахливими. А їх автори навіть не підозрюють про існування обєктивних характеристик тестів.
Автори підозрюють про всі ті характеристики, які ви назвали.
2006.05.01 | igor
Як визначають складність завдань
Звичайно, в першому, дуже грубому наближенні навіть така оцінка складності згодиться. Однак, якщо вести статистику відповідей на завдання в розрізі завдань і осіб, то протестувавши декілька сот осіб, можна отримати обєктивні характеристики питань. Це функція залежності ймовірності вірної відповіді від рівня знань учнів. Це дуже цікава функція. Ідеально диферніююча має змінюватися стрибком від 0 до 1, коли рівень знань перевищує певний поріг. А тест має складатися із запитань, що мають різні пороги. Від найнижчого до найвищого. Така функція є своєрідним "паспортом" запитання. В реальності ці функції є похилими (стрибок не вертикальний). І бажано, щоб нахил не був надто малим. Запитання з малим нахилом слід вилучати.Число запитань в тесті з цих міркувань є десь на грані, що дає можливість оцінити диференціюючу функцію. Краще щоб їх було 100-200.
Можна токож оцінювати не просто число балів, а профіль знань учня. Функцію залежності ймовірності вірної відповіді від складності завдання. На жаль, я не зустрічав результатів досліджень такого роду. Тому сказати що там буде видно важко. Але, думаю, обовязково щось цікаве
Можна також зауважити, що жорстке часове обмеження оцінює не рівень знань, а власне здатність знайти оптимальну стратегію порядку відповідей. Це значно покращить результат при повторному тестуванні.
2006.05.01 | sama
Re: Як визначають складність завдань
Давайте прикинемо скільки людей, часу і коштів на Вашу думку потребує складання (+рецензування та відбір) таких тестів для тестування з окремого предмету. Врахуємо скільки є в наявності людей, здатних якісно (і часто безкоштовно)робити таку роботу у вільний від основної роботи час.Адже хотілося б позбутися монополізму окремих людей чи окремих груп на цю роботу.Не знаю як Вам, а мені хочеться використати непопулярну на форумі фразу "Шеф усьо пропало":))2006.05.01 | igor
До процедури оцінки тестів
Мова йде про серйозні речі. Принаймні на національному рівні і на довгі роки. Зазвичай чиновники вимагають швиденько щось зляпати і так само швиденько доповісти, що ми вже догнали і перегналиОднак навіть за таких умов можна суттєво покращити якість тестів. В ідеалі, звичайно необхідна відкритість у формуванні бази запитань.
Загляньте на http://altnet.ru/~mcsmall/index.htm
Широкий варіант.
Організатори вказують предмет та розділи, що мають бути охоплені тестовими запитаннями. А також прості правила складання таких тестів (обмеження на форму представлення, тип відповідей і т.п.). Волонтери, котрі мають відповідну кваліфікацію, можуть пропонувати свої варіанти тестів (свій набір запитань). Надається детальна інструкція з визначення якості запропонованих тестів автором, компютерна програма для обробки результатів. Тест, що пройшов авторську перевірку висилається організаторам для незалежного тестування. Тексти надісланих запитань мають бути загальнодоступними для рецензування змісту. Незалежними тестувальниками можуть виступати інші автори, незалежні тестувальники (вчителі, викладачі). Комплект питань, що пройшов незалежну перевірку і відповідає якісним критеріям підлягає атестації на рівні організаторів (рецензування і тестування). Якщо все в порядку то комплект (або частина запитань з нього) заноситься до загальної бази запитань із обовязковим збереженням авторства та кодів незалежних тестувальників. Тестову систему можна вважати готовою до використання, якщо розділи налічують не менше 200 запитань різного рівня (20 запитань з 10 рівнів складності, або 40 з 5).
Для формування варіанту для тестування з бази здійснюється випадкова вибірка. Наприклад по 5 запитань з 10 рівнів складності, або 10 з 5 рівнів складності.
В процесі тестування здійснюється уточнення характеристик тестових запитань (можливі зміни в програмах, поінформованості школярів і т.п., що впливає на рівень складності). Така процедура може виконуватися і в закритому варіанті.
Вузький варіант.
Запитання з бази нумеруються.
Респонденти (ті хто тестується) також нумеруються.
Після тестування складається перехресна таблиця (в рядках номери запитань, в стовпцях номери респондентів, в клітинках 1-відповів, 0- не відповів ). Таблиця набирається в Excel (це не потребує багато часу чи ресурсів). Ця інформація і є вхідною для оцінки складності завдань. Програма обробки не є складною.
Звичайно, на голому ентузіазмі далеко не заїдеш. Тут є декілька варіантів. Якісна система тестів є інформаційним продуктом. Наприклад, загляньте на http://www.specialist.ru/VUE/. Тому варто серйозно подумати про повне або часткове самофінансування та захист авторських прав. Бажано із врахуванням інтересів авторів запитань та інших учасників. Таке собі закрите акціонерне товариство для вступу в яке слід виконати певну роботу
Нематеріальна зацікавленість. Цілком можлива за сприяння МОН. Якщо прийнятя запитань до бази, тестування, рецензування буде серйозною підставою для атестації на більш високий рівень, буде враховуватись як наукова, методична робота.
Поза МОН. Зацікавленими в участі можуть бути також аспіранти-педагоги (зараз вони займаються повною дурнею, вибачте сам бачив), студенти старших курсів педагогічних ВНЗ.
Список учасників варто оприлюднювати в якості морального заохочення, також слід видавати значки, грамоти, сертифікати і т.п.
Які витрати? Утримання інтернет ресурсу (це і ефективніше і дешевше ніж звичайна пошта). Оплата адміністратора інтернет-ресурсу, та координаторів проекту. Для початку 3-5 чоловік. Це для початку. Далі (після розробки основних тестів) слід думати про самофінансування. Потрібні будуть ще економіст і юрист. Інакше діла не буде
Отже, відкритість, незалежне тестування, рецензування, атестація і поточне оцінювання мінімізують число пустих і зарозумних запитань.
Велика кількість загальновідомих запитань зробить підготовку орієнтовану на тест еквівалентній вивченню самого предмета і водночас забезпечить належний рівень довіри, виключить монополію на підготовку до тестування.
Готовий прийняти посильну участь. Принаймні якась справжня робота в боротьбі за європейські цінності в українській освіті. Чекаю на Вашу критику
2006.05.03 | sama
Re: До процедури оцінки тестів
Розумно і цікаво. Шкода що МО не читає цього форуму.Спробую достукатися до зацікавлених.Є лиш один суто український недолік - важко знайти толкового наполегливого менеджера , здатного то реалізувати.Розумні люди дійсно створили б таке ЗАТ.
А поки що вступ іде по-старому.Ціни - як останній раз:)).
2006.04.30 | igor
За що йде боротьба ...
Дуже цікава фраза!"Боротьба іде за те, чиї завдання будуть прийняті."
А за що борються? За монопольне право бути елітними репетиторами? За сфери впливу? Є абсолютно прозоре рішення. Сформувати базу завдань із завдань усіх авторів і робити випадкову вибірку. Щоправда тут може виникнути питання про характеристики завдань як інструменту вимірювання. Але таке рішення має один надзвичайно серйозний недолік. ВСІ автори втрачають свої переваги в якості репетиторів і консультантів
2006.04.30 | sama
Re: За що йде боротьба ...
> А за що борються? За монопольне право бути елітними репетиторами? За сфери впливу?
Боротьба іде за те, що саме тест має превіряти - функціональну придатність абітурієнта чи рівень його вибачте " натасканості " на конкретні завдання.
Боротьба йде за те, чи школа надалі повинна буде дітей вчити чи готувати до вступу. Це виявилося не одне і те саме.В часи мого абітурієнтства нормальний учень звичайної школи міг сам підготуватися до вступу і стати студентом, користуючись типовими шкільними підручниками і збірниками. Тоді було менше престижних титулованих університетів.Вузи готували вступні завдання за програмою школи. А зараз?Якщо вже тести з рідної мови та літератури стають непереборною перешкодою, я часто дивуюся, як при високому рівні вступних завдань і низькому рівні вступників їм вдається домовитися. Постійно вузи стогнуть, що першокурсникам треба читати лікбез з основних дисциплін. А як вони в той вуз потрапили?
2006.04.30 | igor
Я з Вами солідарний
Я з Вами абсолютно згодний стосовно мови. Потрібна хоча б елементарна річ - перевірити вміння грамотно писати. На жаль вся ця система тестування дозволяє набрати суму балів практично не володіючи мовоюМені ближче математика. Там власне така ж картина. Особливо із впровадженням "новітньої" системи контролю знань, яку чомусь називають болонською.
Дійсно, таке враження, що основне призначення школи це підготовка до вступних іспитів, олімпіад, конкурсів. Причому тотально, всіх підряд.
Більше того, у ВНЗ також уже готують студента не до професійної діяльності а до іспитів, тестів і т.п.
Якщо Ви причетні якось до складання тестів то хотів би звернути вашу увагу на те що є нормативні і методичні матеріали МОН стосовно тестового контролю (у ВНЗ). На рідкість непогано складений документ. Якщо Вас це цікавить із задоволенням викладу на форум. На жаль, якщо детально говорити про тестування то це дуже велика тема. Тому готовий пояснити моменти що Вас будуть цікавити. Конструктивно
Секретність принципово не дозволяє визначити та перевірити якість тестів. Без цього їх не можна порівнювати та й взагалі користуватися. За умов секретності, навіть якщо справу й розпочинають порядні люди, ентузіасти й фахівці, то в разі їх успіху, такий потенційно прибутковий бізнес обовязково заберуть "успішні бізнесмени і менеджери". Поки що їх інтерес до цієї справи лише потенційний.
2006.05.01 | sama
Re: Я з Вами солідарний
> Якщо Ви причетні якось до складання тестів то хотів би звернути вашу увагу на те що є нормативні і методичні матеріали МОН стосовно тестового контролю (у ВНЗ). На рідкість непогано складений документ. Якщо Вас це цікавить із задоволенням викладу на форум. На жаль, якщо детально говорити про тестування то це дуже велика тема. Тому готовий пояснити моменти що Вас будуть цікавити. КонструктивноЯ в курсі:)).
2006.05.01 | Iryna_
Re: Цитата тижня
Я дуже мало розуміюся на тестах, проте колись займалася репетиторством для TOEFL і GMAT - я не експерт з англійської, але учні вже успішно здали і поступили куди хотіли. Ясно, що це було з мого боку рідкісне нахабство, але треба ж було якось виживати у часи занепаду НАНУ. Та й все одно кращих тоді не було, бо ніхто не знав що це таке. Підкреслюю, що нахабство нахабством, а результат був 100%. Я просто намагалась розібратись, що то за тести, виробити якісь стратегії та навчити учнів. Це я до того, що у випадку розумних тестів та нормальних вказівок від організаторів (у мене були брошурки центрів TOEFL і GMAT, якась явно застаріла книжка з Петрівки і все, інтернету тоді не було) будь-хто з головою та декількома наборами тестів може реально натаскати учня. З невидатного базового рівня учнів.Там дуже важлива саме психологічна підготовка. Але ясно, що можна зробити такі тести, що підготувати може тільки втаємничений репетитор.
І тут ще питання щодо тестів з іноземних мов - а чим TOEFL або кембриджський тест погані? Чому б не почати їх зараховувати з певного рівня балів як вступні іспити? Дорого? Ну не дорожче ніж наші домовляння. Чи були такі ідеї і що говорять відповідальні фахівці?
У статті в ДТ мене дуже здивувала позиція декана мехмату. Не дуже уявляю, як загальними тестами можна визначити математичні здібності чи підготовку, потрібні на рівні мехмату.
І ще одне зауваження. У США, де дуже люблять тести, результати тестів- лише один з факторів при зарахуванні. Там враховують як великий плюс ще різну совкову маячню типу громадської роботи, участі у волонтерському русі (типу тимурівців по американському - ну це добре, але до чого тут університет?), скаутів, повну фігню типу cheerleaders (це махання прапорами для натхнення спортивної команди - це взагалі має бути мінусом), необхідність диверсифікації студентського середовища (саме під цю необхідність багато наших туди й попадають), і старі добрі характеристики від вчителів та директора школи, а також рекомендації (якщо друг вашого батька шанована людина типу конгресмен і напише рекомендацію - це дуже добре)). Відбір абсолютно непрозорий. Але всі вірять, що некорумпований та об'єктивний.
2006.05.01 | sama
А ось Київський університет
( принаймі фізичний та радіофізичний факультети) дивиться здалеку на всі новації, дає всім бажаючим можливість пройти два очних тури своїх олімпіад з дуже важкими , (якщо порівнювати з тестовими)задач , вибирає з бажаючих кращих і бере за співбесідою.Туди підуть ті, хто вибір зробив давно, хто цікавиться саме тим предметом в саме тому вузі, а не ті кому "бал покаже".Тести дійсно не виявляють особливо обдарованих. Це ще одне слабе місце - тести мають показати рівень на виході зі школи (дуже усереднений), чи рівень на вході у вуз з відповідною спеціалізацією.
2006.05.01 | igor
Re: А ось Київський університет
І це абсолютно вірний підхід. Тест може бути лише грубим кваліфікаційним мінімумом. Бо справді оцінити і знання і здібності можуть лише фахівці. Тести принципово налаштовані на середні показники, на середніх людей (в певному діапазоні, соціальній групі). Такі речі як бажання вчитися, оригинальність мислення, нестандартність особистості можна виявити лише в безпосередньому спілкуванні. Бажано при тривалому. Це особливо важливо на "наукових" спеціальностях. На щастя математика, радіофізика не є популярними спеціальностями. А якщо там ще й люди порядні працюють то це просто щастя. Так і має бути у хороших ВНЗ де наука в пошані. Для інших, де нестандартність, творчі нахили, не грають особливої ролі, тести цілком прийнятні2006.05.04 | Василь Петрів
Інша цитата
Текст з тієї ж статті:"Нам також необхідно створювати інші правила прийому студентів, більш гнучкі, які дають більше повноважень приймальним комісіям, адже до вузів повинні потрапляти не ті, хто отримав високі оцінки, а ті, хто здатний виконувати стандарти вищої освіти, які існують у даному вузі. Якщо цього не зробити, то залишаться старі критерії оцінювання якості знань." (виділення моє)
Питання: що таке стандарти освіти в конкретному вузі?