МАЙДАН - За вільну людину у вільній країні


Архіви Форумів Майдану

Ещё раз о несовершенстве рейтингов ученых по цитированиям

05/30/2009 | marazm_krepchal
В последние годы в украинском научном сообществе выделилась группа научных работников, которые регулярно публикуются в хороших англоязычных журналах (под «хорошими» подразумеваются журналы, индексируемые Thompson ISI http://www.scientific.thomson.com/mjl ), а также сотрудничают с западными коллегами, т.е. каким-то образом включены в контекст современной мировой науки.

Часть из них (более молодые и активные) рано или поздно иммигрируют и успешно забывают об украинской науке, однако всё же существует другая их часть, которые по разным причинам (в основном, психологическим) желают оставаться в украинской науке вопреки унизительной зарплате.

При этом, будучи знакомы с эффективным устройством западной науки, эти люди, очевидно, весьма недовольны архаичным устройством науки украинской, и, естественно, хотят каких-то изменений.

Суть предлагаемых ими реформ сводится к тому, чтобы (для начала частично) перераспределить финансовые потоки, выделяемые государством на науку, взяв за основу формальные числовые критерии, не подверженные коррупции, прежде всего количество публикаций и количество цитирований в журналах, индексируемых Thompson ISI.

Подчеркнём, что хотя эти люди, бесспорно, и являются меньшинством в украинской науке, их всё же могло бы быть не так мало, как кажется: согласно приведённой мной ранее статистике http://www2.maidan.org.ua/n/osvita/1226242517 в Украине уже имеется не одна тысяча людей, публикующихся и цитирующихся в хороших журналах. Т.е. потенциально, при правильной организации, хорошо публикующиеся люди могли бы оказаться реальной силой, пополнив ряды реформаторов. Тем не менее, бОльшая часть из них довольно сдержанно относятся к идее реформирования науки на основе цитирований. Почему?

Недавно в поле зрения автора попали пара неожиданных наблюдений, которые проливают свет на поставленный выше вопрос, и собственно которые автор и хотел бы прокомментировать в настоящей статье.

Во-первых, на официальном сайте Национальной библиотеки Украины имени Вернадского появился рейтинг научных работников Украины по данным Scopus (это младший конкурент Thompson ISI, к которому в библиотеке имени Вернадского получили доступ, т.к. подписка на сам Thompson ISI весьма дорогая):

http://www.nbuv.gov.ua/institutions/rating_sci.html

Важность этого события обусловлена тем, что эта библиотека входит в систему НАН Украины, а это значит, что или люди в Президиуме НАН совсем не контролируют ситуацию и не знают, что происходит в академии, или же это произошло с их одобрения.

Так или иначе, попробуем проанализировать этот рейтинг.
Для этого сделаем небольшое отступление и рассмотрим стиль работы усреднённого чистого (т.е. не прикладного) математика и усреднённого физика, работающего, скажем, в физике высоких энергий.

Средний чистый математик за год обычно пишет 2-3 статьи, иногда 1, это нормально для него. Если он пишет по 5 и больше статей в год, то у его коллег закрадывается сомнение, есть ли во всех его статьях хоть что-то толковое, и они его просто не читают, воспринимая как научный шум. В среднем, в каждой статье (если это не обзорная работа) математик цитирует порядка 20, реже 30 других статей. Соавторов у чистого математика или нет вообще, или же 1, в редких случаях – 2. Статьи начинают цитироваться только спустя пару лет (в лучшем случае).
В итоге, число работ и, тем более, число цитирований у усреднённого математика небольшое.

Стиль работы физика (работающего в физике высоких энергий) совершенно иной: у него, как правило, не менее 10 статей в год, в каждой из них он цитирует по 40-50 других работ (из которых он реально читал не больше 10), у него куча соавторов и т.д. Другими словами, ритм научной жизни и формальные показатели у него совсем другие.
В итоге, в среднем число работ и тем более цитирований у усреднённого физика намного больше, чем у усреднённого математика.

Химики по этим формальным показателям ещё круче физиков, астрофизики – круче химиков, а молекулярные биологи – круче астрофизиков. Очевидно, что у биологов - свой стиль и ритм работы, и химиков – свой, и т.д.

Так что же, выходит, надо считать математиков менее полезными, чем физиков, а физиков – менее полезными, чем молекулярных биологов, и соответствующим образом распределять финансирование? Чушь, конечно!

Читатель, вероятно, думает, что я пишу очевидные для всех вещи, но нет, это для многих неочевидно! Неочевидно это, в частности, и для сотрудников Национальной библиотеки Украины имени Вернадского, составивших вышеупомянутый рейтинг.

Здесь скинули в кучу всех, и на вершине рейтинга оказались, конечно же, молекулярные биологи, астрономы, химики-органики. Математика же, к примеру, там нет ни одного.

Внизу привожу текущие данные Thompson ISI по среднемировой численности цитирований на статью по разным областям наук, они отличаются в разы!

23.58 - Molecular Biology & Genetics
19.67 - Immunology
17.22 - Neuroscience & Behavior
15.49 - Biology & Biochemistry
14.19 - Microbiology
12.75 - Space Science
11.44 - Clinical Medicine
10.61 - Pharmacology & Toxicology
9.46 - Psychiatry/Psychology
9.37 - Chemistry
9.32 - Environment/Ecology
8.23 - Geosciences
7.86 - Physics
6.70 - Plant & Animal Science
5.94 - Agricultural Sciences
5.56 - Materials Science
4.88 - Economics & Business
4.18 - Multidisciplinary
3.96 - Social Sciences, General
3.80 - Engineering
3.01 - Computer Science
2.90 - Mathematics

(см. http://esi.isiknowledge.com/fieldrankingspage.cgi?sortby=3 )

То есть, если статья математика имеет 3 цитирования, то это, скорее всего, хорошая статья, а если статья молекулярного биолога имеет 3 цитирования - то это слабая статья. Без деления науки на разделы, рейтинги цитирований отдельных ученых или статей не имеют смысла!

Очевидно, что большинству математиков и прочих товарищей по несчастью из низа этого списка совсем не импонирует такое рейтингование (см. например http://lenta.ru/news/2008/06/17/impact/ ), и не потому, что они такие-сякие косные противники реформ, а потому что составление подобных рейтингов – это некорректный подход, удобный лишь для представителей тех наук, что в вершине списка.

Чтобы чуть исправить ситуацию, нужно просто делить число цитирований (или h-индекс) каждого учёного в этом рейтинге на соответствующий его науке средний показатель цитирований на статью, и уже тогда рейтинг будет выглядеть совсем по-другому!

Впрочем, и это будет далеко от совершенства, ведь та же физика – огромна, и глупо сравнивать показатели физика-экспериментатора в области высоких энергий и, скажем физика-твёрдотельщика. Чтобы подобные рейтинги обрели хоть какой-то смысл, необходимо разделить науку на сотни более-менее однородных разделов, затем вычислять по каждому из них среднемировой показатель цитирований на статью, затем пронормировать цитирования каждой статьи участников рейтинга по этим показателям (и ещё не мешало бы разделить на число соавторов в статье) и только тогда вычислять h-индекс и суммарные цитирования.
Боюсь, что делать этот титанический труд, конечно же, никто не станет (т.е. сделать это может только сам Thompson ISI), но без этого рейтинги теряют смысл!

Кстати, подобное неравноправие наук характерно для всей мировой науки. Я знаю не одну историю о западных молодых чистых математиках, которые долго не могли найти хорошую позицию и были вынуждены заняться какой-то прикладной чушью (о которой они сами в кулуарных разговорах брезгливо отзывались), чтобы нарастить свои цитирования, и, о чудо!, довольно быстро получили позиции (после чего сразу же возвратились к тем тематикам, к которым у них лежит душа, но которые, увы, неважно цитируются).

Очевидно, что всё вышесказанное касается и импакт-факторов журналов. У молекулярных биологов журнал с импакт-фактором 0,9 вызывает улыбку, а для математических журналов – это очень даже приличный импакт-фактор. Тот же Crelle's Journal (Journal fur die reine und angewandte Mathematik), к примеру, имеет импакт меньше 1.

И здесь мы плавно подходим ко второму, на мой взгляд, важному наблюдению. Почти год назад на сайте МОН Украины был размещён проект постановления Кабмина Украины «Про сприяння публікаціям українських науковців у провідних наукових часописах світу»
http://www.mon.gov.ua/gr/obg/2008/14_07_08_1.doc

Показательно, что, несмотря на содержащуюся в нём просьбу присылать предложения и замечания к проекту, общественность узнала о его существовании только недавно, когда какой-то следопыт дал на него ссылку на этом форуме http://www2.maidan.org.ua/n/osvita/1240347661
Впрочем, это уже не суть важно, и, если я правильно понял, кризис успешно похоронил в зародыше эту инициативу в любом случае.

Так вот, самой показательной в нём является фраза «мають високий імпакт-фактор (1 і вище)». Т.е. если математик опубликовал свой результат в том же Crelle's Journal, то его будут уважать ведущие западные коллеги-математики, но не наш МОН!
И грустно и смешно...

Подобные фразы (1 і вище) свидетельствуют о полной безграмотности наших горе-реформаторов в этих весьма тонких вопросах (сам Стриха, небось, проект готовил?).
Такого рода «реформы» намного опасней, нежели просто сохранять статус-кво, как того требуют сторонники «здорового консерватизма в науке».

Таким образом, идеи такого рода «реформаторов» не находят много сторонников не только и не столько потому, что все остальные поголовно такие уж ретрограды (как я уже упоминал, в украинской науке имеются тысячи людей, публикующиеся и цитирующиеся в хороших журналах), а потому, что сами реформаторы слабо понимают (точнее совсем не понимают) столь тонкую материю, как научный социум в целом, и дай им полную власть – так бед натворят ещё больше, чем сторонники здорового консерватизма!

marazm_krepchal@mail.ru

***************
Ссылки по теме
http://lenta.ru/news/2008/10/21/cite/
http://arxiv.org/abs/0806.0974


Добавка от 31.05

В этом году английская грантовая контора Higher Education Funding Council for England (HEFCE) начинает постепенный переход в оценке проектов с системы рецензий на систему подсчёта цитирований участников проектов.

В этом пилотном эксперименте http://www.hefce.ac.uk/research/ref/ участвуют 22 университета, включая Кембридж, Империал Колледж, Дарем, Глазго, Лидс, Ноттингем, Бат и др., ограничившись пока следующими дисциплинами http://www.hefce.ac.uk/research/ref/biblio/projects/datacoll/UoA.doc

Вот полезный FAQ: http://www.hefce.ac.uk/research/ref/faq/default.asp

В частности, там пишут и про нормализацию по дисциплине:

We propose to measure the number of citations received by each paper in a defined period, relative to worldwide norms. The number of citations received by a paper will be 'normalised' for the particular field in which it was published, for the year in which it was published, and for the type of output.

Математиков, кстати, пока не трогают (см пункт 2 в этом faq'е), потому что они сильно раскритиковали этот проект: http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf


Добавка от 01.06

Забыл сказать ещё, что саму технологию подсчёта цитирований поручено отрабатывать сторонней организации, а именно, дочерней компании Thomson ISI под названием Evidence Ltd, и к осени она должна будет сообщить полный перечень библиометрических индикаторов, которые она найдёт наиболее адекватными для оценки исследований http://www.hefce.ac.uk/research/ref/Biblio/pilot/evidence/

Так что если у украинского руководства возникнет желание реформировать науку (шутка) - то достаточно будет заплатить Evidence Ltd, они всё сделают без коррупции!

Відповіді

  • 2009.05.30 | 2

    И только тогда мы узнаем, кто круче - Ньютон или Лейбниц.

    marazm_krepchal пише:

    > ...необходимо разделить науку на сотни более-менее однородных разделов, затем вычислять по каждому из них среднемировой показатель цитирований на статью, затем пронормировать цитирования каждой статьи участников рейтинга по этим показателям и только тогда...

    Но вот сотрудники Киево-Могилянской академии за все время существования этого выша опубликовали 37 (тридцать семь) статей в реферируемых журналах. Что там можно делить и нормировать.
    згорнути/розгорнути гілку відповідей
    • 2009.06.01 | дитинка

      Re: И только тогда мы узнаем, кто круче - Ньютон или Лейбниц.

      Щось не видно в Україні Ньютонів та Лейбніців. Натомість має місце ситуація, яку вміють розв'язувати діти 3-5 років. Є один хороший радянський мультфільм, "Козленок, который считал до 10" http://www.youtube.com/watch?gl=RU&hl=ru&v=gxnp_hiQI3c Звірів страшенно обурило те, що їх порахували.
  • 2009.05.30 | Трясця

    Re: Ещё раз о несовершенстве рейтингов ученых по цитированиям

    Якщо стосовно «академіків» ще можна так-сяк висловлюватися узагальнено «академіки» (як пише кровожерливий Хома Брут, «злочинні»), бо вони є корпорацією і майже одностайні в своїх рішеннях (згадайте голосування за Патона), то вживати узагальнення «реформатори» недоречно, я б навіть висловився сильніше, не науково! Реформи різні бувають. Той самий Стріха бачить світ так, а я грішний -інакше, а Ви нас загнали до однієї комірки. Це як раз майже те саме, що порівнювати цитування математиків та біологів. Системних реформ ніхто не тільки не проводив, але й не пропонував, бо заклик «академіків на палю», як на мене, не заслуговує на зарахування до державотворчих проектів. А те, що бібліотека взялася за індекси, так це просто чудово! Так, бідним математикам я співчуваю. Але ж дивіться, далеко не всі астрофізики, елементарщики чи молекулярні-біологи потрапили до списку. Так що свою ПОЗИТИВНУ роль він відіграв і ще відіграє.

    Головне питання, чи повинні реформи взагалі. Так Ви про це самі написали: потрібні, бо інакше наука зникне зовсім із наших теренів. А як їх проводити, це справа уряду (урядів). На це вони й уряди! А от кого вони запросять у якості радників, вирішить суть реформ. Одні запросять Юхновського, інші Патона, а треті Азарова. Молодого вченого з тисячами цитувань, на жаль, не запросять ніколи. Але може вони ще схаменуться?
    згорнути/розгорнути гілку відповідей
    • 2009.05.31 | Хома Брут

      Re: гумор на цю тему

      Трясця пише:
      > А як їх проводити, це справа уряду (урядів). На це вони й уряди!
      http://arxiv.org/abs/cond-mat/0110326
      Quantum computing: a view from the enemy camp
      Authors: M. I. Dyakonov

      ... The story goes that during World War II an inventor appeared with an idea of extreme military value. Since at the time quantum cryptography did not yet exist, the inventor insisted that they take him to the very top, that is, to Stalin.
      - So, tell me what is it about.
      - It’s simple, comrade Stalin. You will have three buttons on your desk, a green one, a blue one, and a white one. If you press the green button, all the enemy ground forces will be destroyed. If you push the blue button, the enemy navy will be destroyed. If you push the white button, the enemy air force will be destroyed.
      - OK, sounds nice, but how will it work?
      - Well, it’s up to your engineers to figure it out! I just give you the idea.

      Не пошкодуйте часу на те щоби подивитись всю статтю на предмет чудового рисунку №1 та підпису до нього.

      Злочинних академіків -- на зарплату!
      Пропагандистів магнітної води -- на waterboarding!
  • 2009.05.30 | Shooter

    Життя взагалі неідеальне

    Тим не менше - ІЦ є одним з об'єктивних факторів оцінки роботи вчених. А всі "нюанси" можна завжди відрегулювати так, щоб нікого не образити - було би бажання.

    Наприклад, на рівні інститутів/університетів.

    Плюс, звісно, публікації - це не єдиний продукт науки. Другий, не менш важливий, - "впровадження". І це також би мало братися до уваги.

    Етс.
    згорнути/розгорнути гілку відповідей
    • 2009.05.30 | texas aggie

      Re: Життя взагалі неідеальне

      На Заході основним методом оцінки вчених є не ІЦ, а peer review. Ще раз повторюся: у нас на департаменті ні разу я не чув який ІЦ того чи іншого кандидата на роботу чи на підвищення. Цього року я в комісії по наданню tenure, і ми теж у характеристиці кандидата ні про які цитування чи імпакт фактори не писали. Все основано на рекомендаціях, наявності грантів (які теж даються на основі рецензій), наявності публікацій, їх рівень (на основі традиційної престижності журналів), якості викладання (на основі student teaching evaluations і відвідування лекцій), суспільно-корисна робота (рецензування та реферування статей, участь у різних комісіях, організація конференцій).

      Використання чисел для оцінки якості створює ілюзію, що довільні два науковці можна порівняти, і визначити хто із них сильніший. Але це не так навіть у одній вузькій спеціальності.

      Зрозуміло, що ефективна система peer review можлива лише при наявності відповідної культури і традицій. Всім відомо що таке рекомендація, відгук чи рецензія в Україні...
      згорнути/розгорнути гілку відповідей
      • 2009.05.30 | Shooter

        Re: Життя взагалі неідеальне

        texas aggie пише:
        > На Заході основним методом оцінки вчених є не ІЦ, а peer review.

        Peer review публікації, як і їх цитуання, і є, фактично, складовою "ширшого" peer review процесу.

        > Ще раз повторюся: у нас на департаменті ні разу я не чув який ІЦ того чи іншого кандидата на роботу чи на підвищення. Цього року я в комісії по наданню tenure, і ми теж у характеристиці кандидата ні про які цитування чи імпакт фактори не писали. Все основано на рекомендаціях, наявності грантів (які теж даються на основі рецензій), наявності публікацій, їх рівень (на основі традиційної престижності журналів),

        Ви кажете те ж самісіньке (обмежимося лише науковою роботою), що і я.

        1) "наявність публікацій в престижних журналах" означає наявність публікацій в журналах з високим імпакт фактором. Індекс цитувань - фактично, є лише ще одним із способів як кількісно написане Вами вище оцінити

        2) ґранти - для аплікованих наук це і є "рівень впроваджуваності результатів", in a way. знову ж таки, класичне "кількість ґрантів" в даний момент для Україи не є аплікувальне, оскільки в Україні просто відсутня повноцінна система ґрантових аґентур.

        Без сумніву, одним із принципових системних кроків в Україні би мало бути створення державних ґрантових аґентур та розвиток системи приватних ґрантів (уявляю собі: базарний торговець Коломойскій та макрушнік Ахмєтов дають ґранти на науку...ага.).

        Проте сьогодні, тим не менше, лише пункт 1) залишається об'єктивним мірилом якости наукової роботи в Україні.

        Як зміниться ситуація - зміняться і показники.
        згорнути/розгорнути гілку відповідей
        • 2009.05.30 | Torr

          Re: Життя взагалі неідеальне [:|||||||||||||:]

        • 2009.05.31 | texas aggie

          Re: Життя взагалі неідеальне

          Ви все кажети правильно. Якщо вчений хороший, то як правило і індекс цитування у нього не поганий. Але я не уявляю, щоб хтось публікував на Заході рейтинг математиків якогось університету, якоїсь організації, чи взагалі просто "топ 100" за індексом цитування. На щастя поки що це нікому не приходить у голову (наскільки я знаю). Я не проти твердження, що високий індекс цитування може бути ознакою якості вченого, я лише проти того, щоб якісь числа використовувалися офіційно при прийнятті різних важливих рішень. Звичайно, із числами легше, створюється враження об'єктивності, але вони стають небезпечними при систематичному використанні. Зрозуміло, що в Україні прийняття таких "об'єктивних" критеріїв як ІЦ матиме на перших порах позитивний вплив. Але як тільки ці критерії стануть офіційними і системними, це поступово і досить швидко даватиме негативні наслідки.
          згорнути/розгорнути гілку відповідей
          • 2009.05.31 | Трясця

            Re: Життя взагалі неідеальне

            Давайте відчуємо «позитивний вплив», а то щось саме негативні впливи домінують. Хай замість нездар та бандитів нагородять (хоч один тільки разочок!) гуманітаріїв, які мають хоч якийсь ІЦ. А то можна і Довгого, і Ківалова нагороджуватися, навішуючи локшину на вуха простим людям, бо один дохтур, а той дохтурську готує, про що весь світ повідомив.
          • 2009.05.31 | Калькулятор

            Re: Життя взагалі неідеальне

            "щоб якісь числа використовувалися офіційно при прийнятті різних важливих рішень".
            Можно у Вас поинтересоваться, чем у нас руководствуются при принятии разных важных решений?
            згорнути/розгорнути гілку відповідей
            • 2009.05.31 | Трясця

              Re: Життя взагалі неідеальне

              А я за нього відповім, поки він спить, чим вони (начальство) насправді керуються, приймаючи свої доленосні рішення. Але спочатку нагадаю творчій молоді, що товариш Сталін розрізняв «головне» та «основне» в марксизмі. І сушили наші бідні предки голови на політзаняттях, розмірковуючи, яка різниця між основним та головним. Так і не второпали. Тепер комуністи на чолі з Ющенком, нагороджуючи, вітаючи та славлячи різний псевдо-інтелектуальний непотріб, керуються своїми примітивними, але добре усвідомленими правилами життя. Головне ¬ відзначати тільки соціально близьких, а основне ¬ побільше отримати прибутку, нічого не роблячи. Ті, кому випало щастя присмоктатися до головного, допомагають керманичам отримати основне. Тому цифри, числа, інтеграли та інший дріб’язок тільки заважають «кнацати» своїх. Тому вони вбачають суцільний негатив у позитиві.

              А тепер трохи про науку. Не цитування і не статті в Physical Review, попри наївну дитячу гордість пана Стріхи, підтверджують дійсні досягнення, а результати. Але, оскільки в Україні немає наукової спільноти, котра за допомогою peer review ці результати (або їх відсутність) оцінила б належним чином, то хай хоч якісь загальновизнані критерії існують, хоча б «цифри» якісь. Інакше в «унікальній» країні виникне унікальна кількість офіційно визнаних геніїв, а освіта впаде до рівня Буркіна-Фасо. До речі, гуманітарна наука вже встигла впасти на основний рівень (він же ¬ головний), але нестримно прямує далі, в антисвіт..
              згорнути/розгорнути гілку відповідей
              • 2009.05.31 | Torr

                Re: Життя взагалі неідеальне

                Трясця пише:
                > А тепер трохи про науку. Не цитування і не статті в Physical Review, попри наївну дитячу гордість пана Стріхи, підтверджують дійсні досягнення, а результати. Але, оскільки в Україні немає наукової спільноти, котра за допомогою peer review ці результати (або їх відсутність) оцінила б належним чином, то хай хоч якісь загальновизнані критерії існують, хоча б «цифри» якісь. Інакше в «унікальній» країні виникне унікальна кількість офіційно визнаних геніїв, а освіта впаде до рівня Буркіна-Фасо. До речі, гуманітарна наука вже встигла впасти на основний рівень (він же ¬ головний), але нестримно прямує далі, в антисвіт..
                "офіційно визнані генії" - це і є основне в радянській і пост-радянській науці. Якшо нема розподілу за кольором штанів, то який сенс життя? :)
            • 2009.05.31 | texas aggie

              Re: Життя взагалі неідеальне

              Калькулятор пише:
              > "щоб якісь числа використовувалися офіційно при прийнятті різних важливих рішень".
              > Можно у Вас поинтересоваться, чем у нас руководствуются при принятии разных важных решений?

              А я звідки знаю? Повірте, я теж вважаю, що м'яко кажучи, НАН погано пахне.
          • 2009.05.31 | SPIRES

            Якщо вчений хороший...

            texas aggie пише:
            > Ви все кажети правильно. Якщо вчений хороший, то як правило і індекс цитування у нього не поганий. Але я не уявляю, щоб хтось публікував на Заході рейтинг математиків якогось університету, якоїсь організації, чи взагалі просто "топ 100" за індексом цитування. На щастя поки що це нікому не приходить у голову (наскільки я знаю). Я не проти твердження, що високий індекс цитування може бути ознакою якості вченого, я лише проти того, щоб якісь числа використовувалися офіційно при прийнятті різних важливих рішень. Звичайно, із числами легше, створюється враження об'єктивності, але вони стають небезпечними при систематичному використанні. Зрозуміло, що в Україні прийняття таких "об'єктивних" критеріїв як ІЦ матиме на перших порах позитивний вплив. Але як тільки ці критерії стануть офіційними і системними, це поступово і досить швидко даватиме негативні наслідки.


            Скорее наоборот, если индекс цитирования хороший, то и ученый хороший.


            При подаче заявки на одинаковую позицию не может возникнуть конкурс между чистым математиком и биологом.


            "топ 100" - это очень популярная и используемая форма сравнения достижений разных ученых:


            http://www.slac.stanford.edu/spires/topcites/matrix.shtml

            http://www.slac.stanford.edu/spires/topcites/2008/annual.shtml
            згорнути/розгорнути гілку відповідей
            • 2009.05.31 | texas aggie

              Re: Якщо вчений хороший...

              SPIRES пише:
              > Скорее наоборот, если индекс цитирования хороший, то и ученый хороший.

              Тобто бувають хороші вчені із не дуже хорошим індексом цитування? Погоджуюся. Тому я і написав "як правило".

              > При подаче заявки на одинаковую позицию не может возникнуть конкурс между чистым математиком и биологом.

              Так. Але ще раз повторюся: за моїм досвідом, у математиці індекс цитування на конкурсах на позицію напряму не враховується і не фігурує.

              > "топ 100" - это очень популярная и используемая форма сравнения достижений разных ученых:
              >
              >
              > http://www.slac.stanford.edu/spires/topcites/matrix.shtml
              >
              > http://www.slac.stanford.edu/spires/topcites/2008/annual.shtml

              Це рейтинги статей, а не вчених, що мабуть має сенс. Такі рейтинги я бачив і в математиці. Але ніколи в математиці я не бачив рейтингів вчених за цитуванням. Можливо вони і існують, але не думаю, що серйозно їх будуть сприймати.

              Звичайно, бюрократам легше оперувати із цифрами, тому тиск щодо прийняття подібних критеріїв з боку адміністрації мабуть є, але поки що вдається цьому тиску протистояти (якщо він є, бо я цього точно не знаю).
              згорнути/розгорнути гілку відповідей
              • 2009.05.31 | Сергій Вакуленко

                Re: Якщо вчений хороший...

                texas aggie пише:

                > у математиці індекс цитування на конкурсах на позицію напряму не враховується і не фігурує.

                Мабуть, тому, що математики знають ціну цифрам.
        • 2009.05.31 | ники

          Re: Життя взагалі неідеальне

          Життя не ідеальне, ну хай ВОНИ Архіадепти-академіки вже повиздихають, можливо тоді тім, молодим залишиться піднчти прапор і заявити про свої здатності. Хай живуть наші діти...
      • 2009.05.31 | marazm_krepchal

        Re: Життя взагалі неідеальне

        > На Заході основним методом оцінки вчених є не ІЦ, а peer review. [...] Все основано на рекомендаціях, наявності грантів (які теж даються на основі рецензій),
        В Англии уже пытаются давать гранты на основе цитирований, см. Добавку в моём основном тексте.
        згорнути/розгорнути гілку відповідей
        • 2009.06.01 | texas aggie

          Дуже дякую за цікаву інформацію

          Особливо за цей лінк

          http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

          Рекомендую всім любителям ІЦ, імпакт факторів та індексів Гірша прочитати, що про це думають статистики (!) та математики.

          Numbers are not inherently superior to sound judgments.

          Example 1 на сторінці 10 схожий на те, що зараз у Польщі. Виправте, якщо я помиляюся.

          Особливо цікавим є порівняння Proceedings і Transactions на сторінці 11. До речі те, в який із цих двох журналів попаде стаття визначається винятково за її розміром. Аналогічна система є в журналах London Math Society.
          згорнути/розгорнути гілку відповідей
          • 2009.06.01 | Трясця

            Як можна звести нанівець дискусію

            Шановні захисники академіків занурилися до нетрів бібліометрики. Натомість, сутність справи полягає в тому, що треба якось оцінювати наукові досягнення, а не регалії так званих «учених» (жахливий термін, на відміну від «науковець»). ІЦ є одним із показників, число публікацій ¬ іншим, кількість запрошених доповідей на міжнародних конференціях ¬ ще одним. Те, що зробила шановна дослідниця наукового доробку академіків, попри деякі фактичні помилки лінгвістичного походження, дуже корисно, бо результати яскраво свідчать, що переважна частина українських академіків та членів-кореспондентів є «і м і т а т о р а м и» науки. Їх існування в НАНУ, інших держакадеміях, ВНЗ нікому не принесло користі, більше того ¬ воно шкідливе, бо забирає народні кошти і дискредитує науку в очах платників податків. Тому наукових бонз треба оцінювати, як і докторів та кандидатів. ІЦ не подобається ¬ вигадайте щось краще за ІЦ. Але мусить бути конструктив. Якщо його не буде, то оцінювання зведеться до висловлення особистих симпатій (наразі, Ющенка). І тоді видатними науковцями вважатимуться Янукович, Табачник, Довгий, Черновецький, Ківалов.
            згорнути/розгорнути гілку відповідей
            • 2009.06.01 | texas aggie

              Re: Як можна звести нанівець дискусію

              Якого це дива я захисник академіків?! Щоб зрозуміти, що НАНУ stinks ніякого ІЦ не потрібно, достатньо простого здорового глузду. Ніхто не заперечує, що інформація про ІЦ академіків цікава і чимось корисна. Але я вважаю, що нічого хорошого від того, що МОН чи Ющенко будуть керуватися ІЦ для визначення видатних науковців, не буде.
              згорнути/розгорнути гілку відповідей
              • 2009.06.01 | Трясця

                Методологічна помилка

                Тут і є корінь наших розбіжностей. Тільки сама наукова спільнота, якщо вона здорова, може визначати переможців. Ющенко чи МОН взагалі не повинні оцінювати науковців! Та вони й не здатні. Вони ж не оцінюють пловців чи гімнастів України на державних змаганнях? А науковій спільноті цей показник буде в пригоді.
                згорнути/розгорнути гілку відповідей
                • 2009.06.01 | texas aggie

                  Здається Ви мене не правильно зрозуміли.

                  Я якраз і говорив, що нормальним методом оцінки науковців є peer review, тобто думка здорової наукової спільноти. Здорова наукова спільнота і без ІЦ знає чого варта НАНУ. Звичайно, ІЦ дає якусь (!) додаткову інформацію. Ситематичне використання ж ІЦ якраз і створить у бюрократів МОН відчуття що вони можуть порівнювати науковців. Яке число більше, а яке менше знає навіть найдурніший секретар в МОН! Перечитайте приклад із Британії та критику ІЦ математиків і статистиків. Там якраз про це і йдеться.

                  Трясця пише:
                  > Тут і є корінь наших розбіжностей. Тільки сама наукова спільнота, якщо вона здорова, може визначати переможців. Ющенко чи МОН взагалі не повинні оцінювати науковців! Та вони й не здатні. Вони ж не оцінюють пловців чи гімнастів України на державних змаганнях? А науковій спільноті цей показник буде в пригоді.
                  згорнути/розгорнути гілку відповідей
                  • 2009.06.02 | loup-garou

                    Shepherd and consultant (/)

                    Once upon a time there was a shepherd tending his sheep at the edge of a country road. A brand new Jeep Grand Cherokee screeches to a halt next to him. The driver, a young man dressed in a Briani suit, Cerutti shoes, Ray-Ban sunglasses, Jovial Swiss wrist watch, and a Bhs tie gets out and asks the shepherd, "If I can guess how many sheep you have, will you give me one of them?" The shepherd looks at the young man, then looks at the sprawling field of sheep and says, "Okay."

                    The young man parks the SUV, connects his notebook and wireless modem, enters a NASA site, scans the ground using his GPS, opens a database and 60 Excel tables filled with algorithms, then prints a 150 page report on his high tech mini printer. He then turns to the shepherd and says, "You have exactly 1,586 sheep here."

                    The shepherd answers, "That's correct! You can have your sheep."

                    The young man takes one of the animals and puts it in the back of his vehicle. The shepherd looks at him and asks, "Now, if I guess your profession, will you pay me back in kind?"

                    The young man answers, "Sure."

                    The shepherd says, "You are a consultant."

                    "Exactly! How did you know?" asks the young man.

                    "Very simple," answers the shepherd. "First, you came here without being called. Second, you charged me a fee to tell me something I already knew. Third, you don't understand anything about my business - and I'd really like to have my dog back."
                    згорнути/розгорнути гілку відповідей
                    • 2009.06.02 | дитинка

                      Re: Shepherd and consultant (/)

                      Это присказка, не сказка, сказка будет впереди!

                      З часом, пастухів стало дуже багато, а овець вже було стільки, що і пастухи самі порахувати не могли. А от шерсті та м'яса все одно не вистачало. Тоді вирішили мудрі правителі тієї землі доплачувати пастухам за кожну вівцю.

                      Одна біда, вірили правителі пастухам забагато, і не рахували овець, і не зважували, кількість шерсті не міряли, бо "не царское это дело". А пастухи швидко збагнули це і почали вихвалятися, в мене 1000 овець, а в мене 10000 і всі найкращі за світові аналоги... Все було б добре, але ж гроші за все це прості люди платили...

                      От тоді й захотіли люди розібратися, чому їх гроші витрачаються, правителі й пастухи задоволені, а ні м'яса, ні шерсті немає... Тут вийшло якесь маленьке ягнятко, що у інших краях побувало і каже: там, у них, у ...ландії і земля така ж сама, і сонце, і пастухи, і вівці, але є консультанти, які ні від правителів, ні від пастухів, ні від овець не залежать, а лише міряють і зважують овець, яких пастухи вирощують і продають. І роблять все на виду, так щоб кожний перевірити міг...

                      І не встигло договорити, як піднявся страшенний вий. Всі кричали! Пастухи, бо тепер не можна брехати буде, правителі, бо якесь ягнятко їх научає, тай самі вівці замекали, бо злякалися, що худих та старих з'їдять, тільки здорових та сильних залишать.

                      От і вирішили залишити все як є, ще й класика згадали "Мириться лучше со знакомым злом, Чем бегством к незнакомому стремиться!"

                      А ягнятко той вірш повністю знало:

                      "Так всех нас в трусов превращает мысль,
                      И вянет, как цветок, решимость наша
                      В бесплодье умственного тупика,
                      Так погибают замыслы с размахом,
                      В начале обещавшие успех,
                      От долгих отлагательств",

                      зітхнуло важко, та й поїхало назад да ...ландії.
                • 2009.06.01 | Torr

                  Re: Методологічна помилка

                  Трясця пише:
                  > Тут і є корінь наших розбіжностей. Тільки сама наукова спільнота, якщо вона здорова, може визначати переможців. Ющенко чи МОН взагалі не повинні оцінювати науковців! Та вони й не здатні. Вони ж не оцінюють пловців чи гімнастів України на державних змаганнях? А науковій спільноті цей показник буде в пригоді.

                  кого маєте на увазі під "наукова спільнота"? Формальна "наукова спільнота" чи хтось конкретно?
                  згорнути/розгорнути гілку відповідей
                  • 2009.06.02 | Трясця

                    Re: Методологічна помилка

                    Якщо б у нас було громадянське суспільство, то науковою спільнотою була б сукупінсть науковців, які добровільно об’єднуються в товариства за фахом, які обирають ректорів, деканів, професорів, завідуючих лабораторій таємним голосуванням, які оцінюють дисертації не так, як оцінювали злочинні брехливі фахові ради дисертації Януковича, Шуфрича, Табачника, Литвина. От вони й створили би Національну академію (одну, але справжню), де гроші б членам не платили, де єдиною платою була б честь. ІЦ, який тут так комусь муляє, що аж пищать, був би одним з критеріїв успішності та корисності доробку. Не єдиним, а одним із. Відчуйте різницю. Ось і все, і не було б ані Губерського, ані Скопенка, ані «липового студента» Андрія Ющенка. «Жаль только жить в эту пору прекрасную уж не придется ни мне, ни тебе!»
                    згорнути/розгорнути гілку відповідей
                    • 2009.06.02 | Torr

                      Re: Методологічна помилка

                      Трясця пише:
                      > Якщо б у нас було громадянське суспільство, то науковою спільнотою була б сукупінсть науковців, які добровільно об’єднуються в товариства за фахом, які обирають ректорів, деканів, професорів, завідуючих лабораторій таємним голосуванням, які оцінюють дисертації не так, як оцінювали злочинні брехливі фахові ради дисертації Януковича, Шуфрича, Табачника, Литвина. От вони й створили би Національну академію (одну, але справжню), де гроші б членам не платили, де єдиною платою була б честь. ІЦ, який тут так комусь муляє, що аж пищать, був би одним з критеріїв успішності та корисності доробку. Не єдиним, а одним із. Відчуйте різницю. Ось і все, і не було б ані Губерського, ані Скопенка, ані «липового студента» Андрія Ющенка. «Жаль только жить в эту пору прекрасную уж не придется ни мне, ни тебе!»

                      дякую, але маю ще одне питання, чисто теоретичне. "громадянське суспільство" і "наукова спільнота" - це як курка і яйце. То шо раніш з"явиться?
  • 2009.06.01 | VML

    Re: Ещё раз о несовершенстве рейтингов ученых по цитированиям

    В принципе будучи согласным с Вашими замечаниями, хотел бы заметить, что еще 2 года назад в Зереале недели, отвечая Рожену на его неумеренное восхваление отесественных биологов, какой-то физик по сути ответил ему то, о чем пишете Вы. Так что писать, что Вы "открываете Америку" я бы не стал.
    згорнути/розгорнути гілку відповідей
    • 2009.06.01 | marazm_krepchal

      Re: Ещё раз о несовершенстве рейтингов ученых по цитированиям

      > писать, что Вы "открываете Америку" я бы не стал.
      Да конечно, это уже говорилось неоднократно, в частности и на этом форуме, например, в комментариях к темам http://www2.maidan.org.ua/n/osvita/1228520170 и http://www2.maidan.org.ua/n/osvita/1238003196 . Но всё же большая часть реформаторов продолжает обожествлять индекс цитирования (потому как толком не до конца понимает, что это такое, и даже не умеет его правильно считать), а потому я и решил разжевать это дело для широких масс. Это ни в коем случае не претензия на открытие, а скорее ликбез для чайников.

      Однако, боюсь, что я зря тратил время на эту писанину, - судя по комментариям выше, ненависть к академикам и зависть к их зарплатам вытеснили из мозгов большинства уважаемых комментаторов всякую способность к логическому мышлению и умение до конца вникать в суть проблемы, не поддаваясь эмоциям, как то подобает научным работникам (если она, способность эта, у них когда-то была).
      згорнути/розгорнути гілку відповідей
      • 2009.06.01 | Трясця

        Гнилий спосіб дискусії

        Знов пан Маразм хоче за ту ж гнилу рибу, але вже більші гроші. ІЦ ніхто на форумі не переоцінив, отже не бийтеся з неіснуючими тезами. ІЦ, повторюю, один із засобів відкидання гнилої плоті. Якщо немає цитувань у людини, яка вітчизняним істеблішментом десятки років вважалася гуру, значить він ¬ нуль. А якщо є, то тоді аналіз продовжується. Не бійтеся, пане Маразме, за нещасних опльованих академіків: в нас є не тільки злочинні академіки, але й злочинні доктори та злочинні аспіранти. А злочин їх полягає в тому, що вони даремно з’їдають народні гроші та дискредитують науку серед платників податків. Якщо письменника ніхто не читає, то він ¬ не письменник, а якщо науковця ніхто в світі не знає, то він ¬ не науковець. Все. Крапка. Раніше (300 років тому) було не так. Опублікуватися було важко, Інтернету не було тощо. Тепер значно легше себе показати та значно прозоріші результати цієї вистави: або карти на стіл, або ти ¬ нуль.

        І ще про вигадану Вами заздрість. Я за кордоном заробляю більше від академіка, але чесно.
      • 2009.06.01 | Калькулятор г-ну Marazm_krepchal

        Re: Ещё раз о несовершенстве рейтингов ученых по цитированиям

        Г-н Marazm_krepchal
        Предположим, что Вы правы:
        "Однако, боюсь, что я зря тратил время на эту писанину, - судя по комментариям выше, ненависть к академикам и зависть к их зарплатам вытеснили из мозгов большинства уважаемых комментаторов всякую способность к логическому мышлению и умение до конца вникать в суть проблемы, не поддаваясь эмоциям, как то подобает научным работникам (если она, способность эта, у них когда-то была."
        Предположим далее, что Ваш интеллект на порядки превосходит научные потенции "завистников и ненавистников".

        Исходя из этих двух гипотез, формулирую исследовательскую проблему.
        Не могли бы Вы вникнуть в суть того, как становятся академиками -- на основе каких критериев и как можно верифицировать реальное, а не официальное применение этих критериев.
        Я понимаю, что эта сложнейшая задача требует анализа Статута НАНУ и других нормативных актов, практики их применения, атмосферы в институтах, традиций, восходящих к Вернадскому и Скоропадскому, а может быть даже к трипольцам, документооборота на разных уровнях бюрократической иерархии, стенограмм заседаний отделений, Презилиума НАНУ, отчетов, в том числе и персональных членов, за последние два десятка лет (развал Союза списал все те обещания, которые давали ленинскому Политбюро наши бессменные руководители), и тому подобное.
        Но если Вы тратите свое драгоценное время на критику кучки каких-то маргиналов (оцениваю число активных участников -- до 30 человек, среди которыз две-три кстати защищают институт персональных членов), то почему б Вам не заняться анализом позиции настоящих научных лидеров, то есть персональных членов всех госакадемий (их, членов,по меньшей мере, 1200).
        С нетерпением жду доступного моему хилому процессору изложения полученных Вами результатов.
        Может у Вас уже есть изложение проведенного Вами исследования состояния украинской науки? Укажите источник или источники, которые излагают близкую Вам позицию? Ведь столько фимиама было воскурено в связи с последними юбилеями!
        Ну это б было супер, если б Вы еще показали, как возможна наука в цивилизованных странах без института персональных членов (это парафраз Канта)!
        згорнути/розгорнути гілку відповідей
        • 2009.06.01 | Калькулятору від Дідуся

          Re: Ещё раз о несовершенстве рейтингов ученых по цитированиям

          На Ваші запитання на адресу пана Marazm etc вже давно є офіційна відповідь. Так що немає жодної потреби проводити якісь додаткові дослідження або, як казали у радянські часи, "доводити те, що вже доведено".

          Текст запиту 2007 року http://ukrnauka.org.ua/InfZap01.htm

          " В порядку ст. 32, 21, 22, 24 закону України “Про інформацію” звертаємось до Вас з інформаційним запитом і ПРОСИМО повідомити наступну інформацію:

          А) якими саме критеріями “видатності” і “визначності” керуються Загальні збори НАН України, застосовуючи їх згідно зі своїми повноваженням в контексті п. 19 Статуту НАН України:

          «Дійсними членами НАН України обираються вчені, які зробили видатний внесок у розвиток відповідних напрямів науки.
          Членами-кореспондентами НАН України обираються вчені, які збагатили науку визначними здобутками».

          Іншими словами, просимо розтлумачити зміст понять “видатний внесок” і “визначні здобутки”, надавши детальну характеристику критеріїв, які визначають застосування цих понять.

          Б) за допомогою яких критеріїв та процедур визначаються:
          – відповідність рівня наукових досліджень НАНУ “світовому рівню”;
          – пріоритетність певних напрямів науки,
          про які йдеться в пп. 2 п. 11 розділу II “Основні завдання НАН України” її Статуту :
          «2) виконання на світовому рівні фундаментальних і прикладних досліджень на пріоритетних напрямах науки та посилення впливу їх результатів на інноваційний розвиток економіки, освіти і культури в Україні».

          В) де саме (назвати джерело) і в який саме спосіб можна ознайомитися з
          – повними переліками наукових праць академіків станом на момент обрання кожного з них в члени (члени-кореспонденти) НАН України;

          – щорічними звітами академіків і членів-кореспондентів НАН України".

          Відповідь http://ukrnauka.org.ua/InfZap01Re.htm

          "На ваш запит від 10.05.2007 згідно з статтями 19, 20 Закону України “Про звернення громадян” повідомляю:

          А) ВИДАТНИЙ, -а, -е. Який вирізняється з-поміж інших якими-небудь надзвичайними рисами, якостями, особливостями.

          ВИЗНАЧНИЙ, -а, -е. 1. Який відзначається своїми позитивними рисами; видатний. 2. Важливий за своїм значенням. 3. Якого можна обчислити, виміряти і т. ін.

          (Великий тлумачний словник сучасної української мови онлайн, http://www.slovnik.net

          Застосування понять “видатний внесок” і “визначні здобутки” стосовно обрання вчених України дійсними членами (академіками) або членами-кореспондентами Національної академії наук України здійснюється шляхом експертної оцінки за сукупністю таких ЗАГАЛЬНОВІДОМИХ критеріїв як ПЕРЕЛІК, характер, зміст та рівень наукових праць, ІНШИХ результатів наукової (науково-технічної) діяльності; створення та/або розвиток наукових шкіл; наявність та вагомість посилань на праці даного автора у вітчизняній та СВІТОВІЙ науковій літературі; апробація отриманих наукових результатів на вітчизняних та МІЖНАРОДНИХ наукових НАРАДАХ, конференціях, семінарах, з'їздах; наявність та значимість наукових відкриттів, винаходів, закінчених досліджень та розробок, ВПРОВАДЖЕНИХ У НАРОДНЕ ГОСПОДАРСТВО, СУСПІЛЬНУ ПРАКТИКУ, СОЦІАЛЬНЕ ТА КУЛЬТУРНЕ БУДІВНИЦТВО; науково-педагогічна діяльність, зокрема ПІДГОТОВКА НАУКОВИХ КАДРІВ ВИЩОЇ КВАЛІФІКАЦІЇ - докторів та кандидатів наук тощо.

          Б) Так само експертним шляхом визначається відповідність виконуваних у НАН України досліджень світовому рівню; набір критеріїв та застосування процедур встановлюються ОКРЕМО У КОЖНОМУ конкретному випадку.

          Пріоритетність певних напрямів науки визначається згідно з статтями 25, 26, 27, 28, 29 Закону України “Про наукову і науково-технічну діяльність”.

          В) 3 повними переліками наукових праць членів НАН України станом на момент обрання їх до складу академії можна ознайомитися: у період виборів до Національної академії наук України - у відповідних відділеннях НАН України; в інший час - шляхом звернення до них особисто, за місцем їх основної роботи або у відділі наукових і керівних кадрів Президії НАН України (ЗА ЗГОДОЮ ЦИХ ОСІБ, ст. 23 закону України “про інформацію”).

          З щорічними звітами академіків і членів-кореспондентів НАН України можна ознайомитися у відповідних відділеннях НАН України в зазначеному вище порядку".


          Відповідь повна, переконлива, обґрунтована та офіційна. Якого ще Вам біса потрібно?
  • 2009.06.02 | Shooter

    Знову ламання списів та воювання з млинами.

    Чи то вітряними, чи то водяними.

    Просте питання: який би мав бути найперший простий системний крок щодо реформування української науки?

    Відповіді вітаються :)
    згорнути/розгорнути гілку відповідей
    • 2009.06.02 | Георгій

      Re: Знову ламання списів та воювання з млинами.

      Shooter пише:
      > Просте питання: який би мав бути найперший простий системний крок щодо реформування української науки?
      (ГП) Мeні здається, таким систeмним кроком могла б бути поява в кeрівництві НАНУ абсолютно нової гeнeрації людeй, які працювали чи тeпeр працюють на Заході (таких, як проф. Н. Шульга, проф. О. Вeрхратський, проф. О. Кришталь і т.п.). Cамe вони повинні стати кeрівною вeрхівкою української акадeмічної науки - очолити Прeзидію, відділeння і т.д.

      Алe як цe зробити "тeхнічно," я собі нe уявляю, тому що за статутом НАНУ ці посади займаються обраними - а які там будуть "вибори," ми знаємо. :)

      Тому ніяких кроків. :(
      згорнути/розгорнути гілку відповідей
      • 2009.06.02 | Shooter

        Re: Знову ламання списів та воювання з млинами.

        Я погоджуюся з Вами щодо запропонованого, але це не системний крок. Лише "зміна ліжок" в НАНУ.

        Мова була про кроки, які індиферентно до персоналій, мали би допомогти укр.науці.
        згорнути/розгорнути гілку відповідей
        • 2009.06.02 | Трясця

          Re: Знову ламання списів та воювання з млинами.

          Ну, це уобще! То Ви гадаєте, що можна утворити таку систему, що історики Литвин та Шуфрич почнуть в архівах копирсатися, економісти Янукович, Ющенко та Тимошенко побудують стратегію виходу з кризи, а юрист Ківалов напише на пергаменті кодекс свого імені на віки?
  • 2009.06.14 | Iryna_

    Міжнародний союз математиків попереджає про критерій цитувань

    цитування з http://www.polit.ru/science/2008/06/16/mathunion.html

    ********
    http://www.mathunion.org/Publications/Report/CitationStatistics
    згорнути/розгорнути гілку відповідей
    • 2009.06.14 | дитинка

      Re: Міжнародний союз математиків попереджає про критерій цитувань

      Дети, спички не игрушка!

      Так що, тепер заборонити використання вогню?
      згорнути/розгорнути гілку відповідей
      • 2009.06.15 | Iryna_

        Re: Міжнародний союз математиків попереджає про критерій цитувань

        дитинка пише:
        > Дети, спички не игрушка!
        >
        > Так що, тепер заборонити використання вогню?
        чому заборонити?
        але дітям які не розуміють суті і наслідків - таки в руки його давати не можна


Copyleft (C) maidan.org.ua - 2000-2024. Цей сайт підтримує Громадська організація Інформаційний центр "Майдан Моніторинг".