о некорректности рейтингов цитирований на сайте nauka.in.ua
05/29/2009 | marazm_krepchal
Попытаюсь объяснить, почему технология составления рейтингов цитирований академиков и член-корров НАН Украины http://nauka.in.ua/citation-indexes является некорректной.
Есть некая база Thompson ISI http://isiknowledge.com/ , куда отбираются хорошие, т.е. честно рецензируемые, журналы. У этой базы есть много своих недостатков (это тема отдельного разговора), но следует признать, что это лучшее из того, что есть на данный момент.
Для каждого научного работника можно получить в этой базе следующие показатели:
1) Количество публикаций этого научного работника, опубликованных в журналах, попадающих в эти базы Thompson ISI.
Это легко ищется, надо только знать все написания латиницей его фамилии, которые фигурируют в его статьях.
2) Количество ссылок во всех статьях, проиндексированных Thompson ISI, ЛИШЬ НА ТЕ СТАТЬИ исследуемого научного работника, которые проиндексированы Thompson ISI (т.е. на те статьи, о котрых шла речь в п. 1).
Это также легко ищется, при этом Thompson ISI даёт ещё кучу дополнительных показателей, например среднее количество цитирований на статью, индекс Хирша и проч.
Именно это и предлагают нашему вниманию уважаемые составители рейтингов цитирований на сайте http://nauka.in.ua
Но существуют ещё и такой показатель для научного работника, как
3) Количество ссылок во всех статьях, проиндексированных Thompson ISI, НА ВСЕ ЕГО статьи, независимо от того, были ли последние проиндексированы в Thompson ISI или нет.
Для того, чтобы найти этот показатель, нужно, помимо реформаторского задора, иметь ещё и некий интеллект, а также трудолюбие.
Введя все варианты фамилии исследуемого автора в разделе ISI Web of Science, под названием Cited Reference Search http://apps.isiknowledge.com/WOS_CitedReferenceSearch_input.do?product=WOS&search_mode=CitedReferenceSearch
нужно самому просуммировать количество полученных цитирований (это можно делать и автоматически, если кто заинтересуется - напишу как). Более того, если автор стоит в своих старых статьях (а особенно монографиях) не первым, то нужно отдельно найти цитирования на все эти монографии и статьи, сделанные где-то до 2002 года (дальше не надо) и затем добавить к общему числу ссылок те из них, где в цитировании упоминается только первый автор.
Так вот, большая часть наших академиков - это пожилые люди, которые в силу незнания на достаточном уровне английского языка никогда не публиковались (и не публикуются) в журналах, индексируемых Thompson ISI. Поэтому очевидно, что показатели в пунктах 1 и 2 у них равны или близки к нулю, что и показывают таблицы, приведённые энтузиастами из nauka.in.ua.
Но, тем не менее, у многих из этих академиков и член-корров есть публикации, которые во времена их молодости были опубликованы в советских журналах, неиндексируемых в Thompson ISI, и которые, тем не менее, прекрасно цитируются в статьях, индексируемых Thompson ISI.
Это в какой-то степени, даже более круто: если хорошо цитируют твою статью, опубликованную во всем доступном англоязычном журнале - это хорошо, конечно. Но если в хороших журналах цитируют ту твою статью, которая когда-то по-русски была опубликована в малодоступном для буржуев советском журнале - это вдвойне круто! Значит, там есть такой результат, который нельзя проигнорировать, вне зависимости от того, где он был опубликован.
Поэтому лишь число цитирований, описанное выше в пункте 3, можно считать корректным показателем международного признания научных заслуг наших академиков и член-корров.
Ясно, что гуманитариям и экономистам и это не поможет (там всё так же будут нули), а вот по другим наукам показатели будут совсем другими. Вот яркий пример http://www2.maidan.org.ua/n/osvita/1243584051
Другое дело, что тогда на подсчёт цитирований для одного человека уйдёт масса времени и сил (и пол-дня можно просидеть над одним, особенно если у него распространённая фамилия или он не первый автор в монографии), и, более того, делать это должен специалист, разбирающийся в этой науке.
Тяжело, конечно, но такие деликатные вещи нужно делать или очень качественно или вообще никак. В противном случае, результатом усилий горе-реформаторов из http://nauka.in.ua будет лишь дискредитация самой идеи реформирования украинской науки на основе цитирований и индекса Хирша, которая, при умной и взвешенной постановке вопроса, могла бы стать вполне разумной и актуальной.
Добавка от 30.05:
Приведу ещё одно интересное наблюдение, характеризующее вредность технологии подсчёта цитирований, используемой активистами из УНК.
В качестве доказательства отсталости украинской науки часто приводят аргумент, что в Украине очень мало импактовых научных журналов.
Допустим, в редколлегии УФЖ появились здравые люди, которые поменяли устаревшие правила подачи статей и организовали более-менее нормальный процесс рецензирования.
Но это всё будет абсолютно без толку, если туда не станут подавать хорошие статьи, т.е. статьи, которые бы затем цитировались в других журналах, имеющих импакт-фактор.
Ведь именно наличие цитирующихся статей является главным условием для получения импакт-фактора.
И, наконец, допустим, что произошло чудо, и появился некий патриот украинской науки (академик или нет, неважно), который перешёл от слов к делу и начал слать свои сильные работы, скажем, не в PRD, а в УФЖ, с целью довести уровень последнего до получения импакт-фактора.
Так вот, выходит, что товарищи из УНК не засчитают ему цитирования в импактовых журналах на эти его статьи в УФЖ (ведь они же они считают цитирования только на те статьи, которые сами попали в Thompson ISI!), а толпа на этом форуме, радостно улюлюкая, назовёт его научным импотентом, не сильно вникая в суть вопроса.
Есть некая база Thompson ISI http://isiknowledge.com/ , куда отбираются хорошие, т.е. честно рецензируемые, журналы. У этой базы есть много своих недостатков (это тема отдельного разговора), но следует признать, что это лучшее из того, что есть на данный момент.
Для каждого научного работника можно получить в этой базе следующие показатели:
1) Количество публикаций этого научного работника, опубликованных в журналах, попадающих в эти базы Thompson ISI.
Это легко ищется, надо только знать все написания латиницей его фамилии, которые фигурируют в его статьях.
2) Количество ссылок во всех статьях, проиндексированных Thompson ISI, ЛИШЬ НА ТЕ СТАТЬИ исследуемого научного работника, которые проиндексированы Thompson ISI (т.е. на те статьи, о котрых шла речь в п. 1).
Это также легко ищется, при этом Thompson ISI даёт ещё кучу дополнительных показателей, например среднее количество цитирований на статью, индекс Хирша и проч.
Именно это и предлагают нашему вниманию уважаемые составители рейтингов цитирований на сайте http://nauka.in.ua
Но существуют ещё и такой показатель для научного работника, как
3) Количество ссылок во всех статьях, проиндексированных Thompson ISI, НА ВСЕ ЕГО статьи, независимо от того, были ли последние проиндексированы в Thompson ISI или нет.
Для того, чтобы найти этот показатель, нужно, помимо реформаторского задора, иметь ещё и некий интеллект, а также трудолюбие.
Введя все варианты фамилии исследуемого автора в разделе ISI Web of Science, под названием Cited Reference Search http://apps.isiknowledge.com/WOS_CitedReferenceSearch_input.do?product=WOS&search_mode=CitedReferenceSearch
нужно самому просуммировать количество полученных цитирований (это можно делать и автоматически, если кто заинтересуется - напишу как). Более того, если автор стоит в своих старых статьях (а особенно монографиях) не первым, то нужно отдельно найти цитирования на все эти монографии и статьи, сделанные где-то до 2002 года (дальше не надо) и затем добавить к общему числу ссылок те из них, где в цитировании упоминается только первый автор.
Так вот, большая часть наших академиков - это пожилые люди, которые в силу незнания на достаточном уровне английского языка никогда не публиковались (и не публикуются) в журналах, индексируемых Thompson ISI. Поэтому очевидно, что показатели в пунктах 1 и 2 у них равны или близки к нулю, что и показывают таблицы, приведённые энтузиастами из nauka.in.ua.
Но, тем не менее, у многих из этих академиков и член-корров есть публикации, которые во времена их молодости были опубликованы в советских журналах, неиндексируемых в Thompson ISI, и которые, тем не менее, прекрасно цитируются в статьях, индексируемых Thompson ISI.
Это в какой-то степени, даже более круто: если хорошо цитируют твою статью, опубликованную во всем доступном англоязычном журнале - это хорошо, конечно. Но если в хороших журналах цитируют ту твою статью, которая когда-то по-русски была опубликована в малодоступном для буржуев советском журнале - это вдвойне круто! Значит, там есть такой результат, который нельзя проигнорировать, вне зависимости от того, где он был опубликован.
Поэтому лишь число цитирований, описанное выше в пункте 3, можно считать корректным показателем международного признания научных заслуг наших академиков и член-корров.
Ясно, что гуманитариям и экономистам и это не поможет (там всё так же будут нули), а вот по другим наукам показатели будут совсем другими. Вот яркий пример http://www2.maidan.org.ua/n/osvita/1243584051
Другое дело, что тогда на подсчёт цитирований для одного человека уйдёт масса времени и сил (и пол-дня можно просидеть над одним, особенно если у него распространённая фамилия или он не первый автор в монографии), и, более того, делать это должен специалист, разбирающийся в этой науке.
Тяжело, конечно, но такие деликатные вещи нужно делать или очень качественно или вообще никак. В противном случае, результатом усилий горе-реформаторов из http://nauka.in.ua будет лишь дискредитация самой идеи реформирования украинской науки на основе цитирований и индекса Хирша, которая, при умной и взвешенной постановке вопроса, могла бы стать вполне разумной и актуальной.
Добавка от 30.05:
Приведу ещё одно интересное наблюдение, характеризующее вредность технологии подсчёта цитирований, используемой активистами из УНК.
В качестве доказательства отсталости украинской науки часто приводят аргумент, что в Украине очень мало импактовых научных журналов.
Допустим, в редколлегии УФЖ появились здравые люди, которые поменяли устаревшие правила подачи статей и организовали более-менее нормальный процесс рецензирования.
Но это всё будет абсолютно без толку, если туда не станут подавать хорошие статьи, т.е. статьи, которые бы затем цитировались в других журналах, имеющих импакт-фактор.
Ведь именно наличие цитирующихся статей является главным условием для получения импакт-фактора.
И, наконец, допустим, что произошло чудо, и появился некий патриот украинской науки (академик или нет, неважно), который перешёл от слов к делу и начал слать свои сильные работы, скажем, не в PRD, а в УФЖ, с целью довести уровень последнего до получения импакт-фактора.
Так вот, выходит, что товарищи из УНК не засчитают ему цитирования в импактовых журналах на эти его статьи в УФЖ (ведь они же они считают цитирования только на те статьи, которые сами попали в Thompson ISI!), а толпа на этом форуме, радостно улюлюкая, назовёт его научным импотентом, не сильно вникая в суть вопроса.
Відповіді
2009.05.29 | binna
Re: о некорректности рейтингов цитирований на сайте nauka.in.ua
НЕ факт что ИЦ будут вышеGolovko / Holovko
Database search:
1099
Cited Reference Search :
665
2009.05.29 | marazm_krepchal
Re: о некорректности рейтингов цитирований на сайте nauka.in.ua
Для Головко М.Ф. у меня вышло в Cited Reference Search:количество статей, где он цитируется: 674
общее количество цитирований: 1350
Поиск делался по
golovko mf OR holovko mf OR golovko m OR holovko m
Дело в том, что Вы попутали количество статей, в которых цитируется Головко М.Ф. (у вас это 665, у меня вышло 674 - разница в рамках погрешности, т.к. мы делали, вероятно, немного разный запрос), с общим количеством ссылок на него. Ведь в одной статье на него могут ссылаться несколько раз.
В табличке, которая появляется на Step 2 поиска, надо просто просуммировать те цифры, что появляются в предпоследней колонке, называется Citing Articles **. Это и будет общее количество цитирований.
Желаю удачи!
2009.06.03 | єколог
Re: о некорректности рейтингов цитирований на сайте nauka.in.ua
А чи не дасте перелік праць чл.-кора І. Г. Ємельянова (заг. біологія). Їх всього 7 але цитування зашкалює і віриться в це важко2009.05.29 | Torr
Re: о некорректности рейтингов цитирований
marazm_krepchal пише:> Тяжело, конечно, но такие деликатные вещи нужно делать или очень качественно или вообще никак. В противном случае, результатом усилий горе-реформаторов из http://nauka.in.ua будет лишь дискредитация самой идеи реформирования украинской науки на основе цитирований и индекса Хирша, которая, при умной и взвешенной постановке вопроса, могла бы стать вполне разумной и актуальной.
Предлагаете зарплату насчитывать на основе индекса Хирша?
2009.05.29 | Калькулятор
Re: о некорректности рейтингов цитирований на сайте nauka.in.ua
"которая, при умной и взвешенной постановке вопроса, могла бы стать вполне разумной и актуальной" -- думаю, что от Вашей конкретной помощи составители не откажутся.Трогает Ваша христианская забота о нищих персональных членах советского образца с нулевыми научными показателями за последние десятилетия.
Обращаю Ваше внимание, что у них и так максимальная научная пенсия, которая два-три раза больше зарплаты доктора наук и в 7-8 раз больше зарплаты мнс, и это не считая пожизненной степухи. За 18 лет можно было бы ее и отработать.Не можешь -- на заслуженный отдых. На безбедную и обеспеченную старость более чем достаточно. Вот где маразм крепчает!
2009.05.29 | Трясця
Re: о некорректности рейтингов цитирований на сайте nauka.in.ua
Шановний пане Маразме, повністю згоден з Вами стосовно різних методик пошуку. Я до цього нещодавно і незалежно від Вас дійшов, за що мені, як і Вам, пиріжка все одно не дадуть. Але хочу зазначити, що перевага другого варіанту відносно першого спрацьовує лише для нових статей, а для старих – там повний бардак, бо іноді цитування не першого автора з’являється в списку, а іноді й ні. Не згоден я з іншим, і тут пані автор таблиці та пан Калькулятор праві соціально. Ну і що, якщо була в нього в молодості робота, яку зараз цитують? З точки зору історії все рівно, коли вона була, а з точки зору соціальної справедливості – ні! Бо відсутність посилань на роботи за останні 20 (!) років, коли стало можливим публікуватися «там», означає, що він вже 20 років нічого не робить. За що ж академічні матеріальні заохочення? І друге, таких пенсіонерів-академіків, із добрим доробком у минулому та повним маразмом (це я не про Вас) зараз, майже немає. Як були Янсон, Локтєв, Одулов, Рябченко, Кулик, Борис Іванов, Сльозов чи Соскін хорошими науковцями тоді, так і зараз ними залишилися. Звичайно, не той темп, та й молоді співавтори до їхніх праць роблять більший внесок, але все ж-таки – не нулі! А там, де були нулі колись, то вони й зараз нулі. От як раз тому і варто кожному його ЗІЦ розраховувати за обома методиками одночасно. Тоді все буде враховано, і поставлені Вами питання будуть розв’язані.2009.05.29 | binna
Re: о некорректности рейтингов цитирований на сайте nauka.in.ua
Високий рівень ІЦ науковця L порівняно низьким рівнем ІЦ науковця M говорить лише про те що світовій науковій спільноті науковець L є більш відомий. Це є не єдинй, а один з декількох, критерій якості наукових здобутків. Звісно ж якщо шановне пансьтво запропонує щось додаткове, а тим паче втілить це у життя, гадаю всі ті кому доля Української науки небайдужа будуть надзвичайно вдячні.2009.05.29 | Трясця
Знов якийсь прокол
Citation Report Author=(Ryndych AV OR Ryndich AV OR Ryndytch AV OR Rynditch Av)Timespan=All Years. Databases=SCI-EXPANDED, SSCI, A&HCI.
This report reflects citations to source items indexed within Web of Science. Perform a Cited Reference Search to include citations to items not indexed within Web of Science.
Results found: 43
Sum of the Times Cited [?] : 135
View Citing Articles
View without self-citations
Average Citations per Item [?] : 3.14
h-index [?] : 5
2009.05.29 | binna
Re: Знов якийсь прокол
дякую, перевірю2009.05.29 | Трясця
Re: Знов якийсь прокол
Це я знайомих рятую, а хто врятує рядових член-корів?2009.05.29 | binna
Re: Знов якийсь прокол
я погоджуюсь з Вашим обуренням, але Holovko, Rynditch, Kolomietz- неочевидні транслітерації. Таблиця виставлена на загальний розгляд, наданий мій email і помилки виправляються оперативно. Було б дуже помічно якби наші науковці малі за правило публікувати список своїх робіт на сайтах відповідних інституцій, тоді б мені були відомі всі варіації написання їх імен2009.05.29 | Foreigner
And if we were Chinese?
The person who works is guilty by default. Do not worry. There are only several non-self-evident transliterations. They are sometimes ridiculous. OK. But imagine, however, the size and quality of your work if all of us were Chinese?2009.05.30 | Хома Брут
За що я люблю дописи marazm_krepchal
1) говорить по ділу2) говорить про те, що знає
3) говорить доброзичливо
Ці три якості мають, НМД, велике значення у питанні існування чи неіснування спільноти майдан-наука. Інакше кажучи, її існування на межі зникнення в основному, на мій погляд, завдячує рівню недоброзичливості і нетерпимості учасників один до одного.
Ну і щоби двічі не вставати: "Злочинних академіків - на палю!"
2009.05.30 | Трясця
Турбуюсь за академіків
А я не такий кровожерливий, як пан Хома: «На наукову пенсію у п’ять тисяч гривень!»2009.06.05 | yurchyk
Re: о некорректности рейтингов цитирований на сайте nauka.in.ua
Загалом ви праві, але нагадаю, що той же томпсон вже понад 3 роки обслуговує проект researcherID, де коден науковець може ввести всы варіанти написання свого прізвища, і атоматично згенерувати собі список публікацій та статистику цитувань. Тому те що академіки (а не один із них має кваліфікованого секретаря) не дбають за себе - це тільки мінус їм, а не тим хто намагається якимось чином скласти рейтинг.