Torr пише:
> Shooter пише:
> > Проте якщо в якійсь галузі 1/3 рефері "random або rational" - гаплик цьому напрямку чи з, чи без peer review
>
> типово напрямок розробляють декілько конкуруючих груп, тобто конкуренція дієвіша за peer review.
це вірно лише для "відвертоаплікувальної" науки. а peer review - це і є, власне, benchmаrking, наукових досліджень
так. Що таке об'єктивна оцінка роботи в гуманітарці,
питання досить складне і неоднозначне. Тут йдеться скоріше про відповідність критеріям певної наукової (чи антинаукової) школи, ніж про об'єктивну якість. Тобто в кращому разі маємо розвинений стандарт індустрії в цілому; в гіршому - відфонарні правила якогось ТОВ чи ЗАТ. Головне, щоб аффтур не сильно підривав основи локального марксизьму-ленінізьму. І правильно відформатував текст в дві колонки
Re: так. Що таке об'єктивна оцінка роботи в гуманітарці,
ziggy_freud пише:
> питання досить складне і неоднозначне. Тут йдеться скоріше про відповідність критеріям певної наукової (чи антинаукової) школи, ніж про об'єктивну якість. Тобто в кращому разі маємо розвинений стандарт індустрії в цілому; в гіршому - відфонарні правила якогось ТОВ чи ЗАТ.
ВАТ тільки, як на мене
2010.09.12 | простий науковець
Ландау колись казав, що бувають науки (мовою оригіналу)
"Естественные, не-естественные и противоестественные".
Отже, якщо сама "наука" є перверзією, то намагання її об'єктивно оцінити є, НМД, перверзією у квадраті.
хто приділяє недостатню увагу розвитку своє гуманітарної науки, отримує вижимки з чужої. В шкідливому для себе вигляді. Або популярні гороскопи і адаптовані поради з книги Домострой.
Ландау був настільки категоричним лише з одної причини: розробити марсистсько-ленінську фізику, так щоб за нею літали ракети, нікому не вдалось.
2010.09.12 | Torr
Re: Interesting
Shooter пише:
> Torr пише:
> > Shooter пише:
> > > Проте якщо в якійсь галузі 1/3 рефері "random або rational" - гаплик цьому напрямку чи з, чи без peer review
> >
> > типово напрямок розробляють декілько конкуруючих груп, тобто конкуренція дієвіша за peer review.
>
> це вірно лише для "відвертоаплікувальної" науки. а peer review - це і є, власне, benchmаrking, наукових досліджень
ну може і benchmаrking, але пам"ятника unknown referee таки треба ставити.
2010.09.13 | lenta.ru
Краткое содержание по-русски (кому лень читать всю статью)
Ученые показали, что процесс экспертной оценки научных работ - основной инструмент их "пропуска" в журналы - является крайне ненадежным в силу человеческого фактора. Свои наработки исследователи выложили в архив электронных препринтов Корнельского университета. Коротко работа описана на сайте Physics World.
В современной научной практике критерием для публикации статьи в научном журнале является ее оценка несколькими экспертами в соответствующей области - они читают присланные в редакцию работы и выносят решение, опубликовать их, отвергнуть или отправить на доработку. Эта система не считается идеальной (например, есть мнение, что ей не хватает открытости), однако большинство ученых полагают, что она является достаточно объективной и в целом работает удовлетворительно.
Авторы новой работы решили проверить, насколько система экспертной оценки устойчива к такому фактору как недобросовестные эксперты. Ученые разработали модель, в которую включили пять типов экспертов: правильные (отклоняют плохие работы и принимают хорошие), альтруисты и мизантропы (соответственно принимают или отклоняют все работы), рационалисты (отклоняют работы, которые могут отвести внимание от их собственных исследований) и случайные (принимают решения случайным образом из-за нехватки квалификации или времени).
Исследователи рассматривали схему, когда каждая новая работа направляется на рассмотрение двум экспертам, случайно выбранным из общего пула (внутри экспертного сообщества все типы экспертов представлены согласно гауссовскому, или нормальному, распределению). Работа считалась опубликованной, если оба эксперта давали ей положительную оценку. Если один был против, вероятность публикации принималась за 0,5.
После того как ученые "прогнали" модель для 1000 публикаций, они выяснили, что даже небольшой процент рационалистов и/или случайных экспертов способен существенно ухудшить качество отбираемых работ. Когда соотношение рационалистов, правильных и случайных экспертов в пуле составляло 1:1:1, статьи к публикации принимались фактически по случайному принципу.
Полученные результаты указывают, что адекватность экспертной оценки чрезвычайно сильно зависит от состава экспертов. Один из издателей физического журнала New Journal of Physics, ознакомившийся с результатами новой работы, заявил, что авторы недооценивают роль редакции журнала в процессе отбора публикаций. Именно редакция решает, кому из экспертов направить ту или иную работу, и старается избежать ситуаций конфликта интересов (хотя иногда - например, в случае узкой тематики - полностью исключить такой вариант нельзя).
Это не первая работа, в которой подвергаются сомнению существующие методы оценки значимости научных работ. Ранее ученые неоднократно высказывали претензии к системе, ранжирующей работы по их цитируемости (ссылки на статьи в статьях других авторов). Впрочем, на сегодняшний день более удобного и объективного способа оценки не существует.
Відповіді
2010.09.10 | Shooter
Interesting
Проте якщо в якійсь галузі 1/3 рефері "random або rational" - гаплик цьому напрямку чи з, чи без peer review2010.09.10 | Torr
Re: Interesting
Shooter пише:> Проте якщо в якійсь галузі 1/3 рефері "random або rational" - гаплик цьому напрямку чи з, чи без peer review
типово напрямок розробляють декілько конкуруючих груп, тобто конкуренція дієвіша за peer review.
2010.09.11 | Shooter
Re: Interesting
Torr пише:> Shooter пише:
> > Проте якщо в якійсь галузі 1/3 рефері "random або rational" - гаплик цьому напрямку чи з, чи без peer review
>
> типово напрямок розробляють декілько конкуруючих груп, тобто конкуренція дієвіша за peer review.
це вірно лише для "відвертоаплікувальної" науки. а peer review - це і є, власне, benchmаrking, наукових досліджень
2010.09.12 | ziggy_freud
так. Що таке об'єктивна оцінка роботи в гуманітарці,
питання досить складне і неоднозначне. Тут йдеться скоріше про відповідність критеріям певної наукової (чи антинаукової) школи, ніж про об'єктивну якість. Тобто в кращому разі маємо розвинений стандарт індустрії в цілому; в гіршому - відфонарні правила якогось ТОВ чи ЗАТ. Головне, щоб аффтур не сильно підривав основи локального марксизьму-ленінізьму. І правильно відформатував текст в дві колонки2010.09.12 | Shooter
Re: так. Що таке об'єктивна оцінка роботи в гуманітарці,
ziggy_freud пише:> питання досить складне і неоднозначне. Тут йдеться скоріше про відповідність критеріям певної наукової (чи антинаукової) школи, ніж про об'єктивну якість. Тобто в кращому разі маємо розвинений стандарт індустрії в цілому; в гіршому - відфонарні правила якогось ТОВ чи ЗАТ.
ВАТ тільки, як на мене
2010.09.12 | простий науковець
Ландау колись казав, що бувають науки (мовою оригіналу)
"Естественные, не-естественные и противоестественные".Отже, якщо сама "наука" є перверзією, то намагання її об'єктивно оцінити є, НМД, перверзією у квадраті.
2010.09.12 | thinker
Ландау казав ще більш однозначно -
а саме, всчі вчені діляться на два класи - перший - це Фізики, а другий - це Колекціонери марок...2010.09.12 | Хома Брут
Re: це казав не Ландау, а Резерфорд
http://en.wikiquote.org/wiki/Ernest_Rutherford,_1st_Baron_Rutherford_of_Nelsonhttp://www.physicsforums.com/archive/index.php/t-134150.html
2010.10.01 | thinker
Re: це казав не Ландау, а Резерфорд
згоден, перепутав...2010.09.12 | ziggy_freud
тоді гуманітарку для Вас постачатиме (.) МП
хто приділяє недостатню увагу розвитку своє гуманітарної науки, отримує вижимки з чужої. В шкідливому для себе вигляді. Або популярні гороскопи і адаптовані поради з книги Домострой.Ландау був настільки категоричним лише з одної причини: розробити марсистсько-ленінську фізику, так щоб за нею літали ракети, нікому не вдалось.
2010.09.12 | Torr
Re: Interesting
Shooter пише:> Torr пише:
> > Shooter пише:
> > > Проте якщо в якійсь галузі 1/3 рефері "random або rational" - гаплик цьому напрямку чи з, чи без peer review
> >
> > типово напрямок розробляють декілько конкуруючих груп, тобто конкуренція дієвіша за peer review.
>
> це вірно лише для "відвертоаплікувальної" науки. а peer review - це і є, власне, benchmаrking, наукових досліджень
ну може і benchmаrking, але пам"ятника unknown referee таки треба ставити.
2010.09.13 | lenta.ru
Краткое содержание по-русски (кому лень читать всю статью)
Ученые показали, что процесс экспертной оценки научных работ - основной инструмент их "пропуска" в журналы - является крайне ненадежным в силу человеческого фактора. Свои наработки исследователи выложили в архив электронных препринтов Корнельского университета. Коротко работа описана на сайте Physics World.В современной научной практике критерием для публикации статьи в научном журнале является ее оценка несколькими экспертами в соответствующей области - они читают присланные в редакцию работы и выносят решение, опубликовать их, отвергнуть или отправить на доработку. Эта система не считается идеальной (например, есть мнение, что ей не хватает открытости), однако большинство ученых полагают, что она является достаточно объективной и в целом работает удовлетворительно.
Авторы новой работы решили проверить, насколько система экспертной оценки устойчива к такому фактору как недобросовестные эксперты. Ученые разработали модель, в которую включили пять типов экспертов: правильные (отклоняют плохие работы и принимают хорошие), альтруисты и мизантропы (соответственно принимают или отклоняют все работы), рационалисты (отклоняют работы, которые могут отвести внимание от их собственных исследований) и случайные (принимают решения случайным образом из-за нехватки квалификации или времени).
Исследователи рассматривали схему, когда каждая новая работа направляется на рассмотрение двум экспертам, случайно выбранным из общего пула (внутри экспертного сообщества все типы экспертов представлены согласно гауссовскому, или нормальному, распределению). Работа считалась опубликованной, если оба эксперта давали ей положительную оценку. Если один был против, вероятность публикации принималась за 0,5.
После того как ученые "прогнали" модель для 1000 публикаций, они выяснили, что даже небольшой процент рационалистов и/или случайных экспертов способен существенно ухудшить качество отбираемых работ. Когда соотношение рационалистов, правильных и случайных экспертов в пуле составляло 1:1:1, статьи к публикации принимались фактически по случайному принципу.
Полученные результаты указывают, что адекватность экспертной оценки чрезвычайно сильно зависит от состава экспертов. Один из издателей физического журнала New Journal of Physics, ознакомившийся с результатами новой работы, заявил, что авторы недооценивают роль редакции журнала в процессе отбора публикаций. Именно редакция решает, кому из экспертов направить ту или иную работу, и старается избежать ситуаций конфликта интересов (хотя иногда - например, в случае узкой тематики - полностью исключить такой вариант нельзя).
Это не первая работа, в которой подвергаются сомнению существующие методы оценки значимости научных работ. Ранее ученые неоднократно высказывали претензии к системе, ранжирующей работы по их цитируемости (ссылки на статьи в статьях других авторов). Впрочем, на сегодняшний день более удобного и объективного способа оценки не существует.
http://www.lenta.ru/news/2010/09/09/peer/
И интересное обсуждение: http://www.scientific.ru/dforum/scilife/1284140257
2010.09.16 | ziggy_freud
ось чому українцям цілком досить знати общєпанятний.
товарищі з лєнти.ру розкажуть їм про західну науку все, що їм потрібно знати. І навіть скоротять в перекладі зайві літери.нє ходітє дєті в Афріку гулять (с) = не пхайтесь друкуватись у виданнях з пір-рев*ю. Краще скинутись по 100 грн. та разом видати чергову ВАК-мурзілку.
2010.09.14 | Ulyana
Пісня на тему Peer-review
http://www.youtube.com/watch?v=js04ZVKz9PU&feature=player_embedded