10/03/2008 | Алексей Куприянов

А еще говорят, что Украина -- не Россия!

3 октября 2008 г., пятница
Адрес страницы: http://www.polit.ru/science/2008/10/02/kupr.html
АВТОР
Алексей Куприянов
Афера Гельфанда, или Кризис российской системы peer-review

В одном из заштатных «научных» журналов России напечатана в виде статьи явная околесица, сгенерированная компьютером. Она напечатана «по всем правилам», пройдя рецензирование, в журнале, включенном в легендарный список ВАК. Как и всякий случай «поломки» социального механизма производства научных знаний, эта история позволяет увидеть его детали, обычно скрытые от посторонних глаз.

Пока ожидается реакция непонятно кого «в верхах», блоги отреагировали моментально. В день публикации новость за несколько часов попала в топ-30 яндексовского поиска по блогам. Одни язвили, другие – печалились. СМИ, если не считать «Полит.ру», 30 сентября опоздали. Отреагировали только «Грани», да блог «Московского комсомольца» поспешил возвестить о «Скандале в ВАК», продемонстрировав глубокое непонимание сути происходящего уже в заголовке: «государственный рецензент принял в качестве серьезной научной работы полную ахинею».

Детали истории исчерпывающим образом изложены самими экспериментаторами в свежем номере газеты «Троицкий вариант». Текст, выданный программой-генератором текстов, написанной студентами Массачусетского технологического института, был переведен другой программой – автоматическим переводчиком - на русский язык, подан в журнал от имени несуществующего автора Михаила Сергеевича Жукова, отрецензирован (рецензия оказалась положительной, но были выдвинуты требования по стилистической доработке), исправлен согласно замечаниям рецензента и опубликован[1]. Подробное описание всей процедуры, копии документов и писем, рецензия, список редакционного совета, подробности творческой биографии главного редактора журнала – все это в один момент стало достоянием общественности. Вчера – научной (газету, по замыслу ее создателей, должны читать, в основном, ученые и журналисты-научники), сегодня – широкой.

Эта история – не первый случай публикации в научном издании заведомой чепухи. В том же номере «Троицкого варианта» вспоминают публикацию наукообразной глупости в «Докладах Академии наук СССР» и «аферу Сокала». Однако истории с публикацией статей Роберто Ороса ди Бартини в «Докладах...» и Алана Сокала в «Social text» по сути, принципиально отличаются от ситуации с «Журналом научных публикаций аспирантов и докторантов».

Собственно, эти различия гораздо более поучительны, чем определенное системное сходство, и более примечательны, чем почти пройденный двумя компьютерными программами тест Тьюринга (для полного счастья не хватает одного условия: рецензент не знал, что «по ту сторону» текста мог находиться компьютер). Эти-то принципиальные отличия и имеет смысл обсудить, хотя бы вкратце.

В чем системное сходство ситуаций: во всех случаях мистификации ездят по накатанным рельсам внутринаучной коммуникации. В чем отличие: система «ломается» в разных местах, демонстрируя на деле различные детальки распадающегося на части механизма.

Статья Бартини
Сначала рассмотрим случай со статьей Бартини[2]. Борис Штерн в специальной статье в «Троицком Варианте»[3] разобрал четыре версии ее появления: от розыгрыша, в котором на равных приняли участие два итальянца в России – конструктор Роберт Бартини, написавший текст, и академик Бруно Понтекорво, рекомендовавший его к печати в «Докладах...», - до протекции публикации заведомо безумной теории из сочувствия к коллеге с тяжелой судьбой. Неизменным остается одно – детали, предшествовавшие публикации, след которых остался в цитируемых Штерном воспоминаниях физика Семена Соломоновича Герштейна. Соответствующий фрагмент из воспоминаний Герштейна[4] занимает несколько страниц, поэтому остановимся лишь на ключевых моментах.

История началась в 1962 г. с обращения Н. Н. Боголюбова, который «попросил разобрать статью, которая была отвергнута Ж[урналом] Э[кспериментальной и] Т[еоретической] Ф[изики] с весьма обидной рецензией. "Эту работу, - сказал Н.Н., - дал мне М. В. Келдыш, хорошо знакомый с ее автором по работе в авиационной и космической промышленности. Он просил посмотреть, нельзя ли ее все-таки опубликовать, исправив что-нибудь. У автора тяжелая судьба. Он молодым приехал в Советский Союз, имел большие заслуги в авиации, в 30-е годы посажен в тюрьму, а сейчас снова активно работает. Посмотрите, пожалуйста, эту статью. Может быть, можно ее подправить, и она все-таки подойдет, например, для вновь открывшегося журнала Я[дерная] Ф[изика]. В крайнем случае, я сам представлю ее в "Доклады АН"».

Далее Герштейн рассказывает о своих встречах с самим Бартини и долгой работе над текстом статьи, который Герштейн пытался привести в относительно приемлемый вид: «Для меня было ясно, что ни один физический журнал не примет эту статью ни по ее физическому содержанию, ни по языку, которым она изложена. Я решил ее переделать, изложив так, чтобы было понятно, что утверждает автор, и убрав "согласие" с экспериментальными данными, получающееся на основе определений величин. Подготовив новый, "урезанный", текст, я созвонился с автором, чтобы согласовать его. Бартини пригласил меня к себе домой на Кутузовский проспект... Бартини очень мягко выразил разочарование моим текстом. Он считал, что я урезал многие его важные мысли, и (несмотря на мои доводы, что в таком виде статью не примет ни один журнал) отстаивал буквально каждое слово. При этом он, обосновывая свои идеи, указывал соответствующие места в книге Эддингтона и других подобных книгах. Я не мог его убедить, что для редакций это не будет служить аргументом. Наши споры часто выходили далеко за рамки обсуждаемой статьи и касались философских проблем (я был поражен знаниями автора в области античной, классической и марксистской философии). Так провели мы, упорно трудясь, несколько вечеров».

После переработки статья была послана в редакцию журнала «Ядерная физика», причем Герштейн заранее договорился, что ее пришлют на рецензию именно ему. Так и вышло. Он написал «вполне объективную рецензию, указал на допустимость выдвинутых гипотез (несмотря на необычность) и рекомендовал опубликовать статью». Тем не менее, статья была отклонена. После этого оставался единственный механизм – публикация в «Докладах Академии Наук» по представлению академика. В этой ситуации статьи публиковались без рецензирования. Это и было сделано. По словам Герштейна, сам Н. Н. Боголюбов не решился представить статью и рекомендовал обратиться к Бруно Понтекорво.

«Я пошел к Бруно. – писал Герштейн. – Не хотелось бы, конечно, мне в качестве первой статьи представлять эту, – сказал он, – но что поделаешь. Бартини надо спасти. Иначе он сойдет с ума". И Бруно представил статью в несколько исправленном виде».

Это и есть те самые детальки механизма: система была организована таким образом, что рекомендация «генерала от науки» могла заменить собой имеющийся и – как мы видели, исправно функционировавший (статья была все-таки отклонена как минимум одним, а то и двумя журналами, прежде чем попасть в ДАН) – институт рецензирования и редакционной подготовки.

Афера Сокала
Афера Сокала, всколыхнувшая научную общественность в конце 1990-х, – история совершенно другого рода. В 1996 г. физику, профессору Нью-Йоркского университета удалось опубликовать в журнале Social Text статью «Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity» (Преступая границы: на пути к трансформативной герменевтике квантовой гравитации)[5]. Статья, начинающаяся с довольно стандартного и осмысленного введения, постепенно перерастала в то, что казалось Сокалу остроумной шуткой: он пытался показать связь между политическими взглядами и физической теорией. Возможно, пример, выбранный конкретно им, был совершенно для этого случая неподходящим, но проекции повседневного социального опыта на восприятие «физической» или «биологической» реальности хорошо документированы историками науки, поэтому статья в целом как некий политически-философский манифест была принята журналом на ура. Одновременно с этим Сокал опубликовал в другом журнале заметку о том, что статья в Social Text – мистификация с целью продемонстрировать, что современные философы-постмодернисты ничего не смыслят в точных науках, о которых порой берутся писать.

История имела неприятное продолжение – почувствовав запах легкой крови, Сокал решил заодно покарать так называемую «сильную программу», социологию научного знания, и вообще все эмпирическое науковедение, посмевшее выйти за пределы унылой мертоновской социологии науки. По счастью, тут он наткнулся на довольно успешное организованное сопротивление специалистов в области Science studies и сочувствующих им физиков и математиков. В этой истории тоже есть много поучительного, но ее придется оставить в стороне, чтобы не отвлекаться от главного.

Какие детали принципиально важны для моего аргумента? Сокал был известен издателям Social Text как практикующий ученый. Его статью приняли (по сути, так же, как и статью Бартини) с учетом «личностного фактора»: почему бы физику не иметь немного странные взгляды на философию науки и на сочетание своих политических воззрений с научными теориями? По версии редакции, статья была опубликована в порядке дискуссии «на доверии» (при том, что в Social Text на момент публикации не применялась процедура peer-review – предварительного рецензирования – в надежде на то, что это сделает дискуссии более открытыми).

Мораль
Обе эти истории не идут ни в какое сравнение с тем, что произошло между «Михаилом Сергеевичем Жуковым» и «Журналом научных публикаций аспирантов и докторантов».

Во-первых, в этом случае отношения были принципиально обезличены – никому (на запрос в Гугле «Михаил Сергеевич Жуков» утром 1 октября выпадало шесть ссылок на какого-то хоккеиста) не известный автор, с которым ни рецензент, ни сотрудники редакции никогда ранее не контактировали, подает статью по электронной почте в заштатный журнал, не прославившийся ничем, кроме назойливой рекламы на форумах и малоосмысленных статей, написанных ради пустой формальности для получения степени. Здесь не было ни предварительного знакомства и базового доверия к университетскому профессору, как в случае с Сокалом, ни долгих вечеров, посвященных совместной работе над рукописью, как у Бартини и Герштейна.

Во-вторых, принципиально различна роль рецензентов. Если в случае с Бартини система рецензирования (peer-review) сработала настолько хорошо, что ее пришлось обходить при помощи прямого административного давления, а в случае с Сокалом пресс рецензирования был вообще снят, то статья про «корчеватель» успешно преодолела барьер рецензирования. Сейчас трудно гадать почему, да и вряд ли это когда-нибудь станет известно наверняка. Однако это позволяет сделать неутешительный вывод. Качество статей в российских научных журналах нередко настолько низкое, степень распространения ползучего безумия и халтуры столь высока, а толерантность рецензентов столь беспредельна, что это превращается в серьезную угрозу. Скептики скажут, что и «на Западе» система рецензирования дает сбои даже в ведущих естественнонаучных журналах. Я отвечу им – да, разумеется. Но эти сбои рано или поздно «вычисляются», однозначно воспринимаются как сбои и журналы публикуют честные опровержения. В этом и состоит научная игра – все время протирать очки, через которые мы смотрим на мир, соскребая с них приглянувшуюся нам розовую дымку.

В-третьих, эта статья была опубликована за деньги. Благодаря «списку ВАК» местечковые российские «научные» журналы получили невиданные ранее возможности для вымогательства. Да, оплата публикаций практикуется и за границей. Даже в крупных журналах. Когда-то надо было оплачивать отдельно печать качественных (особенно цветных) иллюстраций, теперь чаще – немедленное поступление в открытый доступ (т. е., сама статья публикуется бесплатно, но если вы хотите, чтобы она сразу же оказалась в Интернете в открытом доступе, а не только по подписке, то за это придется выложить круглую сумму – многие идут на это, потому что цитирование статьи для автора важнее, чем сам факт публикации, а чем более открыт доступ, тем больше народу прочтет и сошлется). Однако нигде в развитых странах это не превратилось в такое неприкрытое безобразие с массовой оплатой публикаций, как в современной России. Когда продались «научные» журналы (пусть, как правило, чахлые и провинциальные, но не забывайте – их-то и есть большинство), было сдано последнее, что еще оставалось у Российской «науки» как институции. Стандартный механизм оценки качества научной работы в национальном масштабе окончательно перестал функционировать. Единственная надежда теперь, по большому счету, на иностранные журналы, где peer-review работает много жестче, бесплатно и качественно.

Неофициальные оценки акции различны: от печали по поводу состояния российской науки и невозможности ничего сделать - до радости по поводу того, что шарлатаны в очередной раз выведены на чистую воду. Находятся и те, кто злобствует по поводу «бездельников», затеявших всю эту суматоху непонятно зачем вместо решения насущных проблем. Позволю себе не согласиться с пессимистами. Прелесть этого скандала в том, что сложившаяся ситуация воспринимается как скандальная. Это означает, что сильно фрагментированное научное сообщество современной России, недостаточной «плотностью» которого и объясняется этот печальный инцидент, все еще способно сплотиться в трудный момент вокруг общих ценностей, например, смутного ощущения качества научной работы.

На какой бы шаг ни подтолкнул этот скандал официальные структуры, вроде ВАКа с его списком, создавшим небывалый коррупционный ресурс, или Минобразования с его ВАКом, принципиально не способным обеспечить контроль за качеством диссертаций и – рикошетом – за качеством научной работы, ведущей к их написанию, в скандале важен не результат, а процесс. Процесс консолидации социальных сетей ученых и интеллектуалов, процесс консолидации общественного мнения. Мнения о том, что так дальше жить нельзя и надо с этим безобразием что-то делать.

Ссылки

[1] Троицкий вариант. 2008. № 13N (839). 30 сентября.

[2] Бартини Р. О. ди. Некоторые соотношения между физическими константами // Доклады Академии наук СССР. 1965. Том 163. № 4. С. 861-864.

[3] Штерн Б. Необыкновенные публикации итальянцев в России // Троицкий вариант. 2008. № 13N (839). 30 сентября. С. 5

[4] Герштейн С. С. Воспоминания и размышления о Бруно Понтекорво

[5] Socal, A. D. Transgressing the boundaries: Toward a transformative hermeneutics of quantum gravity // Social Text. 1996. V. 46/47. P. 217-252.