Использование научного метода в российских социальных науках
12/11/2008 | Михаил Локшин
КАК ОЧЕВИДНО ДОГАДЫВАЮТСЯ УЧАСТНИКИ ЭТОГО ФОРУМА, СИТУАЦИЯ В ЦЕЛОМ В УКРАИНСКИХ СОЦИАЛЬНЫХ И ГУМАНИТАРНЫХ НАУКАХ НА ПОРЯДОК ХУЖЕ!
Таємниці вітчизняної неприродної науки // http://www.nauka.in.ua/news/tayemnytsi-vitchyznyanoyi-nepryrodnoyi-nauky-70
Науковий обмін і міжнародний авторитет української науки // http://www.nauka.in.ua/news/naukovyy-obmin-i-mijnarodnyy-avtorytet-ukrayinskoyi-nauky-71
ИМЕЮЩИЕСЯ ОСТРОВКИ НАУЧНОСТИ СЛИШКОМ МАЛОЧИСЛЕННЫ И НЕВЕЛИКИ, ЧТОБЫ МОЖНО БЫЛО ГОВОРИТЬ О КАКОМ-ТО ИХ ОЩУТИМОМ ВЛИЯНИИ НА ОБЩУЮ АТМОСФЕРУ И ГЛАВНОЕ НА ПРЕПОДОВАНИЕ И ФОРМИРОВАНИЕ НАУЧНОЙ СМЕНЫ.
ИМЕННО ПОЛНЕЙШЕЕ НЕПОНИМАНИЕ НАУЧНОГО МЕТОДА И НЕВЛАДЕНИЕ НАУЧНЫМ МЕТОДОМ ПОРОЖДАЕТ У НАШИХ СОЦИАЛЬНО-ГУМАНИТАРНЫХ ПРЕДВОДИТЕЛЕЙ СОН РАЗУМА, КОТОРЫЙ СПОСОБЕН ТОЛЬКО НА ОЧЕРЕДНЫЕ ПРИЗЫВЫ К ДАЛЬНЕЙШЕЙ ГУМАНИЗАЦИИ И ГУМАНИТАРИЗАЦИИ, ЧТО ОЗНАЧАЕТ ОТБРАСЫВАНИЕ НАУЧНОГО МЕТОДА ВООБЩЕ.
http://www.polit.ru/science/2008/12/11/ruspoverty.html
АНАЛИТИКА
Использование научного метода в российских исследованиях в области бедности
Когда получила огласку история с «Корчевателем», многие российские специалисты в области социальных и гуманитарных наук обратили к ней свои взоры. Одни сожалели о том, что никто не придумал своего отдельного "корчевателя" для какого-нибудь журнала по экономике или социологии, другие успокаивали себя и окружающих тем, что в социальных и гуманитарных науках как раз все в порядке, поскольку беда приключилась с их коллегами-естественниками. Однако постепенно все больше и больше экспертов стало склоняться к тому, что в гуманитарных и социальных науках не надо никакого «корчевателя». Философы, культурологи, политологи, социологи и экономисты вполне способны сами порождать тексты немногим большей связности и осмысленности, чем компьютерная программа-бредогенератор, сочиненная студентами MIT.
Почти сразу после публикации на "Полит.ру" материалов о "Корчевателе", в редакцию обратился Михаил Локшин, старший экономист отдела анализа проблем развития Всемирного банка. Он показал копию статьи, которую только что опубликовал в одном из центральных и вполне академических журналов - в «Вопросах экономики» (2008. № 6). Нет, его статья не была написана компьютером, не было в ней и натурального человеческого бреда, искусно замаскированного трескучими фразами, чтобы заморочить голову редакции. Это был результат честно проведенного автором анализа литературы, опубликованной в нашей стране за последние полтора десятка лет, посвященной изучению одной из важных социальных проблем современной России – проблемы бедности.
Статья оказалась настолько занимательной, что мы предложили автору перепечатать ее на "Полит.ру", где ее аудитория смогла бы существенно расшириться. М. Локшин провел переговоры по поводу возможности публикации с редакцией "Вопросов экономики", которая любезно разрешила перепечатать статью в несколько сокращенном виде.
В качестве минимального предисловия: автор проанализировал 250 статей 188 ученых, вышедших в России за последние 15 лет, и пришел при этом к потрясающим выводам. Результаты его исследования выглядят куда менее утешительно, чем «Корчеватель», бороздящий просторы поля научной коммуникации. Если говорить коротко, то почти ни одна из работ в этой довольно важной области не удовлетворяет минимальным критериям качества научной публикации. Практически ни одна не может быть использована ни для чего, кроме как для того, чтобы красоваться в списке работ, в которых опубликованы основные результаты диссертации (за этот наш вывод автор не несет никакой ответственности). Эта констатация выносит современной российской социальной науке более жесткий приговор, чем возможность публикации заведомо бессмысленной статьи в и без того маргинальном журнале. Это 250 вполне ординарных статей, напечатанных, в том числе, в ведущих научных журналах страны.
Алексей Куприянов
Борьба с бедностью является важным компонентом стратегии экономического развития России. Несмотря на значительное уменьшение бедности в последнее десятилетие, эта проблема будет оставаться актуальной в течение многих лет из-за прогнозируемого снижения темпов экономического роста и неравномерного развития регионов. Во многих областях, имеющих отношение к снижению бедности, включая модернизацию системы социальной защиты и изменение трудового законодательства, предстоит провести серьезные реформы [1]. Они должны базироваться на детальных исследованиях характеристик бедности, динамики ее уровня, а также взаимосвязи бедности и экономического развития. От качества этих исследований будет зависеть успех реформ.
Общепринятое определение бедности (величина доходов ниже прожиточного минимума) получило распространение в Советском Союзе лишь в конце 1980-х годов [2]. В начале 1990-х годов российское правительство утвердило новую продуктовую корзину и черту бедности. С 1992 г. в России резко возросло количество исследований, посвященных методам определения прожиточного минимума, описанию профиля и анализу причин возникновения бедности. Все больше экономистов и социологов стали заниматься исследованиями бедности. Появились также работы ученых из других областей науки, придерживающихся разных подходов к выбору направления и методологии научных исследований. Такая разнородность точек зрения и подходов способствовала всестороннему анализу бедности, но усложняла создание стандартов и критериев, определяющих качество исследований в этой сравнительно новой для страны области знаний.
Концепция бедности характеризуется тенденцией к изменению со временем. Разные люди и общественные институты могут понимать ее неодинаково. Спорная и политически чувствительная трактовка того, что называть бедностью, оказывает воздействие на развитие соответствующих исследований. Во многих случаях при выборе направления научного анализа большое значение имеют субъективные факторы. Преобладающие в обществе социальные нормы влияют как на постановку исследовательских вопросов, так и на применение на практике полученных выводов. Нередко усилия по снижению бедности, предпринимаемые правительством, основываются не на результатах научных исследований, а на идеологических установках и распространенных в обществе представлениях о социальной справедливости.
Из-за множества факторов, влияющих на динамику развития бедности в стране как неискушенным наблюдателям, так и политикам зачастую бывает трудно различать качественные научные исследования и посредственные работы. В такой ситуации решающую роль играют внутренние нормы саморегуляции научного сообщества. Исследования, обобщающие результаты, полученные с помощью различных аналитических методов, способствуют достижению научного консенсуса и расширению границ научного знания. Однако, несмотря на то что в России в период с 1992 по 2006 г. было опубликовано около 250 научных статей, посвященных проблемам бедности, мы не знаем ни одной работы, в которой был бы проанализирован этот массив литературы.
Настоящая статья представляет собой критический обзор исследований бедности, проведенных в России за последние 15 лет. В ней анализируются формальные методологические подходы, применяемые российскими учеными в этой области. Наша цель — определение соответствия проводимых в России исследований бедности основным принципам и общепринятой концепции эмпирического научного анализа, а также оценка возможности использования их обобщенных результатов при выработке экономической политики и осмыслении ее результатов.
Данные
Наш анализ основан на 250 статьях, опубликованных 188 учеными в российских научных журналах за последние 15 лет. Несмотря на то, что этот набор статей может быть не исчерпывающим, он, по нашему мнению, является репрезентативным для подавляющего большинства публикаций о бедности в России. C 1992 г. количество статей, посвященных этой проблеме, постоянно росло, достигнув стабильной цифры — около 21 публикации ежегодно в период с 2000 по 2006 г. Более 80% всех исследований бедности относились к сфере экономики и экономической социологии, а остальные работы — к области социологии и социальной политики.
Авторство большинства публикаций о бедности в России — 70% — принадлежит ученым из Москвы, по 4% статей было написано учеными из Новосибирска и С.-Петербурга и 3% — исследователями из Саратова. Журнал «Социологические исследования» опубликовал 42 статьи, или 17% от общего числа публикаций. В журнале «Народонаселение» вышло 32 статьи (13%), а в издании «Мониторинг общественного мнения» — 26 исследований (11%). Каждый из следующих журналов: «Общество и экономика», «Экономист», «Проблемы прогнозирования», «Вопросы экономики», «Общественные науки и современность» и «Мир России» - опубликовал примерно по 15 статей о бедности.
Распределение статей по авторам достаточно типично для научных публикаций: в то время как семь исследователей (или менее 4% от их числа) опубликовали более 1/4 общего количества статей, 135 исследователей — лишь по одной работе (см. табл. 2). 47% авторов в нашей базе данных являются кандидатами наук, 23 — докторами наук, у 16% нет ученой степени, а статус оставшихся 15% авторов установить не удалось. Авторы большинства исследований бедности — экономисты и социологи, однако свой вклад внесли также психологи, философы, историки и даже биологи.
Научный метод
Научный метод — это набор приемов для изучения явлений и приобретения новых знаний, а также осмысления и уточнения уже полученных знаний. Он основан на сборе эмпирических, поддающихся измерению доказательств при помощи особых принципов ведения рассуждений. В современных научных исследованиях природные явления или социальные феномены осмысливаются с помощью моделей и теорий, которые должны тестироваться и проверяться на достоверность. Процесс исследования может принимать различные формы в зависимости от конкретной сферы науки, но для всех областей знания он состоит из следующих шагов:
формулирование требующего изучения вопроса, который можно исследовать эмпирически;
анализ имеющейся информации по данной теме; включение проводимого исследования в контекст уже опубликованной литературы;
выдвижение гипотезы и следующих из нее предсказаний (теоретический и гипотетический ответы на вопрос);
сбор и анализ данных; использование методов, с помощью которых можно непосредственно ответить на поднятый вопрос;
интерпретация результатов и формулирование выводов.
Принципы научного метода основаны на опыте многих поколений исследователей, которые постоянно совершенствовали и развивали свои методы и теории в поиске объективного и точного знания. В научном сообществе этими принципами руководствуются при проведении исследований; при этом особое внимание уделяется объективности, четкости доводов, а также тщательному и беспристрастному описанию проделанной работы [3].
Социальные исследования и анализ бедности часто проводятся с использованием методов количественного либо качественного анализа или их комбинации. Эти два подхода могут отличаться по набору используемых допущений и типу исследования, но с эпистемологической точки зрения качественные и количественные подходы схожи [4] и разделяют одну и ту же «логику рассуждения», выраженную в научном методе [5].
За распадом Советского Союза последовала быстрая перестройка системы российской экономической науки и экономического образования в России. Российские университеты начали реформировать свои учебные программы: в них появились курсы по рыночной экономике. Реформы в различных областях экономической науки шли разными темпами. Исследования бедности, которые полностью игнорировались в советское время, не несли на себе отпечатка марксистской идеологии. Таким образом, российские ученые могли сразу положиться на методологию уже развитой строго в рамках научного метода дисциплины. Но использовали ли они эту возможность для перехода на современный уровень научных исследований?
Следуют ли исследования бедности в России основным принципам научного метода?
Мы полагаем, что любое исследование бедности, будь то количественное или качественное, описательное или причинно-следственное, экономическое, социологическое или философское, может и должно проводиться в строгом соответствии с научным методом. При этом в зависимости от типа исследования различные его составляющие могут использоваться в разном объеме. В эмпирических экономических исследованиях бедности особое внимание уделяется строгим теоретическим моделям и эконометрическим техникам анализа больших случайных выборок. В социологических работах чаще используются специальные выборки меньшего размера и соответственно другие методы анализа данных и проверки гипотез. Но независимо от области науки в любом исследовании бедности при формулировании вопроса анализа, включении его в контекст тематической литературы, сборе данных, выдвижении и проверке гипотез в процессе создания теорий должен применяться научный метод. Ниже представлено описание ключевых шагов, из которых состоит современное научное исследование, и предпринята попытка ответить на вопрос: использовались ли в российских исследованиях бедности, опубликованных за последние 15 лет, принципы научного метода?
Вопрос исследования
Цель науки — решать научные проблемы, то есть предоставлять «приемлемые ответы на интересующие исследователя вопросы» [6]. Успех научной работы зависит от того, насколько верно эти вопросы поставлены. В работе А. Эйнштейна и Л. Инфельда отмечалось: «Постановка проблемы часто более важна, чем ее решение… Умение формулировать новые вопросы, открыть новые возможности и посмотреть на старую проблему под новым углом требует творческого воображения и является движущей силой науки» [7]. Вопрос исследования часто возникает из практики [8]. Выбор вопроса определяет набор методов, которые будут применены для поиска ответа на него, а его формулировка должна позволять тестирование справедливости альтернативных гипотез. Важность вопроса обусловлена тем, насколько он вписан в контекст предшествующих научных работ и теорий и какую практическую ценность имеет ответ на него.
Несмотря на важность постановки исследовательского вопроса для любой научной работы, более 60% изученных нами статей не содержат ясно сформулированного вопроса, на который отвечает исследование. В этих статьях авторы сразу переходят к цифрам или обсуждению разнообразных вопросов, не формулируя главную цель своей работы. В большей части статей, где такой вопрос все-таки формулируется, предлагается лишь описательный анализ бедности. Практически ни в одном исследовании не изучаются причины возникновения наблюдаемой бедности.
Обзор тематической литературы
Прежде чем начать научное исследование, важно выяснить, не известен ли ответ на его главный вопрос, для чего необходимо ознакомиться с работами, имеющими отношение к анализируемой проблеме. При этом можно обнаружить уже выявленные факты об изучаемом явлении, сравнить новые результаты с полученными ранее и прийти к новым выводам либо пересмотреть старые. Обзор имеющихся научных работ предоставляет ученому информацию о методах, теориях и источниках данных, которые использовали другие исследователи при решении схожих задач. Существующие теории и концептуальные схемы моделирования могут предложить возможные ответы на интересующие исследователя вопросы и подсказать потенциальное направление научного анализа.
Обзор тематической литературы — важнейшая часть любой научной работы. Тем не менее, почти половина статей о бедности в России не содержит ссылок на работы других ученых. В статьях из нашей выборки (исключая публикации вообще без библиографии) имеются ссылки в среднем лишь на 4 источника. В то же время типичная статья по общественным наукам, опубликованная в ведущих международных журналах, содержит ссылки на 51 работу [9]. Более чем в половине российских статей, где есть ссылки на другие работы, цитируется одна или две публикации. Только в семи статьях имеются ссылки на 10 и более публикаций. Цитирования международных публикаций присутствуют в 30% статей, а ссылки на русскоязычные источники — в 40%. Было процитировано только пять публикаций из 20 ведущих международных экономических изданий [10]. В 280 ссылках на международные издания были упомянуты только три из 100 ведущих и наиболее часто цитируемых экономистов [11]. Почти 1/3 всех ссылок на русскоязычные источники — это самоцитирование.
Теоретические модели, гипотезы и прогнозы
Цель научного исследования — обобщенное теоретическое понимание естественного или социального явления и развитие теории или гипотезы, позволяющей получить правильное предсказание о еще не наблюдаемом явлении [12]. Научные теории дают возможность исследователям систематизировать и интерпретировать полученные наблюдения, а также делать прогнозы относительно наблюдений и событий в будущем. Такая теория должна быть логичной, четкой, допускающей последующую корректировку, тестируемой и проверяемой, а также полезной с практической точки зрения и актуальной для науки [13]. Подлинно научное исследование базируется на теории или модели, определяющей основной вопрос исследования, используемые методы и интерпретацию полученных результатов. Теоретические модели могут выражаться посредством математических уравнений или последовательного описания анализируемого процесса. Гипотезы, полученные на основе теоретических моделей, проверяются на состоятельность с помощью реальных данных. Как писал К. Поппер, научный метод подразумевает целенаправленные усилия по дискредитации научной гипотезы [14].
Явным образом специфицированная модель позволяет исследователям устанавливать причинно-следственные связи между бедностью и различными характеристиками домохозяйств и/или отдельных их членов и в некоторых случаях раскрывать механизм влияния этих характеристик на бедность.
Ни одно из опубликованных в России исследований бедности не содержит формальной теоретической модели. Большинство авторов ограничиваются описанием интересующих их процессов. Многие приводят описание метода агрегирования данных или построения какого-нибудь индекса (например, индекса ухудшения материального положения), путая это с описанием настоящей теоретической модели. В 2% работ выдвигается некая гипотеза, но в нашей выборке вообще отсутствуют статьи, в которых формально тестировались бы альтернативные гипотезы.
Источники эмпирических данных
Стратегия сбора данных и метод их анализа призваны дать прямой ответ на вопрос исследования. Последний, в свою очередь, должен задаваться так, чтобы была возможность ответить на него эмпирическим путем. Научные суждения необходимо проверить и подтвердить эмпирическими данными. Рациональность гипотезы доказывается совокупностью приведенных в ее поддержку фактов и подтверждающих ее следствий.
Более 40% научных работ, опубликованных в России с 1992 г., основано на агрегированных данных из Обследования бюджета домашних хозяйств (ОБДХ), проводимого Федеральной службой государственной статистики России (Росстатом; ранее — Госкомстатом). ОБДХ — это единственный официальный и репрезентативный на федеральном и региональном уровне источник данных об условиях жизни в России. Тем не менее, вплоть до середины 2007 г. доступ к данным по индивидуальным наблюдениям ОБДХ был ограничен. Российским исследователям приходилось полагаться на агрегированные данные, публикуемые Росстатом в ежегодных статистических сборниках. Российский мониторинг экономического положения и здоровья населения (РМЭЗ), проводящийся почти ежегодно, начиная с 1992 г., основан на выборке из 4000 домашних хозяйств, репрезентативной на уровне страны и пяти макрорегионов. Около 20 статей, посвященных бедности в России, используют данные РМЭЗ, находящихся в открытом доступе. Национальное обследование благосостояния населения и его участия в социальных программах (НОБУС) — репрезентативный на национальном, региональном и субрегиональном уровне опрос 50 тыс. домашних хозяйств, проведенный Госкомстатом в 2003 г. при поддержке Всемирного банка [15]. Данные НОБУСа появились в открытом доступе в 2005 г. и были использованы в четырех статьях из нашей выборки.
Эмпирические данные в большинстве публикаций были взяты из региональных, специализированных опросов. В 14% статей использовались региональные обследования домашних хозяйств, проведенные Институтом социально-экономических проблем народонаселения (ИСЭПН). Исследователи бедности часто полагались на данные опросов и обследований, проведенных Всероссийским центром изучения общественного мнения (ВЦИОМ). В остальных исследованиях использовались данные специализированных обследований, осуществленных Минтруда, местными исследовательскими институтами и органами власти.
Таким образом, результаты менее чем 10% статей могут считаться репрезентативными для России в целом. Ни в одной из рассмотренных статей нет ясного и подробного описания методологии формирования выборки, способа создания базовой совокупности для нее или инструментов исследования, то есть того, что составляет стандартный набор для любой эмпирической статьи. Свободный доступ к данным РМЭЗ и НОБУС гарантирует, что результаты исследований, основанных на этих данных, могут быть реплицированы и перепроверены. В то же время ни данные ОБДХ, ни данные региональных или специализированных обследований в полной мере не доступны российским ученым.
Анализ данных, эмпирическая методология
Эмпирические методы анализа данных ставят своей целью связать экономическую теорию и имеющиеся статистические измерения [16]. Из теоретической модели должна следовать гипотеза или прогнозы, и соответственно эмпирические методы разрабатывают таким образом, чтобы тестировать эти прогнозы по отношению к фактам. Прогнозирование в экономике, как правило, представляет собой оценку области возможных значений экономических исходов при реализации определенных стратегий в заданных условиях [17]. Вероятностный характер экономических прогнозов обусловлен стохастической, по сути, природой структурных зависимостей в экономике.
Начиная с 1950-х годов, эконометрические методы применяются практически во всех областях экономической науки [18]. Эконометрика превратилась в важнейшую научную дисциплину и продолжает бурно развиваться. Этому способствуют совершенствование теоретических экономических моделей, резкое повышение вычислительных мощностей компьютеров и появление обширных и высококачественных баз данных [19]. Современный эмпирический экономический анализ, как правило, выходит за рамки классической парадигмы линейной модели. Прикладные эконометрические исследования включают в себя нелинейное моделирование, не- и полупараметрические методы, позволяющие делать выводы при минимальных допущениях о распределении случайных величин, модели дискретного выбора, модели, учитывающие смещение, стратификацию и отсев выборки, методы оценки воздействия и многие другие. Появление этих методов обусловлено необходимостью иметь инструментарий для ответа на экономические вопросы, сложность и неоднозначность которых постоянно возрастают.
Формальное представление эмпирических результатов (в виде комбинационных и других таблиц) присутствовало в 3/4 всех статей. 25% публикаций содержали лишь цифры в текстe. Статистическая значимость (среднеквадратические ошибки, t- или z-статистики и p-значения) или доверительные интервалы для полученных результатов (средних и процентов) были показаны только в 5-ти статьях (2% от общей выборки). Еще в 2% статей представлена значимость результатов регрессии. Таким образом, почти полное отсутствие индикаторов статистической значимости в статьях из нашей выборки делает выводы, полученные на основе эмпирических результатов, формально некорректными [20].
Регрессионный анализ (МНК) был использован в 10% статей, в то время как в 3% публикаций применялись модели дискретного выбора. Корреляционные и переходные матрицы были представлены в 4% статей [21]. Сейчас считается общепризнанным, что анализ, основанный только на простых средних и частотах, в котором не используются более сложные многомерные зависимости, подвержен ошибочному толкованию. Такая незначительная доля статей, в которых российские исследователи полагались на многомерные методы, косвенно указывает на то, что они воспринимают бедность не как многоплановое (зависящее от нескольких переменных) явление, а скорее как результат действия группы разрозненных факторов. В статьях, где для анализа данных были задействованы многомерные методы, редко использовались современные эконометрические подходы. Мы не нашли исследований, в которых бы применялись: метод подбора контрольных групп на основе балльной оценки (propensity score matching); метод «оценки разностей» (difference-in-difference); оценки, основанные на обобщенном методе моментов (generalized method of moments), методе контрольных функций, динамических панельных данных, а также не- и полупараметрические оценки. За последнее десятилетие эти эконометрические модели стали стандартными для любого серьезного анализа бедности, так как они позволяют получать надежные результаты, которые в то же время менее требовательны к данным и допущениям о распределении случайных величин.
Проблемы эндогенности и селективного смещения отбора (sample selection bias) являются, вероятно, самыми распространенными, с которыми сталкиваются исследователи, занимающиеся прикладной эконометрикой. Поэтому разрабатываются все новые параметрические и непараметрические методы их решения [22].
Только в одной статье в нашей выборке обсуждается проблема возможной эндогенности объясняющих переменных, причем без корректировки результатов анализа. Российские исследователи не только не пытались разрешить эти потенциально серьезные проблемы в моделях оценивания, но даже не упоминали об их существовании, тем самым ставя под сомнение основные результаты и выводы своих работ.
При разработке мер по снижению бедности во всем мире недавно начал применяться новый подход — так называемая политика, основанная на фактах (evidence-based policy making). Важным ее инструментом является оценивание воздействия (impact evaluation), позволяющее выявить изменения в благосостоянии отдельных людей, домашних хозяйств, групп людей или фирм в результате осуществления конкретного проекта, программы или закона. Этот инструмент обеспечивает обратную связь, которая помогает улучшить программы и законы, направленные на борьбу с бедностью. В настоящее время практически все международные агентства, занимающиеся экономическим развитием и реализацией программ по уменьшению бедности, вкладывают значительные средства (и усилия) в оценку воздействия своих проектов. Но в нашей выборке нет исследований, которые бы оценивали эффективность национальных и региональных экономических мер по борьбе с бедностью с формальной точки зрения.
В таблице 3 показано распределение эмпирических экономических статей с точки зрения представления аналитических результатов для двух групп стран: России и США/Великобритании. Выборка для США/Великобритании основана на 145 эмпирических работах, опубликованных в девяти главных международных экономических журналах в 1965 г. Разница существенна: в 48% эмпирических статей, опубликованных в США/Великобритании в 1965 г., используется регрессионный анализ в сравнении с 12% статей, изданных в России в 1992–2006 гг. Статистическая значимость упоминается в 53% статей из выборки США/Великобритании и только в 8% российских публикаций. Этот разрыв окажется еще более значительным, если учесть разницу в доступности и стоимости вычислительной мощности компьютеров в 1965 г. и в настоящее время.
Интерпретация результатов исследования и рекомендации по экономической политике
Результаты любого научного исследования должны быть критически изучены учеными и вынесены на обсуждение специалистов по данному вопросу. Метаанализ, то есть критический синтез результатов нескольких исследований, становится ценным инструментом для обзора и общей оценки эмпирического анализа, а часто и для согласования между собой конфликтующих выводов [23]. Надежность научной работы определяется возможностью воспроизведения ее результатов с использованием новых данных или в других условиях.
Важный вопрос: каким образом выводы конкретного исследования можно обобщить и применить для более широкой группы населения или в других условиях? Прикладной характер исследований бедности подразумевает, что выводы из них должны быть представлены так, чтобы и те, кто занимается реальной работой в области снижения бедности, и непрофессионалы могли их оценить и применить на практике. При невозможности проведения повторных экспериментов (что типично для любой общественной науки и особенно экономики) критические отзывы и открытые профессиональные дискуссии по поводу новых и зачастую противоречивых результатов необходимы для подтверждения их истинности и расширения поля научного знания.
Нам не удалось найти критические обзоры исследований бедности, опубликованных в России на протяжении последних 15 лет. Ни метаанализа, ни синтеза результатов исследований бедности также не было осуществлено. Ограниченным или регламентированным доступом ко многим базам микроэкономических данных можно отчасти объяснить тот факт, что ни в одной из статей выборки не предпринято попыток повторить или подтвердить результаты других исследований.
Только в 1/3 всех статей предлагались явные рекомендации для политики в области бедности. Хотя в значительном числе статей в нашей выборке анализ был основан на данных региональных и локальных опросов, лишь в немногих статьях авторы пытались распространить полученные выводы на общенациональный уровень или показать применимость результатов для страны в целом.
Динамика качества исследований
Улучшилось ли со временем качество научных исследований бедности в России? Количество опубликованных статей о бедности слишком мало, чтобы достоверно ответить на этот вопрос. Мы можем только приблизительно оценить динамику качества исследований бедности в России за последние 15 лет. Для этого мы предлагаем использовать индекс, отражающий степень соответствия отдельно взятой статьи принципам проведения научного исследования. Индекс представляет собой простую нормализованную сумму восьми компонентов: формулируется ли в статье вопрос исследования; есть ли в ней цитаты из русских или зарубежных источников; имеется ли гипотеза, которую можно проверить; представлены ли рекомендации по экономической политике, удовлетворяет ли изложение результатов статистических вычислений существующим стандартам, использован ли в работе один из методов мультивариантного анализа и обсуждена ли проблема эндогенности? Этот индекс равен нулю, если статья не отвечает ни одному из восьми критериев, и равен единице, если статья удовлетворяет всем критериям. На рисунке 2 показано изменение этого качественного индекса в 1992–2006 гг.
Даже в самый лучший, с точки зрения качества публикаций, год (2004) индекс среднего качества статей не превышает 0,3. На первый взгляд, наметилась небольшая положительная динамика в качестве публикаций о бедности в России. Однако при коррекции индекса с учетом различий в характеристиках публикаций положительная качественная динамика пропадает [24].
Выводы и рекомендации
Научные журналы публикуются для того, чтобы способствовать приращению научного знания. Во всем мире экономические журналы — основное средство обмена новыми идеями, именно к ним в первую очередь обращаются и исследователи, и политики. Для экономистов эти издания — средство распространения их работ в академическом сообществе. С их помощью ученые, работающие в определенной сфере, знакомятся с проведенными исследованиями и находятся в курсе новейших методологий и подходов. Профессионалам-практикам экономические журналы дают доступ к последним исследованиям, а система рецензирования статей обеспечивает качество и актуальность научных работ.
В этой статье мы попытались оценить, насколько удовлетворяют опубликованные в России исследования бедности основным критериям, предъявляемым к научным публикациям, и могут ли они служить надежным ориентиром для российского правительства при разработке программ по борьбе с бедностью. Согласно нашим выводам, только в небольшой части статей о бедности, опубликованных в России в 1992–2006 гг., применяется научный метод эмпирического исследования. В них редко формулируется главный вопрос исследования; мало цитат; нет ясной теоретической модели; используемые эмпирические методы и подходы устарели; описанию данных недостает точности; большая часть выводов необоснованна; во многих статьях отсутствуют четкие рекомендации в области политики в отношении бедности. Если наша выборка публикаций объективно отражает ситуацию с исследованиями бедности в стране, то российские политики могут почерпнуть из них чрезвычайно мало, а может быть, и вообще не должны принимать эти работы во внимание.
Почему ситуация с исследованиями бедности в России выглядит так удручающе? Как нам кажется, тому есть несколько причин. Экономика, в западном понимании этого термина, не была известна в России до начала 1990-х годов. Многие активно работающие сегодня исследователи и политики получили академическое образование в рамках советской системы, в которой главное место занимала политэкономия, и слабо изучались микро-, макроэкономика и эконометрика. У политиков и управленцев нет возможности отличить работы низкого уровня от высококачественных исследований. Как показывает наш анализ, в российском научном сообществе пока не развита система внутренних норм саморегуляции, которые гарантировали бы высокие стандарты качества исследований. Корректные с точки зрения методологии работы о бедности в России написаны не экономистами, а другими учеными, например психологами, которые переносят научные нормы своих дисциплин в область исследований бедности.
Другой фактор, препятствующий высокому качеству исследований бедности, — недостаток микроэкономических данных. Сейчас имеется открытый доступ только к двум базам таких данных, репрезентативных на уровне страны; данные большинства региональных опросов принадлежат частным компаниям. Результаты официальных обследований, выполненных Росстатом, доступны только в агрегированной форме, без данных индивидуальных наблюдений. Очевидно, для России с ее крайним разнообразием экономических, географических и этнических характеристик этого недостаточно. Открытый доступ к данным необходим для тщательного анализа результатов новых исследований, их воспроизводства и улучшения. Из-за нехватки данных российские вузы не могут вводить в учебные программы прикладные микроэкономические курсы.
Судя по количеству ссылок на международные источники, российские исследователи бедности практически не интегрированы в мировое научное сообщество [25]. В результате они почти не знакомы c последними разработками в этой области. Освоение ими новых техник и методов экономического анализа и применение их в научной работе проходит медленно. Вероятно, одной из причин является языковой барьер.
Наконец, ни один из журналов в нашей выборке не использует формальную систему слепого (double-blinded) рецензирования, принятую во всем мире при отборе материалов для публикации. Редактору научного издания может быть трудно оценить качество узкоспециализированного исследования на новую тему. Иногда он не может найти ошибки в сложной научной работе. Предоставление рукописи для рецензии анонимным и независимым экспертам в соответствующей области могло бы обеспечить соответствие опубликованных статей научным стандартам и основным принципам научного исследования [26].
Несмотря на эти серьезные проблемы, мы уверены, что содержание научных исследований бедности в России можно улучшить. В ряде областей качество экономического дискурса в стране отвечает международным стандартам. Достаточно высокий уровень российских макроэкономических и бюджетных исследований, а также экономики финансов свидетельствует о том, что адекватная система стимулов может привлечь молодых исследователей, применяющих современные подходы и способных осуществлять качественные исследования. Специалисты из нескольких научных организаций, таких как Центр экономических и финансовых исследований и разработок в Российской экономической школе (ЦЭФИР), а также научных центров ГУ–ВШЭ и других, публикуют свои работы в ведущих международных экономических изданиях.
Российские исследователи только выиграли бы от большей интеграции в мировое научное сообщество. Она могла бы стимулировать научный диалог между ними и исследователями из других стран, что позволило бы познакомить российских ученых с международными стандартами проведения научных исследований и общепринятыми научными методиками [27]. Это также способствовало бы обсуждению их работ с коллегами со всего мира и свободному обмену критическими замечаниями.
Международное сотрудничество играет ключевую роль в развитии экономического знания. Посткоммунистическое преобразование экономической науки в странах Центральной и Восточной Европы можно рассматривать как заключительную стадию интернационализации этой научной дисциплины [28]. Грандиозная совокупность знаний, созданных и подробно описанных современными экономистами, сегодня открыта и доступна всем, кто хочет ее использовать. Российские экономисты, занимающиеся проблемами бедности, стоят перед серьезным выбором: принять международные стандарты и методы проведения научных исследований и стать частью мирового научного сообщества - или оставаться в изоляции и продолжать производить исследования, которые, с формальной точки зрения, неприменимы на практике.
Таблица 1. География авторов
Города Количество авторов % авторов
Москва 130 69,52
Новосибирск 7 3,74
С.-Петербург 7 3,74
Саратов 6 3,21
Нижний Новгород 4 2,14
Улан-Уде 4 2,14
Вологда 3 1,60
Иркутск 3 1,60
Киров 3 1,60
Алтайск 2 1,60
Брянск 2 1,60
Петрозаводск 2 1,60
Ульяновск 2 1,60
Прага 1 0,53
Стокгольм 1 0,53
Донецк 1 0,53
Екатеринбург 1 0,53
Махачкала 1 0,53
Омск 1 0,53
Ростов-на-Дону 1 0,53
Сыктывкар 1 0,53
Ярославль 1 0,53
Другие 3 1,60
Итого 188 100.00
Таблица 2. Количество публикаций у авторов, всего 250 публикаций
Количество публикаций Количество авторов % авторов
1 135 71,81
2 18 9,57
3 13 6,91
4 6 3,19
5 6 3,19
6 3 1,60
7 1 0,53
8 2 1,06
9 2 1,06
11 1 0,53
13 1 0,53
Итого 188 100,00
Таблица 3. Представление эмпирических результатов в США/Великобритании в 1965 г. и в России в 1992–2006 гг. (в %)
США / Великобритания
1965 Россия
1992–2006
Оценки параметров 100 75
Среднеквадратические ошибки 53 8
Анализ регрессий 48 12
Источник: Thomas J. Op. cit.
Рисунок 1. Количество публикаций о бедности в год
Рисунок 2. Изменение индекса качества публикаций во времени
Примечания
Автор выражает признательность В. Гимпельсону, Р. Емцову, С. Заиди и Р. Капелюшникову, за комментарии и предложения. Выводы и заключения статьи отражают точку зрения автора, и их не следует связывать с позицией Всемирного банка, его исполнительными директорами или странами, которые они представляют.
[1] Russian Federation: Reducing Poverty through Growth and Social Policy Reform / The World Bank, 2005.
[2] Klugman J. Poverty in Russia: Public Policy and Private Responses. World Bank Publications, 1997.
[3] Ziman J. Real Science: What It Is, and What It Means. New York: Cambridge University Press, 2000.
[4] Campbell D. Quantitative Knowing in Action Research / Kurt Levin Award Address. Society for the Psychological Study of Social Issues, presented at the annual meeting of the American Psychological Association. New Orleans, 1974.
[5] King G., Keohane R., Verba S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 1994.
[6] Laudan L. Progress and Its Problems. Berkeley, CA: University of California Press, 1997.
[7] Einstein A., Infeld L. The Evolution of Physics. New York: Simon and Shuster, 1938.
[8] Stokes D. Pasteur’s Quadrant: Basic Science and Technological Innovation. Washington, DC: Brookings Institution Press, 1997.
[9] Abt H., Garfield E. Is the Relationship between Numbers of References and Paper Lengths the Same for All Sciences? // Journal of the American Society for Information Science and Technology. 2002. Vol. 53, No 13. P. 1106–1112. В последние десятилетия число ссылок на другие работы в экономических изданиях значительно выросло. Дж. Эллисон отмечает, что в 1977–1978 гг. статья, опубликованная в одном из четырех ведущих экономических журналов, содержала в среднем 15 цитирований; в 1998 г. их число увеличилось до 30 (Ellison G. Evolving Standards for Academic Publishing: A q-r Theory: Mimeo. Department of Economics, Massachusetts Institute of Technology, 2001). Если считать, что число цитирований растет линейно со временем, то получится, что в российских изданиях оно соответствует международному уровню 1968 г.
[10] Kalaitzidakis P., Mamuneas T., Stengos T. Rankings of Academic Journals and Institutions in Economics // Journal of the European Economic Association. 2001. Vol. 1, No 6. P. 1346–1366.
[11] Coupe T. Revealed Performance: Worldwide Rankings of Economists and Economics Departments, 1990–2000 // Journal of the European Economic Association. 2003. Vol. 1, No 6. P. 1309–1345.
[12] Friedman M. Essays in Positive Economics. Chicago, IL: University of Chicago Press, 1970. P. 6.
[13] Root-Bernstein R. On Defining a Scientific Theory: Creationism Considered. // Science and Creationism / A. Montagu (ed.) New York: Oxford University Press, 1984. P. 64–94.
[14] Popper K. Conjectures and Refutations: The Growth of Scientific Knowledge. 2nd ed. New York: Basic Books, 1965.
[15] Подробное описание обследования НОБУС и собранные данные можно найти по адресу nobus.worldbank.org.ru.
[16] Haavelmo T. The Probability Approach in Econometrics // Econometrica. 1944. Vol. 12 (Supplement). P. iii-vi+1–115.
[17] Marschak J. Economic Structure, Path, Policy, and Prediction // The American Economic Review. 1947. Vol. 37, No 2. P. 81–84.
[18] Gilbert R. Richard Stone, Demand Theory and the Emergence of Modern Econometrics // The Economic Journal. 1991. Vol. 101. P. 288–302.
[19] Green W. Econometric Analysis. 5th ed. NJ: Prentice Hall, 2003.
[20] Эти цифры, однако, говорят об улучшении ситуации по сравнению с концом 1980-х годов. М. Алексеев с соавторами пришли к заключению, что среди более чем 100 статей, опубликованных в ведущем экономическом журнале в 1988 г., нет «статей, в которых бы использовались математические вычисления, или в которых были бы попытки выдвинуть поведенческую или какую либо другую модель» (см.: Alexeev M., Gaddy C., Leitzel J. Economics in the Former Soviet Union // Journal of Economic Perspectives. 1992. Vol. 6, No 2. P. 137–148).
[21] Похожее различие в использовании многомерного анализа среди российских и западных биологов отмечено В. Леоновым. 30% статей, опубликованных в международных биологических медицинских журналах, основано на многовариантных методах по сравнению с 3% — в российских публикациях (см.: Леонов В. Наукометрика статистической парадигмы экспериментальной биомедицины // Вестник Томского Университета. 2002. Вып. 275. С. 17–24).
[22] Wooldridge J. Econometric Analysis of Cross-sectional and Panel Data. Cambridge, Mass: MIT Press, 2002.
[23] Stanley T. Wheat from Chaff: Meta-Analysis as Quantitative Literature Review // Journal of Economic Perspectives. 2001. Vol. 15, No 3. P. 131–150.
[24] С помощью линейной регрессии мы оцениваем зависимость индекса качества от следующих характеристик: год публикации; область науки (экономика, социология); является ли статья исследованием или обзором; из Москвы автор или нет; есть ли у автора научные степени; опубликована ли статья в одном из четырех журналов с наибольшим количеством публикаций о бедности.
[25] Мы проанализировали подборку публикаций в 200-х ведущих международных экономических изданиях с 1985 по 2006 г. (см.: Das J., Do T., Sahines K., Srinivasan S. To Grow is to Know: Economics Research and The Wealth of Countries: Mimeo. The World Bank, 2007). Публикации, в которых хотя бы один автор был связан с российскими научными институтами, составляют 0,45% от общего числа опубликованных статей.
[26] Актуальный проект редакторов российских физических журналов посвящен развитию независимой системы контроля качества научных исследований в физике. Ведущие российские физики и математики подчеркивают, что недостаток такой независимой оценки — одно из ключевых препятствий на пути прогресса и даже самого существования российской науки (www.scientific.ru).
[27] В 1963 г. экономический еженедельник «Horsodarske Noviny», выходивший в Чехословакии, опубликовал мнения нескольких выдающихся экономистов о качестве экономических исследований в стране. Две главные причины, объяснявшие низкие стандарты экономической науки: общая нехватка экономической литературы и невозможность получить доступ к необходимым данным (Revisionism in CS Economics / Target Area Research and Analysis. Czechoslovak Unit. Report 16-6-134. 1963).
[28] Kaase M., Sparschuh V., Wenninger A. Three Social Science Disciplines in Central and Eastern Europe // Handbook on Economics, Political Science and Sociology (1989–2001). Berlin/Bonn/Budapest: Collegium Budapest and the Social Science Information Centre, 2002.
См. также:
Алексей Куприянов. Афера Гельфанда, или Кризис российской системы peer-review
Елизавета Сурначева. Российские бедные: от политической абстракции – к социальной реальности
Михаил Локшин
11 декабря 2008, 09:29При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна. При перепечатке в Интернете обязательна гиперссылка www.polit.ru. Все права защищены и охраняются законом. © 1999—2008 Полит.ру
Таємниці вітчизняної неприродної науки // http://www.nauka.in.ua/news/tayemnytsi-vitchyznyanoyi-nepryrodnoyi-nauky-70
Науковий обмін і міжнародний авторитет української науки // http://www.nauka.in.ua/news/naukovyy-obmin-i-mijnarodnyy-avtorytet-ukrayinskoyi-nauky-71
ИМЕЮЩИЕСЯ ОСТРОВКИ НАУЧНОСТИ СЛИШКОМ МАЛОЧИСЛЕННЫ И НЕВЕЛИКИ, ЧТОБЫ МОЖНО БЫЛО ГОВОРИТЬ О КАКОМ-ТО ИХ ОЩУТИМОМ ВЛИЯНИИ НА ОБЩУЮ АТМОСФЕРУ И ГЛАВНОЕ НА ПРЕПОДОВАНИЕ И ФОРМИРОВАНИЕ НАУЧНОЙ СМЕНЫ.
ИМЕННО ПОЛНЕЙШЕЕ НЕПОНИМАНИЕ НАУЧНОГО МЕТОДА И НЕВЛАДЕНИЕ НАУЧНЫМ МЕТОДОМ ПОРОЖДАЕТ У НАШИХ СОЦИАЛЬНО-ГУМАНИТАРНЫХ ПРЕДВОДИТЕЛЕЙ СОН РАЗУМА, КОТОРЫЙ СПОСОБЕН ТОЛЬКО НА ОЧЕРЕДНЫЕ ПРИЗЫВЫ К ДАЛЬНЕЙШЕЙ ГУМАНИЗАЦИИ И ГУМАНИТАРИЗАЦИИ, ЧТО ОЗНАЧАЕТ ОТБРАСЫВАНИЕ НАУЧНОГО МЕТОДА ВООБЩЕ.
http://www.polit.ru/science/2008/12/11/ruspoverty.html
АНАЛИТИКА
Использование научного метода в российских исследованиях в области бедности
Когда получила огласку история с «Корчевателем», многие российские специалисты в области социальных и гуманитарных наук обратили к ней свои взоры. Одни сожалели о том, что никто не придумал своего отдельного "корчевателя" для какого-нибудь журнала по экономике или социологии, другие успокаивали себя и окружающих тем, что в социальных и гуманитарных науках как раз все в порядке, поскольку беда приключилась с их коллегами-естественниками. Однако постепенно все больше и больше экспертов стало склоняться к тому, что в гуманитарных и социальных науках не надо никакого «корчевателя». Философы, культурологи, политологи, социологи и экономисты вполне способны сами порождать тексты немногим большей связности и осмысленности, чем компьютерная программа-бредогенератор, сочиненная студентами MIT.
Почти сразу после публикации на "Полит.ру" материалов о "Корчевателе", в редакцию обратился Михаил Локшин, старший экономист отдела анализа проблем развития Всемирного банка. Он показал копию статьи, которую только что опубликовал в одном из центральных и вполне академических журналов - в «Вопросах экономики» (2008. № 6). Нет, его статья не была написана компьютером, не было в ней и натурального человеческого бреда, искусно замаскированного трескучими фразами, чтобы заморочить голову редакции. Это был результат честно проведенного автором анализа литературы, опубликованной в нашей стране за последние полтора десятка лет, посвященной изучению одной из важных социальных проблем современной России – проблемы бедности.
Статья оказалась настолько занимательной, что мы предложили автору перепечатать ее на "Полит.ру", где ее аудитория смогла бы существенно расшириться. М. Локшин провел переговоры по поводу возможности публикации с редакцией "Вопросов экономики", которая любезно разрешила перепечатать статью в несколько сокращенном виде.
В качестве минимального предисловия: автор проанализировал 250 статей 188 ученых, вышедших в России за последние 15 лет, и пришел при этом к потрясающим выводам. Результаты его исследования выглядят куда менее утешительно, чем «Корчеватель», бороздящий просторы поля научной коммуникации. Если говорить коротко, то почти ни одна из работ в этой довольно важной области не удовлетворяет минимальным критериям качества научной публикации. Практически ни одна не может быть использована ни для чего, кроме как для того, чтобы красоваться в списке работ, в которых опубликованы основные результаты диссертации (за этот наш вывод автор не несет никакой ответственности). Эта констатация выносит современной российской социальной науке более жесткий приговор, чем возможность публикации заведомо бессмысленной статьи в и без того маргинальном журнале. Это 250 вполне ординарных статей, напечатанных, в том числе, в ведущих научных журналах страны.
Алексей Куприянов
Борьба с бедностью является важным компонентом стратегии экономического развития России. Несмотря на значительное уменьшение бедности в последнее десятилетие, эта проблема будет оставаться актуальной в течение многих лет из-за прогнозируемого снижения темпов экономического роста и неравномерного развития регионов. Во многих областях, имеющих отношение к снижению бедности, включая модернизацию системы социальной защиты и изменение трудового законодательства, предстоит провести серьезные реформы [1]. Они должны базироваться на детальных исследованиях характеристик бедности, динамики ее уровня, а также взаимосвязи бедности и экономического развития. От качества этих исследований будет зависеть успех реформ.
Общепринятое определение бедности (величина доходов ниже прожиточного минимума) получило распространение в Советском Союзе лишь в конце 1980-х годов [2]. В начале 1990-х годов российское правительство утвердило новую продуктовую корзину и черту бедности. С 1992 г. в России резко возросло количество исследований, посвященных методам определения прожиточного минимума, описанию профиля и анализу причин возникновения бедности. Все больше экономистов и социологов стали заниматься исследованиями бедности. Появились также работы ученых из других областей науки, придерживающихся разных подходов к выбору направления и методологии научных исследований. Такая разнородность точек зрения и подходов способствовала всестороннему анализу бедности, но усложняла создание стандартов и критериев, определяющих качество исследований в этой сравнительно новой для страны области знаний.
Концепция бедности характеризуется тенденцией к изменению со временем. Разные люди и общественные институты могут понимать ее неодинаково. Спорная и политически чувствительная трактовка того, что называть бедностью, оказывает воздействие на развитие соответствующих исследований. Во многих случаях при выборе направления научного анализа большое значение имеют субъективные факторы. Преобладающие в обществе социальные нормы влияют как на постановку исследовательских вопросов, так и на применение на практике полученных выводов. Нередко усилия по снижению бедности, предпринимаемые правительством, основываются не на результатах научных исследований, а на идеологических установках и распространенных в обществе представлениях о социальной справедливости.
Из-за множества факторов, влияющих на динамику развития бедности в стране как неискушенным наблюдателям, так и политикам зачастую бывает трудно различать качественные научные исследования и посредственные работы. В такой ситуации решающую роль играют внутренние нормы саморегуляции научного сообщества. Исследования, обобщающие результаты, полученные с помощью различных аналитических методов, способствуют достижению научного консенсуса и расширению границ научного знания. Однако, несмотря на то что в России в период с 1992 по 2006 г. было опубликовано около 250 научных статей, посвященных проблемам бедности, мы не знаем ни одной работы, в которой был бы проанализирован этот массив литературы.
Настоящая статья представляет собой критический обзор исследований бедности, проведенных в России за последние 15 лет. В ней анализируются формальные методологические подходы, применяемые российскими учеными в этой области. Наша цель — определение соответствия проводимых в России исследований бедности основным принципам и общепринятой концепции эмпирического научного анализа, а также оценка возможности использования их обобщенных результатов при выработке экономической политики и осмыслении ее результатов.
Данные
Наш анализ основан на 250 статьях, опубликованных 188 учеными в российских научных журналах за последние 15 лет. Несмотря на то, что этот набор статей может быть не исчерпывающим, он, по нашему мнению, является репрезентативным для подавляющего большинства публикаций о бедности в России. C 1992 г. количество статей, посвященных этой проблеме, постоянно росло, достигнув стабильной цифры — около 21 публикации ежегодно в период с 2000 по 2006 г. Более 80% всех исследований бедности относились к сфере экономики и экономической социологии, а остальные работы — к области социологии и социальной политики.
Авторство большинства публикаций о бедности в России — 70% — принадлежит ученым из Москвы, по 4% статей было написано учеными из Новосибирска и С.-Петербурга и 3% — исследователями из Саратова. Журнал «Социологические исследования» опубликовал 42 статьи, или 17% от общего числа публикаций. В журнале «Народонаселение» вышло 32 статьи (13%), а в издании «Мониторинг общественного мнения» — 26 исследований (11%). Каждый из следующих журналов: «Общество и экономика», «Экономист», «Проблемы прогнозирования», «Вопросы экономики», «Общественные науки и современность» и «Мир России» - опубликовал примерно по 15 статей о бедности.
Распределение статей по авторам достаточно типично для научных публикаций: в то время как семь исследователей (или менее 4% от их числа) опубликовали более 1/4 общего количества статей, 135 исследователей — лишь по одной работе (см. табл. 2). 47% авторов в нашей базе данных являются кандидатами наук, 23 — докторами наук, у 16% нет ученой степени, а статус оставшихся 15% авторов установить не удалось. Авторы большинства исследований бедности — экономисты и социологи, однако свой вклад внесли также психологи, философы, историки и даже биологи.
Научный метод
Научный метод — это набор приемов для изучения явлений и приобретения новых знаний, а также осмысления и уточнения уже полученных знаний. Он основан на сборе эмпирических, поддающихся измерению доказательств при помощи особых принципов ведения рассуждений. В современных научных исследованиях природные явления или социальные феномены осмысливаются с помощью моделей и теорий, которые должны тестироваться и проверяться на достоверность. Процесс исследования может принимать различные формы в зависимости от конкретной сферы науки, но для всех областей знания он состоит из следующих шагов:
формулирование требующего изучения вопроса, который можно исследовать эмпирически;
анализ имеющейся информации по данной теме; включение проводимого исследования в контекст уже опубликованной литературы;
выдвижение гипотезы и следующих из нее предсказаний (теоретический и гипотетический ответы на вопрос);
сбор и анализ данных; использование методов, с помощью которых можно непосредственно ответить на поднятый вопрос;
интерпретация результатов и формулирование выводов.
Принципы научного метода основаны на опыте многих поколений исследователей, которые постоянно совершенствовали и развивали свои методы и теории в поиске объективного и точного знания. В научном сообществе этими принципами руководствуются при проведении исследований; при этом особое внимание уделяется объективности, четкости доводов, а также тщательному и беспристрастному описанию проделанной работы [3].
Социальные исследования и анализ бедности часто проводятся с использованием методов количественного либо качественного анализа или их комбинации. Эти два подхода могут отличаться по набору используемых допущений и типу исследования, но с эпистемологической точки зрения качественные и количественные подходы схожи [4] и разделяют одну и ту же «логику рассуждения», выраженную в научном методе [5].
За распадом Советского Союза последовала быстрая перестройка системы российской экономической науки и экономического образования в России. Российские университеты начали реформировать свои учебные программы: в них появились курсы по рыночной экономике. Реформы в различных областях экономической науки шли разными темпами. Исследования бедности, которые полностью игнорировались в советское время, не несли на себе отпечатка марксистской идеологии. Таким образом, российские ученые могли сразу положиться на методологию уже развитой строго в рамках научного метода дисциплины. Но использовали ли они эту возможность для перехода на современный уровень научных исследований?
Следуют ли исследования бедности в России основным принципам научного метода?
Мы полагаем, что любое исследование бедности, будь то количественное или качественное, описательное или причинно-следственное, экономическое, социологическое или философское, может и должно проводиться в строгом соответствии с научным методом. При этом в зависимости от типа исследования различные его составляющие могут использоваться в разном объеме. В эмпирических экономических исследованиях бедности особое внимание уделяется строгим теоретическим моделям и эконометрическим техникам анализа больших случайных выборок. В социологических работах чаще используются специальные выборки меньшего размера и соответственно другие методы анализа данных и проверки гипотез. Но независимо от области науки в любом исследовании бедности при формулировании вопроса анализа, включении его в контекст тематической литературы, сборе данных, выдвижении и проверке гипотез в процессе создания теорий должен применяться научный метод. Ниже представлено описание ключевых шагов, из которых состоит современное научное исследование, и предпринята попытка ответить на вопрос: использовались ли в российских исследованиях бедности, опубликованных за последние 15 лет, принципы научного метода?
Вопрос исследования
Цель науки — решать научные проблемы, то есть предоставлять «приемлемые ответы на интересующие исследователя вопросы» [6]. Успех научной работы зависит от того, насколько верно эти вопросы поставлены. В работе А. Эйнштейна и Л. Инфельда отмечалось: «Постановка проблемы часто более важна, чем ее решение… Умение формулировать новые вопросы, открыть новые возможности и посмотреть на старую проблему под новым углом требует творческого воображения и является движущей силой науки» [7]. Вопрос исследования часто возникает из практики [8]. Выбор вопроса определяет набор методов, которые будут применены для поиска ответа на него, а его формулировка должна позволять тестирование справедливости альтернативных гипотез. Важность вопроса обусловлена тем, насколько он вписан в контекст предшествующих научных работ и теорий и какую практическую ценность имеет ответ на него.
Несмотря на важность постановки исследовательского вопроса для любой научной работы, более 60% изученных нами статей не содержат ясно сформулированного вопроса, на который отвечает исследование. В этих статьях авторы сразу переходят к цифрам или обсуждению разнообразных вопросов, не формулируя главную цель своей работы. В большей части статей, где такой вопрос все-таки формулируется, предлагается лишь описательный анализ бедности. Практически ни в одном исследовании не изучаются причины возникновения наблюдаемой бедности.
Обзор тематической литературы
Прежде чем начать научное исследование, важно выяснить, не известен ли ответ на его главный вопрос, для чего необходимо ознакомиться с работами, имеющими отношение к анализируемой проблеме. При этом можно обнаружить уже выявленные факты об изучаемом явлении, сравнить новые результаты с полученными ранее и прийти к новым выводам либо пересмотреть старые. Обзор имеющихся научных работ предоставляет ученому информацию о методах, теориях и источниках данных, которые использовали другие исследователи при решении схожих задач. Существующие теории и концептуальные схемы моделирования могут предложить возможные ответы на интересующие исследователя вопросы и подсказать потенциальное направление научного анализа.
Обзор тематической литературы — важнейшая часть любой научной работы. Тем не менее, почти половина статей о бедности в России не содержит ссылок на работы других ученых. В статьях из нашей выборки (исключая публикации вообще без библиографии) имеются ссылки в среднем лишь на 4 источника. В то же время типичная статья по общественным наукам, опубликованная в ведущих международных журналах, содержит ссылки на 51 работу [9]. Более чем в половине российских статей, где есть ссылки на другие работы, цитируется одна или две публикации. Только в семи статьях имеются ссылки на 10 и более публикаций. Цитирования международных публикаций присутствуют в 30% статей, а ссылки на русскоязычные источники — в 40%. Было процитировано только пять публикаций из 20 ведущих международных экономических изданий [10]. В 280 ссылках на международные издания были упомянуты только три из 100 ведущих и наиболее часто цитируемых экономистов [11]. Почти 1/3 всех ссылок на русскоязычные источники — это самоцитирование.
Теоретические модели, гипотезы и прогнозы
Цель научного исследования — обобщенное теоретическое понимание естественного или социального явления и развитие теории или гипотезы, позволяющей получить правильное предсказание о еще не наблюдаемом явлении [12]. Научные теории дают возможность исследователям систематизировать и интерпретировать полученные наблюдения, а также делать прогнозы относительно наблюдений и событий в будущем. Такая теория должна быть логичной, четкой, допускающей последующую корректировку, тестируемой и проверяемой, а также полезной с практической точки зрения и актуальной для науки [13]. Подлинно научное исследование базируется на теории или модели, определяющей основной вопрос исследования, используемые методы и интерпретацию полученных результатов. Теоретические модели могут выражаться посредством математических уравнений или последовательного описания анализируемого процесса. Гипотезы, полученные на основе теоретических моделей, проверяются на состоятельность с помощью реальных данных. Как писал К. Поппер, научный метод подразумевает целенаправленные усилия по дискредитации научной гипотезы [14].
Явным образом специфицированная модель позволяет исследователям устанавливать причинно-следственные связи между бедностью и различными характеристиками домохозяйств и/или отдельных их членов и в некоторых случаях раскрывать механизм влияния этих характеристик на бедность.
Ни одно из опубликованных в России исследований бедности не содержит формальной теоретической модели. Большинство авторов ограничиваются описанием интересующих их процессов. Многие приводят описание метода агрегирования данных или построения какого-нибудь индекса (например, индекса ухудшения материального положения), путая это с описанием настоящей теоретической модели. В 2% работ выдвигается некая гипотеза, но в нашей выборке вообще отсутствуют статьи, в которых формально тестировались бы альтернативные гипотезы.
Источники эмпирических данных
Стратегия сбора данных и метод их анализа призваны дать прямой ответ на вопрос исследования. Последний, в свою очередь, должен задаваться так, чтобы была возможность ответить на него эмпирическим путем. Научные суждения необходимо проверить и подтвердить эмпирическими данными. Рациональность гипотезы доказывается совокупностью приведенных в ее поддержку фактов и подтверждающих ее следствий.
Более 40% научных работ, опубликованных в России с 1992 г., основано на агрегированных данных из Обследования бюджета домашних хозяйств (ОБДХ), проводимого Федеральной службой государственной статистики России (Росстатом; ранее — Госкомстатом). ОБДХ — это единственный официальный и репрезентативный на федеральном и региональном уровне источник данных об условиях жизни в России. Тем не менее, вплоть до середины 2007 г. доступ к данным по индивидуальным наблюдениям ОБДХ был ограничен. Российским исследователям приходилось полагаться на агрегированные данные, публикуемые Росстатом в ежегодных статистических сборниках. Российский мониторинг экономического положения и здоровья населения (РМЭЗ), проводящийся почти ежегодно, начиная с 1992 г., основан на выборке из 4000 домашних хозяйств, репрезентативной на уровне страны и пяти макрорегионов. Около 20 статей, посвященных бедности в России, используют данные РМЭЗ, находящихся в открытом доступе. Национальное обследование благосостояния населения и его участия в социальных программах (НОБУС) — репрезентативный на национальном, региональном и субрегиональном уровне опрос 50 тыс. домашних хозяйств, проведенный Госкомстатом в 2003 г. при поддержке Всемирного банка [15]. Данные НОБУСа появились в открытом доступе в 2005 г. и были использованы в четырех статьях из нашей выборки.
Эмпирические данные в большинстве публикаций были взяты из региональных, специализированных опросов. В 14% статей использовались региональные обследования домашних хозяйств, проведенные Институтом социально-экономических проблем народонаселения (ИСЭПН). Исследователи бедности часто полагались на данные опросов и обследований, проведенных Всероссийским центром изучения общественного мнения (ВЦИОМ). В остальных исследованиях использовались данные специализированных обследований, осуществленных Минтруда, местными исследовательскими институтами и органами власти.
Таким образом, результаты менее чем 10% статей могут считаться репрезентативными для России в целом. Ни в одной из рассмотренных статей нет ясного и подробного описания методологии формирования выборки, способа создания базовой совокупности для нее или инструментов исследования, то есть того, что составляет стандартный набор для любой эмпирической статьи. Свободный доступ к данным РМЭЗ и НОБУС гарантирует, что результаты исследований, основанных на этих данных, могут быть реплицированы и перепроверены. В то же время ни данные ОБДХ, ни данные региональных или специализированных обследований в полной мере не доступны российским ученым.
Анализ данных, эмпирическая методология
Эмпирические методы анализа данных ставят своей целью связать экономическую теорию и имеющиеся статистические измерения [16]. Из теоретической модели должна следовать гипотеза или прогнозы, и соответственно эмпирические методы разрабатывают таким образом, чтобы тестировать эти прогнозы по отношению к фактам. Прогнозирование в экономике, как правило, представляет собой оценку области возможных значений экономических исходов при реализации определенных стратегий в заданных условиях [17]. Вероятностный характер экономических прогнозов обусловлен стохастической, по сути, природой структурных зависимостей в экономике.
Начиная с 1950-х годов, эконометрические методы применяются практически во всех областях экономической науки [18]. Эконометрика превратилась в важнейшую научную дисциплину и продолжает бурно развиваться. Этому способствуют совершенствование теоретических экономических моделей, резкое повышение вычислительных мощностей компьютеров и появление обширных и высококачественных баз данных [19]. Современный эмпирический экономический анализ, как правило, выходит за рамки классической парадигмы линейной модели. Прикладные эконометрические исследования включают в себя нелинейное моделирование, не- и полупараметрические методы, позволяющие делать выводы при минимальных допущениях о распределении случайных величин, модели дискретного выбора, модели, учитывающие смещение, стратификацию и отсев выборки, методы оценки воздействия и многие другие. Появление этих методов обусловлено необходимостью иметь инструментарий для ответа на экономические вопросы, сложность и неоднозначность которых постоянно возрастают.
Формальное представление эмпирических результатов (в виде комбинационных и других таблиц) присутствовало в 3/4 всех статей. 25% публикаций содержали лишь цифры в текстe. Статистическая значимость (среднеквадратические ошибки, t- или z-статистики и p-значения) или доверительные интервалы для полученных результатов (средних и процентов) были показаны только в 5-ти статьях (2% от общей выборки). Еще в 2% статей представлена значимость результатов регрессии. Таким образом, почти полное отсутствие индикаторов статистической значимости в статьях из нашей выборки делает выводы, полученные на основе эмпирических результатов, формально некорректными [20].
Регрессионный анализ (МНК) был использован в 10% статей, в то время как в 3% публикаций применялись модели дискретного выбора. Корреляционные и переходные матрицы были представлены в 4% статей [21]. Сейчас считается общепризнанным, что анализ, основанный только на простых средних и частотах, в котором не используются более сложные многомерные зависимости, подвержен ошибочному толкованию. Такая незначительная доля статей, в которых российские исследователи полагались на многомерные методы, косвенно указывает на то, что они воспринимают бедность не как многоплановое (зависящее от нескольких переменных) явление, а скорее как результат действия группы разрозненных факторов. В статьях, где для анализа данных были задействованы многомерные методы, редко использовались современные эконометрические подходы. Мы не нашли исследований, в которых бы применялись: метод подбора контрольных групп на основе балльной оценки (propensity score matching); метод «оценки разностей» (difference-in-difference); оценки, основанные на обобщенном методе моментов (generalized method of moments), методе контрольных функций, динамических панельных данных, а также не- и полупараметрические оценки. За последнее десятилетие эти эконометрические модели стали стандартными для любого серьезного анализа бедности, так как они позволяют получать надежные результаты, которые в то же время менее требовательны к данным и допущениям о распределении случайных величин.
Проблемы эндогенности и селективного смещения отбора (sample selection bias) являются, вероятно, самыми распространенными, с которыми сталкиваются исследователи, занимающиеся прикладной эконометрикой. Поэтому разрабатываются все новые параметрические и непараметрические методы их решения [22].
Только в одной статье в нашей выборке обсуждается проблема возможной эндогенности объясняющих переменных, причем без корректировки результатов анализа. Российские исследователи не только не пытались разрешить эти потенциально серьезные проблемы в моделях оценивания, но даже не упоминали об их существовании, тем самым ставя под сомнение основные результаты и выводы своих работ.
При разработке мер по снижению бедности во всем мире недавно начал применяться новый подход — так называемая политика, основанная на фактах (evidence-based policy making). Важным ее инструментом является оценивание воздействия (impact evaluation), позволяющее выявить изменения в благосостоянии отдельных людей, домашних хозяйств, групп людей или фирм в результате осуществления конкретного проекта, программы или закона. Этот инструмент обеспечивает обратную связь, которая помогает улучшить программы и законы, направленные на борьбу с бедностью. В настоящее время практически все международные агентства, занимающиеся экономическим развитием и реализацией программ по уменьшению бедности, вкладывают значительные средства (и усилия) в оценку воздействия своих проектов. Но в нашей выборке нет исследований, которые бы оценивали эффективность национальных и региональных экономических мер по борьбе с бедностью с формальной точки зрения.
В таблице 3 показано распределение эмпирических экономических статей с точки зрения представления аналитических результатов для двух групп стран: России и США/Великобритании. Выборка для США/Великобритании основана на 145 эмпирических работах, опубликованных в девяти главных международных экономических журналах в 1965 г. Разница существенна: в 48% эмпирических статей, опубликованных в США/Великобритании в 1965 г., используется регрессионный анализ в сравнении с 12% статей, изданных в России в 1992–2006 гг. Статистическая значимость упоминается в 53% статей из выборки США/Великобритании и только в 8% российских публикаций. Этот разрыв окажется еще более значительным, если учесть разницу в доступности и стоимости вычислительной мощности компьютеров в 1965 г. и в настоящее время.
Интерпретация результатов исследования и рекомендации по экономической политике
Результаты любого научного исследования должны быть критически изучены учеными и вынесены на обсуждение специалистов по данному вопросу. Метаанализ, то есть критический синтез результатов нескольких исследований, становится ценным инструментом для обзора и общей оценки эмпирического анализа, а часто и для согласования между собой конфликтующих выводов [23]. Надежность научной работы определяется возможностью воспроизведения ее результатов с использованием новых данных или в других условиях.
Важный вопрос: каким образом выводы конкретного исследования можно обобщить и применить для более широкой группы населения или в других условиях? Прикладной характер исследований бедности подразумевает, что выводы из них должны быть представлены так, чтобы и те, кто занимается реальной работой в области снижения бедности, и непрофессионалы могли их оценить и применить на практике. При невозможности проведения повторных экспериментов (что типично для любой общественной науки и особенно экономики) критические отзывы и открытые профессиональные дискуссии по поводу новых и зачастую противоречивых результатов необходимы для подтверждения их истинности и расширения поля научного знания.
Нам не удалось найти критические обзоры исследований бедности, опубликованных в России на протяжении последних 15 лет. Ни метаанализа, ни синтеза результатов исследований бедности также не было осуществлено. Ограниченным или регламентированным доступом ко многим базам микроэкономических данных можно отчасти объяснить тот факт, что ни в одной из статей выборки не предпринято попыток повторить или подтвердить результаты других исследований.
Только в 1/3 всех статей предлагались явные рекомендации для политики в области бедности. Хотя в значительном числе статей в нашей выборке анализ был основан на данных региональных и локальных опросов, лишь в немногих статьях авторы пытались распространить полученные выводы на общенациональный уровень или показать применимость результатов для страны в целом.
Динамика качества исследований
Улучшилось ли со временем качество научных исследований бедности в России? Количество опубликованных статей о бедности слишком мало, чтобы достоверно ответить на этот вопрос. Мы можем только приблизительно оценить динамику качества исследований бедности в России за последние 15 лет. Для этого мы предлагаем использовать индекс, отражающий степень соответствия отдельно взятой статьи принципам проведения научного исследования. Индекс представляет собой простую нормализованную сумму восьми компонентов: формулируется ли в статье вопрос исследования; есть ли в ней цитаты из русских или зарубежных источников; имеется ли гипотеза, которую можно проверить; представлены ли рекомендации по экономической политике, удовлетворяет ли изложение результатов статистических вычислений существующим стандартам, использован ли в работе один из методов мультивариантного анализа и обсуждена ли проблема эндогенности? Этот индекс равен нулю, если статья не отвечает ни одному из восьми критериев, и равен единице, если статья удовлетворяет всем критериям. На рисунке 2 показано изменение этого качественного индекса в 1992–2006 гг.
Даже в самый лучший, с точки зрения качества публикаций, год (2004) индекс среднего качества статей не превышает 0,3. На первый взгляд, наметилась небольшая положительная динамика в качестве публикаций о бедности в России. Однако при коррекции индекса с учетом различий в характеристиках публикаций положительная качественная динамика пропадает [24].
Выводы и рекомендации
Научные журналы публикуются для того, чтобы способствовать приращению научного знания. Во всем мире экономические журналы — основное средство обмена новыми идеями, именно к ним в первую очередь обращаются и исследователи, и политики. Для экономистов эти издания — средство распространения их работ в академическом сообществе. С их помощью ученые, работающие в определенной сфере, знакомятся с проведенными исследованиями и находятся в курсе новейших методологий и подходов. Профессионалам-практикам экономические журналы дают доступ к последним исследованиям, а система рецензирования статей обеспечивает качество и актуальность научных работ.
В этой статье мы попытались оценить, насколько удовлетворяют опубликованные в России исследования бедности основным критериям, предъявляемым к научным публикациям, и могут ли они служить надежным ориентиром для российского правительства при разработке программ по борьбе с бедностью. Согласно нашим выводам, только в небольшой части статей о бедности, опубликованных в России в 1992–2006 гг., применяется научный метод эмпирического исследования. В них редко формулируется главный вопрос исследования; мало цитат; нет ясной теоретической модели; используемые эмпирические методы и подходы устарели; описанию данных недостает точности; большая часть выводов необоснованна; во многих статьях отсутствуют четкие рекомендации в области политики в отношении бедности. Если наша выборка публикаций объективно отражает ситуацию с исследованиями бедности в стране, то российские политики могут почерпнуть из них чрезвычайно мало, а может быть, и вообще не должны принимать эти работы во внимание.
Почему ситуация с исследованиями бедности в России выглядит так удручающе? Как нам кажется, тому есть несколько причин. Экономика, в западном понимании этого термина, не была известна в России до начала 1990-х годов. Многие активно работающие сегодня исследователи и политики получили академическое образование в рамках советской системы, в которой главное место занимала политэкономия, и слабо изучались микро-, макроэкономика и эконометрика. У политиков и управленцев нет возможности отличить работы низкого уровня от высококачественных исследований. Как показывает наш анализ, в российском научном сообществе пока не развита система внутренних норм саморегуляции, которые гарантировали бы высокие стандарты качества исследований. Корректные с точки зрения методологии работы о бедности в России написаны не экономистами, а другими учеными, например психологами, которые переносят научные нормы своих дисциплин в область исследований бедности.
Другой фактор, препятствующий высокому качеству исследований бедности, — недостаток микроэкономических данных. Сейчас имеется открытый доступ только к двум базам таких данных, репрезентативных на уровне страны; данные большинства региональных опросов принадлежат частным компаниям. Результаты официальных обследований, выполненных Росстатом, доступны только в агрегированной форме, без данных индивидуальных наблюдений. Очевидно, для России с ее крайним разнообразием экономических, географических и этнических характеристик этого недостаточно. Открытый доступ к данным необходим для тщательного анализа результатов новых исследований, их воспроизводства и улучшения. Из-за нехватки данных российские вузы не могут вводить в учебные программы прикладные микроэкономические курсы.
Судя по количеству ссылок на международные источники, российские исследователи бедности практически не интегрированы в мировое научное сообщество [25]. В результате они почти не знакомы c последними разработками в этой области. Освоение ими новых техник и методов экономического анализа и применение их в научной работе проходит медленно. Вероятно, одной из причин является языковой барьер.
Наконец, ни один из журналов в нашей выборке не использует формальную систему слепого (double-blinded) рецензирования, принятую во всем мире при отборе материалов для публикации. Редактору научного издания может быть трудно оценить качество узкоспециализированного исследования на новую тему. Иногда он не может найти ошибки в сложной научной работе. Предоставление рукописи для рецензии анонимным и независимым экспертам в соответствующей области могло бы обеспечить соответствие опубликованных статей научным стандартам и основным принципам научного исследования [26].
Несмотря на эти серьезные проблемы, мы уверены, что содержание научных исследований бедности в России можно улучшить. В ряде областей качество экономического дискурса в стране отвечает международным стандартам. Достаточно высокий уровень российских макроэкономических и бюджетных исследований, а также экономики финансов свидетельствует о том, что адекватная система стимулов может привлечь молодых исследователей, применяющих современные подходы и способных осуществлять качественные исследования. Специалисты из нескольких научных организаций, таких как Центр экономических и финансовых исследований и разработок в Российской экономической школе (ЦЭФИР), а также научных центров ГУ–ВШЭ и других, публикуют свои работы в ведущих международных экономических изданиях.
Российские исследователи только выиграли бы от большей интеграции в мировое научное сообщество. Она могла бы стимулировать научный диалог между ними и исследователями из других стран, что позволило бы познакомить российских ученых с международными стандартами проведения научных исследований и общепринятыми научными методиками [27]. Это также способствовало бы обсуждению их работ с коллегами со всего мира и свободному обмену критическими замечаниями.
Международное сотрудничество играет ключевую роль в развитии экономического знания. Посткоммунистическое преобразование экономической науки в странах Центральной и Восточной Европы можно рассматривать как заключительную стадию интернационализации этой научной дисциплины [28]. Грандиозная совокупность знаний, созданных и подробно описанных современными экономистами, сегодня открыта и доступна всем, кто хочет ее использовать. Российские экономисты, занимающиеся проблемами бедности, стоят перед серьезным выбором: принять международные стандарты и методы проведения научных исследований и стать частью мирового научного сообщества - или оставаться в изоляции и продолжать производить исследования, которые, с формальной точки зрения, неприменимы на практике.
Таблица 1. География авторов
Города Количество авторов % авторов
Москва 130 69,52
Новосибирск 7 3,74
С.-Петербург 7 3,74
Саратов 6 3,21
Нижний Новгород 4 2,14
Улан-Уде 4 2,14
Вологда 3 1,60
Иркутск 3 1,60
Киров 3 1,60
Алтайск 2 1,60
Брянск 2 1,60
Петрозаводск 2 1,60
Ульяновск 2 1,60
Прага 1 0,53
Стокгольм 1 0,53
Донецк 1 0,53
Екатеринбург 1 0,53
Махачкала 1 0,53
Омск 1 0,53
Ростов-на-Дону 1 0,53
Сыктывкар 1 0,53
Ярославль 1 0,53
Другие 3 1,60
Итого 188 100.00
Таблица 2. Количество публикаций у авторов, всего 250 публикаций
Количество публикаций Количество авторов % авторов
1 135 71,81
2 18 9,57
3 13 6,91
4 6 3,19
5 6 3,19
6 3 1,60
7 1 0,53
8 2 1,06
9 2 1,06
11 1 0,53
13 1 0,53
Итого 188 100,00
Таблица 3. Представление эмпирических результатов в США/Великобритании в 1965 г. и в России в 1992–2006 гг. (в %)
США / Великобритания
1965 Россия
1992–2006
Оценки параметров 100 75
Среднеквадратические ошибки 53 8
Анализ регрессий 48 12
Источник: Thomas J. Op. cit.
Рисунок 1. Количество публикаций о бедности в год
Рисунок 2. Изменение индекса качества публикаций во времени
Примечания
Автор выражает признательность В. Гимпельсону, Р. Емцову, С. Заиди и Р. Капелюшникову, за комментарии и предложения. Выводы и заключения статьи отражают точку зрения автора, и их не следует связывать с позицией Всемирного банка, его исполнительными директорами или странами, которые они представляют.
[1] Russian Federation: Reducing Poverty through Growth and Social Policy Reform / The World Bank, 2005.
[2] Klugman J. Poverty in Russia: Public Policy and Private Responses. World Bank Publications, 1997.
[3] Ziman J. Real Science: What It Is, and What It Means. New York: Cambridge University Press, 2000.
[4] Campbell D. Quantitative Knowing in Action Research / Kurt Levin Award Address. Society for the Psychological Study of Social Issues, presented at the annual meeting of the American Psychological Association. New Orleans, 1974.
[5] King G., Keohane R., Verba S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 1994.
[6] Laudan L. Progress and Its Problems. Berkeley, CA: University of California Press, 1997.
[7] Einstein A., Infeld L. The Evolution of Physics. New York: Simon and Shuster, 1938.
[8] Stokes D. Pasteur’s Quadrant: Basic Science and Technological Innovation. Washington, DC: Brookings Institution Press, 1997.
[9] Abt H., Garfield E. Is the Relationship between Numbers of References and Paper Lengths the Same for All Sciences? // Journal of the American Society for Information Science and Technology. 2002. Vol. 53, No 13. P. 1106–1112. В последние десятилетия число ссылок на другие работы в экономических изданиях значительно выросло. Дж. Эллисон отмечает, что в 1977–1978 гг. статья, опубликованная в одном из четырех ведущих экономических журналов, содержала в среднем 15 цитирований; в 1998 г. их число увеличилось до 30 (Ellison G. Evolving Standards for Academic Publishing: A q-r Theory: Mimeo. Department of Economics, Massachusetts Institute of Technology, 2001). Если считать, что число цитирований растет линейно со временем, то получится, что в российских изданиях оно соответствует международному уровню 1968 г.
[10] Kalaitzidakis P., Mamuneas T., Stengos T. Rankings of Academic Journals and Institutions in Economics // Journal of the European Economic Association. 2001. Vol. 1, No 6. P. 1346–1366.
[11] Coupe T. Revealed Performance: Worldwide Rankings of Economists and Economics Departments, 1990–2000 // Journal of the European Economic Association. 2003. Vol. 1, No 6. P. 1309–1345.
[12] Friedman M. Essays in Positive Economics. Chicago, IL: University of Chicago Press, 1970. P. 6.
[13] Root-Bernstein R. On Defining a Scientific Theory: Creationism Considered. // Science and Creationism / A. Montagu (ed.) New York: Oxford University Press, 1984. P. 64–94.
[14] Popper K. Conjectures and Refutations: The Growth of Scientific Knowledge. 2nd ed. New York: Basic Books, 1965.
[15] Подробное описание обследования НОБУС и собранные данные можно найти по адресу nobus.worldbank.org.ru.
[16] Haavelmo T. The Probability Approach in Econometrics // Econometrica. 1944. Vol. 12 (Supplement). P. iii-vi+1–115.
[17] Marschak J. Economic Structure, Path, Policy, and Prediction // The American Economic Review. 1947. Vol. 37, No 2. P. 81–84.
[18] Gilbert R. Richard Stone, Demand Theory and the Emergence of Modern Econometrics // The Economic Journal. 1991. Vol. 101. P. 288–302.
[19] Green W. Econometric Analysis. 5th ed. NJ: Prentice Hall, 2003.
[20] Эти цифры, однако, говорят об улучшении ситуации по сравнению с концом 1980-х годов. М. Алексеев с соавторами пришли к заключению, что среди более чем 100 статей, опубликованных в ведущем экономическом журнале в 1988 г., нет «статей, в которых бы использовались математические вычисления, или в которых были бы попытки выдвинуть поведенческую или какую либо другую модель» (см.: Alexeev M., Gaddy C., Leitzel J. Economics in the Former Soviet Union // Journal of Economic Perspectives. 1992. Vol. 6, No 2. P. 137–148).
[21] Похожее различие в использовании многомерного анализа среди российских и западных биологов отмечено В. Леоновым. 30% статей, опубликованных в международных биологических медицинских журналах, основано на многовариантных методах по сравнению с 3% — в российских публикациях (см.: Леонов В. Наукометрика статистической парадигмы экспериментальной биомедицины // Вестник Томского Университета. 2002. Вып. 275. С. 17–24).
[22] Wooldridge J. Econometric Analysis of Cross-sectional and Panel Data. Cambridge, Mass: MIT Press, 2002.
[23] Stanley T. Wheat from Chaff: Meta-Analysis as Quantitative Literature Review // Journal of Economic Perspectives. 2001. Vol. 15, No 3. P. 131–150.
[24] С помощью линейной регрессии мы оцениваем зависимость индекса качества от следующих характеристик: год публикации; область науки (экономика, социология); является ли статья исследованием или обзором; из Москвы автор или нет; есть ли у автора научные степени; опубликована ли статья в одном из четырех журналов с наибольшим количеством публикаций о бедности.
[25] Мы проанализировали подборку публикаций в 200-х ведущих международных экономических изданиях с 1985 по 2006 г. (см.: Das J., Do T., Sahines K., Srinivasan S. To Grow is to Know: Economics Research and The Wealth of Countries: Mimeo. The World Bank, 2007). Публикации, в которых хотя бы один автор был связан с российскими научными институтами, составляют 0,45% от общего числа опубликованных статей.
[26] Актуальный проект редакторов российских физических журналов посвящен развитию независимой системы контроля качества научных исследований в физике. Ведущие российские физики и математики подчеркивают, что недостаток такой независимой оценки — одно из ключевых препятствий на пути прогресса и даже самого существования российской науки (www.scientific.ru).
[27] В 1963 г. экономический еженедельник «Horsodarske Noviny», выходивший в Чехословакии, опубликовал мнения нескольких выдающихся экономистов о качестве экономических исследований в стране. Две главные причины, объяснявшие низкие стандарты экономической науки: общая нехватка экономической литературы и невозможность получить доступ к необходимым данным (Revisionism in CS Economics / Target Area Research and Analysis. Czechoslovak Unit. Report 16-6-134. 1963).
[28] Kaase M., Sparschuh V., Wenninger A. Three Social Science Disciplines in Central and Eastern Europe // Handbook on Economics, Political Science and Sociology (1989–2001). Berlin/Bonn/Budapest: Collegium Budapest and the Social Science Information Centre, 2002.
См. также:
Алексей Куприянов. Афера Гельфанда, или Кризис российской системы peer-review
Елизавета Сурначева. Российские бедные: от политической абстракции – к социальной реальности
Михаил Локшин
11 декабря 2008, 09:29При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна. При перепечатке в Интернете обязательна гиперссылка www.polit.ru. Все права защищены и охраняются законом. © 1999—2008 Полит.ру
Відповіді
2008.12.11 | Princess
Re: Использование научного метода в российских социальных науках
таки защищены права в инете? гы.