И лучшие ученые могут быть плохими рецензентами
2013-10-23http://inosmi.ru/world/20131024/214175173.html
Йоахим Мюллер-Юнг (JOACHIM MÜLLER-JUNG), "Frankfurter Allgemeine Zeitung", Германия
Оригинал публикации: Auch die besten Wissenschaftler sind schlechte Gutachter.
Коллективный сбой? То, что отличает хороших исследователей от плохих, вряд ли можно надежно оценить при помощи системы цитирования, факторов влияния и рецензий коллег.
Основываясь на голом числе публикаций, вряд ли можно определить, что наука в кризисе. Согласно статистическим данным, каждые 20 секунд публикуется одна научная статья. Тот, кто знает, сколько работы уходит на одну публикацию с участием нескольких авторов, скажем, по астрофизике или молекулярной биологии, тот удивится такой высокой продуктивности, особенно если исходить из хорошего качества работ. Отделять зерна от плевел – это, скажете Вы, рутина для ученых. Также как можно было бы предположить, что апелляционные комиссии, спонсорские организации и жюри конкурсов довольно просто могут отличить хорошего ученого от середнячка. Но не тут-то было.
Если коснуться дискуссий последних лет о том, как можно надежнее всего измерить качество публикуемых материалов, быстро возникают сомнения. И виновен в этом не только поток новых сомнительных журналов, большинство из которых не имеют открытый доступ и обещают потенциальным авторам и спонсорам быструю - и якобы гарантирующую защиту качества - публикацию материалов. Если коснуться вопроса о том, достиг ли своего предела метод рецензирования работ как надежный инструмент, использующийся на протяжении веков, тут же закрадываются сомнения. С одной стороны, все чаще попадаются такие случаи как с физиком-обманщиком Яном Хендриком Шеном (Jan Hendrik Schön), который более десяти лет публиковался в признанных журналах Nature и Science и, по всей видимости, сумел обойти все механизмы безопасности. Есть также статьи, которые в первые недели после публикации активно цитируются, а спустя год будто забываются, потому что их тезисы опровергаются. Но есть и оригинальные статьи, например, Грегора Менделя (Gregor Mendel), которые на протяжении нескольких лет будто не замечаются, но, в конце концов, приводят к смене парадигмы в науке. Другими словами: Распознать, что является выдающейся статьей, - это тяжелейшая работа в научной сфере. Потому что, в конце концов, от этой оценки зависит не только слава и размер гонорара отдельного исследователя, но и целые институты с сотнями или тысячами сотрудников.
То, что введение различных статистических, то есть библиометрических методов оценки, например, факторов влияния журналов и цитируемость не решило в целом проблему, отражается не в последнюю очередь в растущем количестве новых концептов и идей, которые лишь частично исходят из соответствующих дисциплин – библиометрии или наукометрии. Подобный подход появился около десяти лет назад в биологии и позднее в медицине с основанием сайта научных публикаций Faculty of 1000. Несколько тысяч исследователей со всего мира дают определения, оценивают, комментируют, по их мнению, самые важные публикации и создают из них банк данных. Статьи в банке данных могут быть помечены как «рекомендованные», «необходимые к прочтению» или «выдающиеся». По мнению критиков, данный подход является хотя и дополнительным, но субъективным методом оценки.
Наибольшую пользу сайт приносит необязательно благодаря защите качества статей, говорит основатель ресурса F1000 Витек Трач (Vitek Tracz) репортеру издания Science. Это сокровищница. Исследователи из смежных дисциплин ищут в банке данных важнейшие публикации за пределами их профессиональной области. Контроль качества не является моделью бизнеса, потому что основные идеи сосредоточены в новых проектах, таких как F1000Research. За счет быстрой проверки качества редакторами он позволяет быстро публиковать исследования и рецензии на них с указанием имен рецензентов. Долгие, затяжные и нервирующие методы анонимного рецензирования, а авторы отзывов, как правило, являются конкурентами в этой сфере, отпадают. Вместо того, говорится в блоге F1000, некоторые статьи сразу оцениваются в банке несколькими рецензентами, что должно положительно сказаться на качестве.
Но действительно ли все так происходит? Двое ученых решили опробовать этот метод и проверить альтернативные методы оценки. Биолог Адам Эйр-Волкер (Adam Eyre-Walker) из университета Сассекса в Брайтоне вместе со своей коллегой из Ганновера Ниной Столецки (Nina Stoletzki) взяли для исследования 5811 публикаций, находящихся с 2005 года в банке F1000. Более 1300 статей были рецензированы более чем одним ученым. Также для исследования были взяты 716 докладов из британского банка Welcome Trust, которые также подвергались рецензированию после публикации в классических журналах. Список цитируемости каждой из более 6500 статей в течение шести лет после их опубликования прослеживался при помощи Google Scholars. Результат: «Ни один из рассмотренных критериев оценки не является надежным. Прежде всего, субъективный метод оценки, осуществляемый коллегами, таит в себе много ошибок и является дорогостоящим». Другими словами: Эксперты всегда допускают ошибку, когда им приходится оценивать значение труда своего коллеги. Если двое высокоуважаемых коллег оценивают одну и ту же статью, они максимум в половине случае приходят к одному и тому же результату. «В статистическом плане это не лучше, чем случайное совпадение», - таково резюме обоих исследователей в их работе, опубликованной в Plos Biology.
Цитирование в других статьях также не является лучшим методом оценки. То, как часто одна статья цитируется в течение многих лет, представляет собой в массе своей стохастический процесс. То есть случай определяет, будет ли у статьи молниеносный старт. Многое зависит от того, в каком журнале появляется статья, в какое время, из какого региона автор, говорит ли он по- английски, мужчина или женщина – количество факторов, играющих свою роль, безгранично. Ни один из них не коррелируется с частотой цитирования. И оценил ли рецензент статью как «рекомендованную к прочтению» или «выдающуюся», роли здесь не играет.
Интересен пример американской инициативы San Fransisco Declaration of Research Assessment, в которой некоторое время назад институтам были рекомендованы к использованию именно эти два слабых критерия оценки – субъективное рецензирование и цитируемость. Предостережения высказывались, напротив, относительно фактора влияния журналов. Он измеряет, как часто статьи из определенного журнала цитируются в других изданиях в соотношении к общему количеству публикаций. Материалы, публикуемые в уважаемых журналах с большим фактором влияния, обладают научным весом, поскольку препятствия при публикации довольно высокие. Фаза отбора материала является существенным и довольно жестким критерием.
В исследовании обоих биологов фактор влияния журнала рассматривается как самый содержательный из трех критериев оценки, но вместе с тем как недостаточный. «Многие журналы получают более высокий фактор влияния за счет положительных откликов». Кто уже однажды оказался на верхних строчках, получает больше претендентов на публикации, но не обязательно лучшие публикации. Оценит ли исследователь высоко работу своего коллеги, больше зависит от фактора влияния определенного журнала, а не от долгосрочного эффекта научного исследования. Основной итог работы Эйр-Волкера и Столецки: «Исследователи, вероятно, лучше всего годятся для оценки научных работ, но сами они в них не особо плодотворны».
