peer review

[aridmoors]

Почему меня бесит система рецензирования (peer review) в науке, я считаю ее архаичной, неэффективной и даже просто чисто эксплуатацией.



Потому что весь мой опыт, когда я сталкивалась с этой системой, был исключительно негативный. Но при этом про статьи, которые были рецензированы, обычный человек почему-то говорит с придыханием. Помню диалог в суде между вирусологом Энтони Фаучи и президентом компании, которая тогда двигала гидрокси-клороквин (пардон, не знаю русского), для лечения коронавируса.
Так вот, президент задал такой вопрос Фаучи:
- Но вот же статьи, которые были рецензированы, которые доказывают что клороквин хороший!
И ответ Фаучи:
- Рецензирование само по себе не значит, что исследование было сделано качественно или что это хорошее исследование [sic!]. Отрецензировать можно полную лабуду. Нужно смотреть на конкретные данные.

Это главный вирусолог США так сказал про рецензирование!!! И обратите внимание, что главный аргумент босса компании был "эти статьи рецензированы". И такое отношение к рецензированию, к сожалению, крайне распространено. И ошибочно. Как правильно сказал Фаучи, отрецензировать можно все что угодно, этот процесс НЕ ГАРАНТИРУЕТ КАЧЕСТВА СТАТЬИ.
И это главная моя проблема с системой рецензирования.

Кто не знает, публикация статей в научных журналах - это процесс долгий, муторный и полный нагроможденных бессмыслиц, одна на другой. Для начала, усвойте себе, что единственный кто получает ДЕНЬГИ за публикацию статей в науке - это журнал. Журналы гребут деньги со всех. С авторов, которые пишут статьи (нельзя опубликоваться бесплатно, ты должен платить журналу за то что хочешь в нем публиковать) - это звучит дико для тех, кто работает в других сферах публикации, потому что обычно АВТОРУ платят, а не автор платит. Но в науке все же с ног на голову. Авторы платят журналам за свои же статьи.

Во-вторых, журналы гребут с ревьюеров (рецензентов), правда, не деньги, потому что если бы они еще и деньги потребовали, тут уж никто рецензированием заниматься не стал, но они гребут с них человеко-часы, потому что каждый рецензент тратит время (средняя цифра была, если мне не изменяет память, 9 часов на одну статью), и при этом делает это СОВЕРШЕННО БЕСПЛАТНО. То есть журналы гребут бесплатные человеко-часы.

В-третьих, журналы гребут еще и с читателей - тех же самых ученых, которые сами же эти статьи и написали. Сейчас система чуток меняется, но основа все еще остается - большая часть статей НЕДОСТУПНА без университетской подписки на журнал. Это беспрецедентно по наглости, потому что исследования были сделаны на народные деньги, опубликованы на народные деньги, а потом народ не может даже получить свободный доступ к статьям! Для изумления: чтобы прочитать ОДНУ статью, вы должны заплатить журналу от 15 до 50 долларов, в зависимости от журнала. За ОДНУ, О-Д-Н-У статью!!!! Мне страшно себе представить, сколько стоит полная подписка, эти цифры мне неизвестны. Но можете себе их вообразить, да.

Так вот. В результате всего этого горького катаклизма и наглого безобразия, прибыли индустрии публикации научных журналов в данный момент превышают прибыли фарм-индустрии!!!

С системой безобразного присвоения себе права на статьи пыталась бороться наша девушка, Александра Элбакян. Она создала датабазу, откуда вы можете бесплатно скачать любую статью. К сожалению, на нее и подавали в суд, и вообще пытались растоптать. Капитализм. Кто еще не понимает, почему такие огромные и важные для человечества области, как наука, не должны быть коммерциализованы, вы... ну вам надо немного подучить матчасть.

При этом та часть системы, которая относится к рецензированию - это часть, сложившаяся исторически, и ее собственно никто среди ученых не решал голосованием, она была создана по инициативе владельцев журналов, чтобы придать больше веса себе. При этом, еще раз, это чистая, неприкрытая эксплуатация - ученые бесплатно работают на журнал, совершенно не получая никакой, вообще никакой отдачи.

При этом сам процесс рецензирования... представляет собой следующее: ученый пишет статью, посылает ее в журнал, журнал выбирает двух рецензентов, которые пишут свое мнение о статье с комментариями попунктно. Эти комментарии затем отсылаются обратно автору статьи, который должен на них отвечать - либо путем аргументации (что редко работает), либо путем проделывания дополнительных экспериментов или расчетов.

Вся эта коммуникация, конкретно в моем опыте, во всех моих пяти статьях где я была ответственна за ответы рецензентам, была полностью бессмысленной и негативной.

Начать с того, что из ВСЕХ моих рецензентов (а их было 10, два на каждую статью), только ОДИН нормально писал по-английски. Это говорит о том, что подавляющее большинство рецензентов не знают английский на достаточном уровне. ВОПРОС: если ты настолько хреново говоришь по-английски, то что ты можешь понять в данной тебе статье? Вопрос остается открытым. Нанимали китайцев или каких-нибудь арабов? Скорее всего. Смысл тогда в этом процессе? Вопрос открыт.

Во-вторых, рецензенты очень часто (в моем опыте) оказывались незнакомы с темой статьи, и писали СОВСЕМ УЖ дурацкие комментарии, то есть вообще дурацкие, объективно бессмыслицу. И я должна тратить время, чтобы вежливо, максимально красиво и четко отвечать на эти бессмысленные комментарии. Это не вина рецензентов - они вообще пашут забесплатно и не обязаны ни мне, ни журналу НИЧЕМ. Но система так построена, что вот и получается, что 50% комментариев просто ни о чем. Бессмысленная и жестокая трата времени меня, рецензентов...

И главное, что меня бесило и бесит, это что НИ ОДНО рецензирование в результате не привело к радикальному изменению статьи или ее заключений. То есть изменения, которые мне надо было делать, во всех пяти статьях, это были не дополнительные эксперименты, а изменения вида "у вас не указано, что отложено по оси икс на картинке". НИ ОДНО ревью не окончилось для меня какими-либо фундаментальными изменениями в собственно научной части.

Спрашивается: РАДИ ЧЕГО вся эта лабуда, это лицемерие? Что, можно подумать, я гениальный ученый и так хорошо дизайню свою работу и пишу статьи, что мне не потребовалось для ПЯТИ статей ни одного дополнительного эксперимента? Не смешите мои тапочки.

Просто процесс рецензирования страдает от крайней, безумной эмоциональности. Собственно переписка с рецензентами - это процесс подстилания под них и попыток их умаслить. Вот тут я сознательно скажу, что именно на это были направлены все мои ответы. Я сознательно пыталась умаслить рецензентов, и писать им ответы так, чтобы они чувствовали свою значимость. Это чистая психология. И все пять раз я выехала на этой чистой психологии.

В ЧЕМ СМЫСЛ РЕВЬЮ ТОГДА?

Впрочем, не знаю, может быть остальной научный мир, состоящий из студентов или постдоков, не обязательно сознает, ЧТО он делает и КАКАЯ цель реально у процесса ревью, и не учитывает, что все это игра в поддавки, которую можно выиграть только если профессионально и целенаправленно поддаваться. Поддаваться тоже надо уметь. Может они не умеют.

Но в любом случае, неприкрытая, голая эксплуатация ученых-рецензентов - это полное капиталистическое безобразие, в котором я не буду участвовать ИЗ ПРИНЦИПА. Нет. Не буду работать бесплатно на финансовых гигантов, которые и так с меня деньги гребут при публикациях. Эта практика должна быть искоренена. Рецензентам НАДО платить. Совесть надо иметь.

Comments

[sable-ru.livejournal.com]

Eric Weinstein часто проходится по peer review, например здесь:
https://twitter.com/EricRWeinstein/status/1225873838254067712

[levyi-botinok.livejournal.com]

В целом согласен. Рецензирование в основном сводится к отзывам на работы знакомых исследователей, журналы становятся центрами научных "тусовок". Статья на неизвестную тему неизвестного автора - неприемлемый напряг для рецензента.
Однако, бывают удачные случаи. Меня однажды рецензент справедливо ткнул, что трактовка данных далеко не очевидна. Либо теорию давай, либо не спамь. А статья была вообще-то после конференционного доклада - организаторы попросили в статью оформить. Напрягся, выдал некий сырой вариант модели. Прошло, и статья получилась наиболее цитируемой из всего моего хлама.

[kilativ.livejournal.com]

Как автор более 30 статей, половина из которых — это Science, Cell, Nature, PNAS и Molecular Cell могу сказать, что в крутых журналах еще присутсвует всегда конфликт интересов, когда рецензент — это конкурент автора статьи за гранты, а гранты дают в зависимости от крутизны журнала (даже не статьи!). Рецензенту всегда несложно написать псевдонаучной ахинеи (вот прямо сейчас мы с этим разбирались в Cell), на основании которой редактор всегда сможет отказать в публикации, мол, раз есть возражения, вы недостаточно хороши для нашей крутизны. При этом рецензенту же известно, кого он рецензирует, а он сам — неизвестен и потому можно глумиться над теми, кто тебе не нравится или с кем пересекаются интересы (бизнес, ничего личного). Иногда по стилю можно догадаться, кто рецензировал, потому совсем уж наглеть не советуют, а то самому придется потом отвечать по гамбургскому счету, но чаще всего это сходит с рук.

[aridmoors.livejournal.com]

Воооот... Пипец...

[vida-louca.livejournal.com]

Наконец-то сказано прямо и откровенно.
Спасибо, девочка!

[oldbap.livejournal.com]

Бизнес журналов и н чего кроме этого. Ну ещё распределители грантов / бюджетов ориентируются и требуют это. И те, ни другие 6мчего в науку не добавляют, как и сама традиция, которая сегодня стала абсолютно излишней. В печку журналы !

[tamgdenasnet.livejournal.com]

Я могу сказать много горьких слов о рецензировании (был по обе стороны баррикад, страдал главным образом на вашей стороне; про рецензентов согласен -- это тяжелый, если все делать качественно, бесплатный труд). Однако хороших альтернатив peer review нет, и вы ничего не предлагаете.

Еще я бы не преувеличивал доходы всех этих изданий -- библиотеки университетов торгуются, отказываются от подписки если очень дорого. Всегда был межбиблиотечный обмен и возможность попросить оттиск у автора. А теперь еще есть Александра Элбакян :).

[aridmoors.livejournal.com]

А какова функция ревью (ну вы говорите я не предлагаю альтернатив), какие функции должны выполнять альтернативы?

[tamgdenasnet.livejournal.com]

Я думаю, ответ вы знаете. Главная функция ревью -- определить, соответствует ли качество, уровень и оригинальность работы типичным для данного журнала. В случае теоретической возможности публикации Также ищутся ошибки и недочеты, на которые авторы должны дать ответ. Чтобы уменьшить субьективность рецензии, таких рецензий пишут от двух до четырех.

[aridmoors.livejournal.com]

Вот!
Я именно то и говорю, что современное рецензирование НЕ ВЫПОЛНЯЕТ этих функций. То есть реально ревьюеры сегодня просто тупо не выполняют тех функций, о котиорых вы говорите.

"определить, соответствует ли качество, уровень и оригинальность работы типичным для данного журнала"

Вот это они НЕ выполняют. В данном случае само их наличие тогда ставится под вопрос.

[tamgdenasnet.livejournal.com]

Система худо-бедно работает -- статьи выходят. Да, к системе много нареканий. Но если ее убрать, будет хуже, а не лучше.

Любого зарвавшегося рецензента можно поставить на мес

[telepuzpuz.livejournal.com]

Процесс рецензирования - это нормальная научная дискуссия. Арбитр - редактор. Я всегда прямо пишу редактору, если рецензент не прав!

[smertnyy.livejournal.com]

Вы сами это уже писали несколько раз.)

Про систему научного рецензирования

[livejournal.livejournal.com]

User sanchos_f referenced to your post from Про систему научного рецензирования (https://sanchos-f.livejournal.com/271280.html) saying: [...] деградирует так же, как и многие другие области. https://aridmoors.livejournal.com/726869.html [...]

[nil-0.livejournal.com]

1) Мой последний опыт с рецензентами очень отрицательный: последовательно два рецензента в журнале, который считается очень солидным, оказались просто безграмотными. 1й рецензент в резюмирующей части утверждал, что в статье ошибка, а в основном тексте рецензии писал, что-то типа "я здесь не понял, может быть ошибка".
2) Замечу, что вопрос "что по осям?" — стандартный вопрос на семинарах и конференциях. А аккуратное описание того, что конкретно изображает график — азы культуры представления данных.

[aridmoors.livejournal.com]

Мне еще кажется, что все больше ученых, особенно солидных, отказываются быть ревьюерами. Я где-то статью видела, где измерялось, скольким ревьюерам надо написать с просбой, чтобы один согласился. Там цифра уже перевалила за 2. То есть 50% отказываются ревьюировать.
Если бы еще были где-нибудь данные о том, КТО отказываается... у меня ощущение, что все больше слой ревьюеров уходит к "арабам и китайцам", то есть качество процесса начинает быть ниже плинтуса.

[m-horn-gin.livejournal.com]

Да, многие отказываются, и издатели пытаются завлекать рецензентов плюшками: mdpi — ваучерами на скидки, elsevier — доступом к своим журналам и scopus

Вот один мой старший коллега небольшую заметку написал на счёт рецензирования: https://www.geolsoc.org.uk/Geoscientist/Archive/February-2018/Whats-happening-to-Peer-Review

Альтернативы peer review я не вижу, разве что сейчас вырисовываются новые варианты с представлением рецензий. Они могут вывешиваться на сайте издателя вместе с ответами авторов (как в журналах издаваемых european geoscience union), или вместе с статьей приводятся ссылки на publons где опять же выложены и рецензии и ответы (у wiley такое видел)

[amazedworld.livejournal.com]

Плохо то, что эта система Вас "бесит".
Надо относится к таким вещам безразлично. Как к погоде.
У природы нет плохой погоды.
В существующем обществе эта система отношений равносильна природе.
Поэтому ее стоит сражаться с ветряными мельницами и тратить на это нервные клетки.

[alaev.livejournal.com]

Так а какие могут быть альтернативы рецензированию? Публиковать всё подряд, кому что в голову взбредёт? Тогда систему научных публикаций можно будет похоронить.

Нормальная система рецензирования выглядит так: ваша статья попадает в руки специалиста в этой области, который может её оценить достаточно быстро. Если статья плоха, он пишет отрицательную рецензию и не пускает в мир науки шарлатанов (которые его самого позже сожрут). Если хороша, пишет положительную, и заодно получает доступ к самой свежей информации о последних (ваших) исследованиях. Если пишет неадекватную рецензию, то портит свою репутацию в глазах редколлегии. Поэтому редколлегия должна состоять из наиболее авторитетных специалистов. Если вы не специалист, от рецензирования можно и нужно отказаться.

Разумеется, всё это не будет работать для мусорных журналов. И редколлегия там будет состоять из кого попало, и рецензентов они будут подбирать таких же мусорных, и статьи будут поступать соответствующие. Там любой цирк возможен.

[aridmoors.livejournal.com]

Не факт. Опыт Биоархива показывает, что не публикуют что попало, публикуют так же, как обычно, и это без всяких рецензентов. На биоархив можно грузить что угодно, там нет рецензентов, однако же грузят точно такое же, как и в журналах. Откуда уверенность, что вдруг все ученые станут к своей работе относиться спустя рукава? Я вообще мало ученых знаю, которые торчат в науке из-за денег - потому что денег как раз в науке-то и нет, в индустрии куда больше зарабатывают.

[kilativ.livejournal.com]

Статьи — это отчет по работе. Гранты по загрузкам в Биоархив не дают. Никуда от статей не денешься. Плюс как грантодателю понять, кому стоит давать за реально интересную и важную работу, а кто просто гонит малоинтересную, но зато очень многотонную туфту?

[aridmoors.livejournal.com]

Но здесь вы не сказали ни одного аргумента ы пользцу именно РЕВЬЮ. То есть что журнал есть - это да. Что их польза есть - несомненно. Однако почему не оставить процесс оценки полностью на эдиторов?

[kilativ.livejournal.com]

А тут я не могу поспорить. Однако, могут ли редактора знать все тонкости конкретной области науки?

[aridmoors.livejournal.com]

Тогда пусть ревьюеры будут, но они будут только принимать решение, голосовать, так сказать, "да" или "нет", ну пусть там пол-абзаца пишут редактору, на каком основании они посчитали что да и на каком что нет. Но без муторной переписки этой с "у вас запятая не там поставлена". И обязать всех английский править в обязательном порядке, чтоб все запятые "там" стояли.

Ну или платить ревьюерам. Уверена, что если бы платили, отношение у них к процессу резко бы изменилось в лучшую сторону.

[alaev.livejournal.com]

Дык Биоархив не учитывается ни в отчётах, на в заявках на гранты, ни в CV. Поэтому учёные постят туда препринты своих статей, никому другому он не нужен. Как только мы начнём рассматривать препринты как полноценные публикации, туда пойдёт цунами псевдонаучных текстов, которые сейчас идут в мусорные журналы.

Вариант, что рецензированием занимаются сами члены редакторы, вполне возможен. Но обычно им не хватает на это времени или квалификации, и привлекаются посторонние эксперты. Правильный подбор квалифицированных рецензентов — основная задача редакторов приличного журнала.

[melnikovvv.livejournal.com]

Быть рецензентом хорошо, когда это даёт какие-то «ништяки» в работе. Я стал рецензентом журнала университета, когда (будучи зам.начальника НИСа) пришёл в редакцию со словами: «Что такое вы печатаете?!». А мне в ответ: «А у нас профильных рецензентов нет, не хотите им стать?». Но это как бы по работе. А после ухода на производство меня хватило на два года. Ни сил ни времени разгребать бред, который пошёл.

[schegloff.livejournal.com]

Смысл рецензирования в работе на научную группировку, то есть топить чужих и двигать своих; за это естественно платит группировка, а не журналы.

Но согласен, что топить чужих и двигать своих - не совсем наука.

[affidavid.livejournal.com]

Peer review это как демократия: ужасная система, просто все остальные системы еще хуже.
Кстати, в ведущих журналах большинство статей отвергается без какого-либо peer review единоличным решением редактора.

[aridmoors.livejournal.com]

Вот мне кажется что надо сделать, чтоб и принималась тоже решением редактора. Или вот так: пусть будут ревьюеры, но без этих нудных вопрос-ответов. Тоже, чисто числом голосов бы решали, принять или нет. Ну пусть ревьюеры пишут текст редактору, на каком основании они посчитали отвергнуть или принять, но без этого мытарства с вопрос-ответами.

[affidavid.livejournal.com]

Но редактор же не специалист и не может оценить каждую конкретную статью - это могут сделать только эксперты в данной конкретной области. Вы же не хотите, чтобы ваши статьи оценивал, скажем, специалист в области паразитологии.

Вопросы это самая важная часть процесса. Если авторы ответить на разумный вопрос ревьюера не могут. значит статья не годится для публикации. Конечно, всегда есть некоторый процент глупых ревьюеров и глупых вопросов, но он как раз отсеивается чем-то вроде голосования: если два ревьюера согласны в том, что статья хорошая, а один против, то редактор обычно принимает решение в пользу публикации. В сомнительных случаях посылается еще к одному рецензенту.