и вдогонку
Jun. 9th, 2013 12:50 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
aridmoorsПро то, почему вы иногда видите в прессе статьи типа "Исследователи рассмотрели 53 статьи в области раковых заболеваний, и попробовали воспроизвести их результаты (причем включая диалог с авторами, получение от них дополнительных данных и указаний в случае необходимости итд.). Только в 11% случаев удалось воспроизвести результаты."
Хочу рассеять ненужные тяжелые мысли, которые у нормальных людей вызывают подобные публикации (а мысль, что на нашей Земле тысячи людей, называющих себя учеными и врачами, заняты неизвестно чем, и им нельзя верить - это, согласитесь, тяжелая мысль для психики, ненужный стресс, ненужная вера в то, что где-то сидят какие-то плохие люди).
Статья, которая приведена в начале поста, про 11%, называется "Разработка лекарств: поднять стандарты для преклинических раковых исследований" (Drug development: Raise standards for preclinical cancer research). Она появилась в журнале Nature, который является одним из самых известных и уважаемых научных журналов в среде ученых.
Почему эта статья появилась в Nature? Расскажу несколько подробностей, которые нигде не написаны, и которые обычному человеку, не варящемуся в этой среде, узнать, по-моему, нереально. Журнал Nature (его биологическая часть) в среде биологов пользуется двойственной репутацией. Потому, что у этого журнала есть особая политика. В этот журнал отбираются статьи с учетом двух вещей: статья должна содержать по возможности новый, революционный материал, а также хорошо, если она будет немного сенсационной (чтобы ее было легко рекламировать, интересно читать - неоднозначные статьи всегда читать интереснее, чем скрупулезные, точно выверенные исследования, проводящиеся в какой-нибудь области, в которой все хорошо известно).
Журналу Nature необходимо отбирать именно такие статьи для того, чтобы сохранять ведущие позиции, так как это журнал для получения выгоды, это бизнес. Это не значит, однако, что там печатаются некачественные вещи - если бы это было так, то журнал быстро бы потерял репутацию, и вышел из игры. Так что авторы Nature специально очень тщательно отбирают из тысяч статей именно те, которые представляли бы какой-нибудь сенсационный прорыв (т.е. ПЕРВОЕ исследование в этой области - оно при таком подходе очень часто является неподтвержденным другими исследователями - так как оно первое), даже если эта статья будет выполнена авторами несколько спустя рукава; и такие статьи, на которые потом обычная пресса могла бы обратить пристальное внимание, и поднять популярность Nature, неоднозначные - по которым потом на страницах самой Nature будет поднята буча обсуждения учеными. Короче говоря, журналу присуща некоторая тенденциозность в выборе статей для публикации. Это все знают [в среде биологов].
Поэтому, если что-то появилось в Nature, это совершенно необязательно означает, что "ученые хотят рапортовать найденный ими факт" - начать с того, что ученые и редакторы Nature - это не одни и те же люди. Это может означать все, что угодно - и что ученые в самом деле хотят рапортовать важнейший факт, и что Nature нашла каких-то фриков, опубликовать которых она считает делом чести, чтобы раззадорить других исследователей на опровержение (и такое бывает), и что просто тема горячая, и что угодно другое. При этом нужно понимать, что статья все равно проходит какой-то контроль качества. Иначе она будет просто неинтересна научному сообществу, которое все-таки является главным потребителем научных статей.
Вот это, кстати, тоже надо хорошо понимать. Основным потребителем научных статей являются ученые. Журналы, для которых научные статьи - бизнес, затачивали десятилетиями свое искусство публикации именно для того, чтобы покрыть максимальное количество аудитории и не потерять марку - остаться именно крайне крутым научным журналом. Когда статья пишется и публикуется, аудитория статьи - ученые. Поэтому статьям может быть присущ невидимый со стороны юмор, намеки, особый стиль, понятный только тем, кто много лет это читает. Например, журнал может специально опубликовать статью с ну очень сырым исследованием, специально для того, чтобы позабавить, пробудить интерес научного сообщества. Или может появиться статья, опровергающая хорошо известные основы, чуть ли не рушащая наши представления о том, как работает природа - для того, опять же, чтобы привлечь внимание, чтобы расшевелить ученых, чтобы быть интересным.
Один из характерных примеров таких историй - это статья, которая в желтой прессе потом была растиражирована с заголовком "вода имеет память!". Статья в оригинале называлась "Дегрануляция человеческих базофилов, вызываемая очень разбавленными антисыворотками против IgE", и повествовала о том, что клетки, помещенные в воду, содержащую очень разбавленные (т.е. в крайне низкой, невообразимо низкой концентрации - так, что уже практически точно нет ни одной молекулы для нужной реакции) антисыворотки, реагируют на такую воду так же, как и на ту, которая содержит их в нормальной концентрации (т.е. наличествует эффект дегрануляции).
Эта статья была опубликована в Nature, и содержала следующий комментарий: "Существуют веские, конкретные причины, по которым рассудительные люди должны повременить с вынесением вердикта этой статье" - и описание законов физики и химии, которые нарушались в этой статье. И действительно - когда были проведены нужные эксперименты (в частности, двойные слепые исследования) - выяснилось, что во всем была виновата, вероятно, техника проведения этого эксперимента.
Так вот, когда ученые читали эту статью, они все понимали. И что святой воды не бывает, и что для реакции нужны молекулы. Но отвергнуть статью, не опубликовать ее в научном журнале не было настоящей причины - ведь люди работали в меру своих сил, представили доказательства, провели исследования; их работу подвергли рассмотрению, прежде чем решить, публиковать или нет. Если бы их просто отвергли, сразу, с порога, под тем предлогом, что "это противоречит нашей парадигме" - обыватели же сами первые бы начали кричать о цензуре - ах, сенсационное исследование о памяти воды зарезано цензурой! Но цензуры не было. Статью уважительно приняли. Рассмотрели. Проанализировали. Провели необходимые проверки - и уж тогда сказали: фигня это, братцы. И именно это есть нормальный научный процесс.
Все ученые, когда читают статьи, как бы понимают весь этот контекст. Статья никогда не принимается как данность - она всегда воспринимается с изрядной долей спектицизма. Я сейчас попытаюсь объяснить.
Ученые читают журналы постоянно, это часть их жизни. И это не далекая от них часть жизни, а очень близкая. Т.е. это не то же самое, как когда обычно человек смотрит телевизор - о событиях, которые происходят от него очень далеко, и в которых он мало что понимает; это, скорее, можно сравнить с застольными разговорами с вашими соседями по выходным. Ученые воспринимают научные статьи поэтому не так, как обыватель воспринимает новости, а так, как вы воспринимаете информацию о жизни вашего знакомого, которого вы хорошо знаете уже много лет.
Вот хорошее сравнение: вы перехали в новый район, только что перетащили мебель, и тут вам на дороге встречается чисто выбритый, опрятно одетый человек, с которым вы мило беседуете, и он вам говорит, что является местным жителем, рад вашему переезду, приветствует вас в новом районе, и приглашает на свою свадьбу, так как он вот практически только что собрался жениться. Вы, естественно, радуетесь и говорите, что обязательно придете. Вам кажется, что человек был хороший и сказал вам правду. А потом выясняется, что это был местный алкоголик, который уже в сотый раз как раз именно в это утро решил бросить пить и ходит, заявляя всем в очередной раз, что точно решил жениться и начать новую жизнь. Так вот местный житель, когда встретится с этим человеком с утра, будет иметь примерно такую реакцию: ну да, да, слыхали мы это. Посмотрим, чем дело кончится. Вот если начнет новую жизнь, если в самом деле бросит пить и женится - тогда и рассуждать будем.
Вот это нормальная, обычная реакция ученых на научные статьи. По-английски это красиво называется suspend judgment - отложить суждение. Не выносить скоропостижного суждения, а подождать, посмотреть, поразмыслить, проверить. Потому что вы-то в этом районе много лет, вы тут всех знаете. И если Вася-дворник сказал, что завтра будет конец света, это еще не значит, что надо срочно бежать проматывать все свои деньги. Но это не значит также, что Васе надо насильно затыкать рот. Ведь мы-то тут все свои, мы-то всех знаем, мы все как бы понимаем.
"- Под Затонью, говорят, дожди, – заметил бородатый на заднем сиденье.
- Кто это говорит? – спросил горбоносый.
- Мерлин говорит.
Они почему-то засмеялись."
Поэтому, когда вы видите в журнале Nature статью, которая опровергает все известные науке данные, подвергает сомнению основы основ - это не значит, что "ученые ничего не понимают, вот доказательство". Это означает, что Мерлин, вот, говорит, что под Затонью дожди. И может, в самом деле дожди. Но лучше уж перепроверить, если туда ехать.
П.С. Кому инетересно, почему конкретно рано делать какие-то выводы про эти 11%, можете прочитать хороший комментарий от юзера shvarz (он вирусолог), например, вот тут.
Хочу рассеять ненужные тяжелые мысли, которые у нормальных людей вызывают подобные публикации (а мысль, что на нашей Земле тысячи людей, называющих себя учеными и врачами, заняты неизвестно чем, и им нельзя верить - это, согласитесь, тяжелая мысль для психики, ненужный стресс, ненужная вера в то, что где-то сидят какие-то плохие люди).
Статья, которая приведена в начале поста, про 11%, называется "Разработка лекарств: поднять стандарты для преклинических раковых исследований" (Drug development: Raise standards for preclinical cancer research). Она появилась в журнале Nature, который является одним из самых известных и уважаемых научных журналов в среде ученых.
Почему эта статья появилась в Nature? Расскажу несколько подробностей, которые нигде не написаны, и которые обычному человеку, не варящемуся в этой среде, узнать, по-моему, нереально. Журнал Nature (его биологическая часть) в среде биологов пользуется двойственной репутацией. Потому, что у этого журнала есть особая политика. В этот журнал отбираются статьи с учетом двух вещей: статья должна содержать по возможности новый, революционный материал, а также хорошо, если она будет немного сенсационной (чтобы ее было легко рекламировать, интересно читать - неоднозначные статьи всегда читать интереснее, чем скрупулезные, точно выверенные исследования, проводящиеся в какой-нибудь области, в которой все хорошо известно).
Журналу Nature необходимо отбирать именно такие статьи для того, чтобы сохранять ведущие позиции, так как это журнал для получения выгоды, это бизнес. Это не значит, однако, что там печатаются некачественные вещи - если бы это было так, то журнал быстро бы потерял репутацию, и вышел из игры. Так что авторы Nature специально очень тщательно отбирают из тысяч статей именно те, которые представляли бы какой-нибудь сенсационный прорыв (т.е. ПЕРВОЕ исследование в этой области - оно при таком подходе очень часто является неподтвержденным другими исследователями - так как оно первое), даже если эта статья будет выполнена авторами несколько спустя рукава; и такие статьи, на которые потом обычная пресса могла бы обратить пристальное внимание, и поднять популярность Nature, неоднозначные - по которым потом на страницах самой Nature будет поднята буча обсуждения учеными. Короче говоря, журналу присуща некоторая тенденциозность в выборе статей для публикации. Это все знают [в среде биологов].
Поэтому, если что-то появилось в Nature, это совершенно необязательно означает, что "ученые хотят рапортовать найденный ими факт" - начать с того, что ученые и редакторы Nature - это не одни и те же люди. Это может означать все, что угодно - и что ученые в самом деле хотят рапортовать важнейший факт, и что Nature нашла каких-то фриков, опубликовать которых она считает делом чести, чтобы раззадорить других исследователей на опровержение (и такое бывает), и что просто тема горячая, и что угодно другое. При этом нужно понимать, что статья все равно проходит какой-то контроль качества. Иначе она будет просто неинтересна научному сообществу, которое все-таки является главным потребителем научных статей.
Вот это, кстати, тоже надо хорошо понимать. Основным потребителем научных статей являются ученые. Журналы, для которых научные статьи - бизнес, затачивали десятилетиями свое искусство публикации именно для того, чтобы покрыть максимальное количество аудитории и не потерять марку - остаться именно крайне крутым научным журналом. Когда статья пишется и публикуется, аудитория статьи - ученые. Поэтому статьям может быть присущ невидимый со стороны юмор, намеки, особый стиль, понятный только тем, кто много лет это читает. Например, журнал может специально опубликовать статью с ну очень сырым исследованием, специально для того, чтобы позабавить, пробудить интерес научного сообщества. Или может появиться статья, опровергающая хорошо известные основы, чуть ли не рушащая наши представления о том, как работает природа - для того, опять же, чтобы привлечь внимание, чтобы расшевелить ученых, чтобы быть интересным.
Один из характерных примеров таких историй - это статья, которая в желтой прессе потом была растиражирована с заголовком "вода имеет память!". Статья в оригинале называлась "Дегрануляция человеческих базофилов, вызываемая очень разбавленными антисыворотками против IgE", и повествовала о том, что клетки, помещенные в воду, содержащую очень разбавленные (т.е. в крайне низкой, невообразимо низкой концентрации - так, что уже практически точно нет ни одной молекулы для нужной реакции) антисыворотки, реагируют на такую воду так же, как и на ту, которая содержит их в нормальной концентрации (т.е. наличествует эффект дегрануляции).
Эта статья была опубликована в Nature, и содержала следующий комментарий: "Существуют веские, конкретные причины, по которым рассудительные люди должны повременить с вынесением вердикта этой статье" - и описание законов физики и химии, которые нарушались в этой статье. И действительно - когда были проведены нужные эксперименты (в частности, двойные слепые исследования) - выяснилось, что во всем была виновата, вероятно, техника проведения этого эксперимента.
Так вот, когда ученые читали эту статью, они все понимали. И что святой воды не бывает, и что для реакции нужны молекулы. Но отвергнуть статью, не опубликовать ее в научном журнале не было настоящей причины - ведь люди работали в меру своих сил, представили доказательства, провели исследования; их работу подвергли рассмотрению, прежде чем решить, публиковать или нет. Если бы их просто отвергли, сразу, с порога, под тем предлогом, что "это противоречит нашей парадигме" - обыватели же сами первые бы начали кричать о цензуре - ах, сенсационное исследование о памяти воды зарезано цензурой! Но цензуры не было. Статью уважительно приняли. Рассмотрели. Проанализировали. Провели необходимые проверки - и уж тогда сказали: фигня это, братцы. И именно это есть нормальный научный процесс.
Все ученые, когда читают статьи, как бы понимают весь этот контекст. Статья никогда не принимается как данность - она всегда воспринимается с изрядной долей спектицизма. Я сейчас попытаюсь объяснить.
Ученые читают журналы постоянно, это часть их жизни. И это не далекая от них часть жизни, а очень близкая. Т.е. это не то же самое, как когда обычно человек смотрит телевизор - о событиях, которые происходят от него очень далеко, и в которых он мало что понимает; это, скорее, можно сравнить с застольными разговорами с вашими соседями по выходным. Ученые воспринимают научные статьи поэтому не так, как обыватель воспринимает новости, а так, как вы воспринимаете информацию о жизни вашего знакомого, которого вы хорошо знаете уже много лет.
Вот хорошее сравнение: вы перехали в новый район, только что перетащили мебель, и тут вам на дороге встречается чисто выбритый, опрятно одетый человек, с которым вы мило беседуете, и он вам говорит, что является местным жителем, рад вашему переезду, приветствует вас в новом районе, и приглашает на свою свадьбу, так как он вот практически только что собрался жениться. Вы, естественно, радуетесь и говорите, что обязательно придете. Вам кажется, что человек был хороший и сказал вам правду. А потом выясняется, что это был местный алкоголик, который уже в сотый раз как раз именно в это утро решил бросить пить и ходит, заявляя всем в очередной раз, что точно решил жениться и начать новую жизнь. Так вот местный житель, когда встретится с этим человеком с утра, будет иметь примерно такую реакцию: ну да, да, слыхали мы это. Посмотрим, чем дело кончится. Вот если начнет новую жизнь, если в самом деле бросит пить и женится - тогда и рассуждать будем.
Вот это нормальная, обычная реакция ученых на научные статьи. По-английски это красиво называется suspend judgment - отложить суждение. Не выносить скоропостижного суждения, а подождать, посмотреть, поразмыслить, проверить. Потому что вы-то в этом районе много лет, вы тут всех знаете. И если Вася-дворник сказал, что завтра будет конец света, это еще не значит, что надо срочно бежать проматывать все свои деньги. Но это не значит также, что Васе надо насильно затыкать рот. Ведь мы-то тут все свои, мы-то всех знаем, мы все как бы понимаем.
"- Под Затонью, говорят, дожди, – заметил бородатый на заднем сиденье.
- Кто это говорит? – спросил горбоносый.
- Мерлин говорит.
Они почему-то засмеялись."
Поэтому, когда вы видите в журнале Nature статью, которая опровергает все известные науке данные, подвергает сомнению основы основ - это не значит, что "ученые ничего не понимают, вот доказательство". Это означает, что Мерлин, вот, говорит, что под Затонью дожди. И может, в самом деле дожди. Но лучше уж перепроверить, если туда ехать.
П.С. Кому инетересно, почему конкретно рано делать какие-то выводы про эти 11%, можете прочитать хороший комментарий от юзера shvarz (он вирусолог), например, вот тут.
