(no subject)
Feb. 2nd, 2016 06:03 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
aridmoorsЧто мне не нравится в околонаучных новостных статьях по биологии, так это всепоглощающее стремление выдать желаемое за действительное. Любая самая мелкая вещь превращается в сенсацию. Из-за этого читать новости становится просто реально невозможно: это дезинформация вместо информации. Вот типичный пример, ежедневного порядка.
Тут: "Первая демонстрация того, как меланома возникает из единственной клетки! Остановить рак до того, как он даже появился! Это было святым граалем онкологической науки все время. Однако чтобы смочь это сделать, нужно знать, когда мутации, накапливающиеся в клетке, становятся раковыми, и клетки начинают аномально делиться. В прорывном исследовании ученые из Гарвардского университета смогли показать развитие рака из одной клетки и его распространение в рыбе."
Вот что человек вроде меня думает, прочитав данный абзац? Он думает так: "Батюшки, неужели наконец открыли, откуда берется меланома?! Неужели нашли эту самую первую клетку, из которой все идет, и которая в теории есть, а в реальности никак не могут найти?!"
Щас, ага.
Заходим в оригинал статьи, читаем внимательно.
"Для инициации рака были использованы рыбки с мутацией BRAFV600E и вышибленным геном p53. Развитие рака было показано путем добавления флуоресцентного протеина в маркер раковой опухоли - ген крестин".
Т.е. в переводе на нормальный человеческий язык эти люди взяли стандартную модель раковой рыбы (которая обречена с рождения, т.е. это не нормальное развитие раковой опухоли, а очень искусственный процесс), и тупо раскрасили эту опухоль в зеленый цвет путем генной инженерии. Ну да, теперь можно (только у рыб, кстати - хрена с два ты это сделаешь даже у мыши, там все непрозрачное) увидеть, когда там эта первая зеленая клетка появляется. Но вопрос-то блин не в этом! У людей p53 далеко не первое, что возникает в меланоме. И вообще я больше скажу: так и осталось неизвестно, что там первое возникает у людей в меланоме.
Да нет, статья хорошая, работа хорошая, отличная работа, очень полезно. На полном серьезе - классно, хорошо.
Просто ну кто этих папараццей за язык тянет так это описывать, чтоб возникало впечатление не того, что на самом деле? Зачем вводить в заблужение? Почему надо продраться через горы текста, чтоб тупо увидеть, что эта работа тебе не нужна [для твоего исследования], потому что это обычная, стандартная качественная работа, которая на самом деле использует те же методы?
Ну это же дезинформация.
Пиарщики, блин. Короче, люди, этого сейчас так много, что знайте: надо всегда смотреть в оригинал статьи. Тот, который в научном журнале опубликован. Учеными.
Тут: "Первая демонстрация того, как меланома возникает из единственной клетки! Остановить рак до того, как он даже появился! Это было святым граалем онкологической науки все время. Однако чтобы смочь это сделать, нужно знать, когда мутации, накапливающиеся в клетке, становятся раковыми, и клетки начинают аномально делиться. В прорывном исследовании ученые из Гарвардского университета смогли показать развитие рака из одной клетки и его распространение в рыбе."
Вот что человек вроде меня думает, прочитав данный абзац? Он думает так: "Батюшки, неужели наконец открыли, откуда берется меланома?! Неужели нашли эту самую первую клетку, из которой все идет, и которая в теории есть, а в реальности никак не могут найти?!"
Щас, ага.
Заходим в оригинал статьи, читаем внимательно.
"Для инициации рака были использованы рыбки с мутацией BRAFV600E и вышибленным геном p53. Развитие рака было показано путем добавления флуоресцентного протеина в маркер раковой опухоли - ген крестин".
Т.е. в переводе на нормальный человеческий язык эти люди взяли стандартную модель раковой рыбы (которая обречена с рождения, т.е. это не нормальное развитие раковой опухоли, а очень искусственный процесс), и тупо раскрасили эту опухоль в зеленый цвет путем генной инженерии. Ну да, теперь можно (только у рыб, кстати - хрена с два ты это сделаешь даже у мыши, там все непрозрачное) увидеть, когда там эта первая зеленая клетка появляется. Но вопрос-то блин не в этом! У людей p53 далеко не первое, что возникает в меланоме. И вообще я больше скажу: так и осталось неизвестно, что там первое возникает у людей в меланоме.
Да нет, статья хорошая, работа хорошая, отличная работа, очень полезно. На полном серьезе - классно, хорошо.
Просто ну кто этих папараццей за язык тянет так это описывать, чтоб возникало впечатление не того, что на самом деле? Зачем вводить в заблужение? Почему надо продраться через горы текста, чтоб тупо увидеть, что эта работа тебе не нужна [для твоего исследования], потому что это обычная, стандартная качественная работа, которая на самом деле использует те же методы?
Ну это же дезинформация.
Пиарщики, блин. Короче, люди, этого сейчас так много, что знайте: надо всегда смотреть в оригинал статьи. Тот, который в научном журнале опубликован. Учеными.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2016-02-02 06:01 pm (UTC)Писали, пишут и будут писать всякую ерунду.
no subject
Date: 2016-02-02 06:08 pm (UTC)no subject
Date: 2016-02-02 06:49 pm (UTC)no subject
Date: 2016-02-02 07:02 pm (UTC)Я стараюсь в гугле и фейсбуке подписываться только на прямые рассылки (nature reviews, jcb), поэтому у меня этого в ленте минимально. Но к сожалению гугл+ и фейсбук все время пихают какие-то посторонние сайты, пихание которых никак нельзя отключить. И с подписью "тебе это тоже понравится". А у меня глаза за это задевают, я вижу заголовок "нашли cell origin of melanoma", я знаю, какая это большая проблема в области меланомы, и я сразу кидаюсь по ссылке, думая, что блин, неужто внатуре нашли. А там вот.
Для меня это потеря времени и нервов. И так лента гигантская. А пропустить тоже как-то... а вдруг и действительно нашли? Вроде ссылка типа на сайенс... неприятно. Дезинформация.
no subject
Date: 2016-02-02 07:06 pm (UTC)no subject
Date: 2016-02-02 07:13 pm (UTC)no subject
Date: 2016-02-02 07:15 pm (UTC)Когда последний раз получилось повторить чьи-то чужие результаты, опираясь на данные статьи, или даже серии статей?
no subject
Date: 2016-02-02 07:28 pm (UTC)Я не знаю, в какой вы области работаете, у меня в молекулярной биологии и онкологии воспроизводимость описанных в чужих статьях экспериментов очень высокая. Чтобы не оставаться голословной, пожалуйста:
Я воспроизвела полностью результаты вот этой статьи:
1) http://www.ncbi.nlm.nih.gov/pubmed/21285245
Половину результатов вот этой (вторую половину не делала, т.к. она не имела отношение к моему проекту)
2) http://www.ncbi.nlm.nih.gov/pubmed/20526328
и некоторые результаты около десятка других статей, прежде чем собрала материал для своего проекта. Ни один, я подчеркиваю, НИ ОДИН эксперимент у меня не пошел не так, как было описано у них.
Второе. В лабе с мышами КАЖДАЯ трансгенная мышь работала так, как ей было положено. У меня было 20 стрэйнов. Из них все работали как положено. Например, Sox10-Cre при скрещивании с Ai14 стабильно давала красный цвет во всех нужных местах. TH-MYC-p53 стабильно давала нужный процент рака. Там, где надо. Wnt1-CreERT2 стабильно давал цвет под скрещивание с цветными мышами именно там, где надо в эмбрионе, и именно под тамоксифеном. Я вам больше скажу: у меня даже баги были точно те же самые, что и у людей. Именно так, как они описаны. Это реально работает как компьютерная система - если баг есть, он есть у всех. У мыши Ai14 показано, что красный ген время от времени может вылетать не на свое место, и тогда вся мышь становится красная. Да, для этого надо их бешено крестить хрен знает сколько времени, т.к. процент маленький. Но у меня он был. Потому что я столько скрещивала.
Я не знаю, в какой науке вы работаете (или как), у меня все работает.
no subject
Date: 2016-02-02 07:20 pm (UTC)Но это так, к слову.
no subject
Date: 2016-02-02 07:30 pm (UTC)А научные статьи в любом научном журнале пишутся по строгим конкретным правилам, за которые просто так не вылезешь и фигню не напишешь.
no subject
Date: 2016-02-02 09:10 pm (UTC)А научные статьи в любом научном журнале пишутся по строгим конкретным правилам, за которые просто так не вылезешь и фигню не напишешь.
Нда. Я вообще-то подумал, что Вы так тонко над собеседником издеваетесь, а Вы вроде как всерьёз в это верите, что ли? Имя Hendrik Schon Вам что-нибудь говорит? Это про откровенную фигню и про правила.
А вот ссылка про повторяемость - http://www.nature.com/news/reproducibility-1.17552 - погуглите, ещё десяток сходу найдёте.
"Всегда" - не верю.
Вот здесь про онкологию: http://www.nature.com/nrclinonc/journal/v10/n12/full/nrclinonc.2013.171.html
И ещё про онкологию:
Five months later, a collaboration involving Amgen scientists published the results of their efforts to replicate findings from recent publications in the clinical oncology literature (Nature 483, 531–533, 2012). The data were disturbing. Of 53 papers, only 6 (11%) were reproducible. A particularly troubling aspect was the disclosure that in return for cooperation, several of the authors required the company to sign a confidentiality agreement preventing the identity of their paper from being revealed.
http://www.nature.com/nrclinonc/journal/v10/n12/full/nrclinonc.2013.171.html
Дальше. Что происходит с потенциальными противораковыми препаратами, не подскажите? Из якобы обещающих эффект на основе работ с клетками и мышами? Была целая статья по этому поводу, сейчас найти не могу, про cherry picking results (берут одни положительный результат из 10 и публикуют, а потом in clinical trials, соединение не работает).
no subject
Date: 2016-02-02 09:37 pm (UTC)Если вы внимательно прочитаете свои же ссылки, там как раз написано клиническая онкология. Да, я знаю про все эти статьи, про раздувание всего этого. Да, в психологии, социологии, клинических -логиях это все большая проблема. Но это все очень далеко от фундаментальной молекулярной науки. В моей области у меня все воспроизводится. Вам картинки что ли показать? Что значит "не верю"? В науке никого не интересует, верите вы или нет. Данные или есть, или нет. У меня воспроизводится. И у моих соседей по лабе, кстати, тоже вопроизводилось. Точно так же рутинно все повторяли чужие эксперименты, никаких особых проблем не было. Были вопросы по протоколоам - это да. Были проблемы с антителами - это да. Это все распространенные, известные проблемы, которые не имеют отношения к вопроизводимости. Все, что касается собственно экспериментов, нормально воспроизводилось.
no subject
Date: 2016-02-02 11:11 pm (UTC)Ладно, не важно. Мы с Вами на разных языках говорим. С антителами у них известные проблемы. Хорошо.
no subject
Date: 2016-02-03 09:11 am (UTC)Понятно. Т.е. вы мне говорите, что я вру. ОК.
no subject
Date: 2016-02-02 07:42 pm (UTC)Научной работой уже считается банальный ремесленный численный расчет, к тому же, выполненный в стандартной среде. А сколько идет откровенно безграмотной примитивной пурги - подумать страшно... И как-то противодействовать этому невозможно - с нас требуют количество публикаций...
no subject
Date: 2016-02-02 07:49 pm (UTC)no subject
Date: 2016-02-02 09:16 pm (UTC)no subject
Date: 2016-02-02 09:22 pm (UTC)no subject
Date: 2016-02-02 11:07 pm (UTC)Первое, что я делаю, когда мне приходит на рецензию статья, это проверяю тех же авторов на похожие работы, а потом - гуглю куски текста - если сходу не вижу, что уже читал. И нахожу. Советую попробовать, чисто из интереса.
А ещё хорошо исследовать траекторию ошибок. Берёте какую-нибудь ошибку в статье, и разматываете, где она раньше встречалась. Так вот и оказалось, что свойства одного оксида никто не мерил - все списывали с одной статьи, где число перепутали. Опять-таки, попробуйте cами. (Кстати, метод не я придумал).
Конкретная история - попалась статья, частично списанная с моей, как бы с продолжением. Без ссылки. Написал автору. Он ответил - в оригинале, мы на тебя ссылались, но статью завернули, сказав, что это повтор. Мы были вынужденны убрать ссылку, что бы опубликовать статью. Эту историю я могу рассказать, Вы не найдёте ни статью, ни человека, даже зная меня - но я знаю таких историй... про которые я рассказать не могу.
Вот про дупликации (это ещё аккуратно сделано): Microparticles are the basic storage units for different proteins in platelet granules. Статья прошла все стадии отбора в очень приличном журнале, а потом была отозвана (retracted). А если не лень, раскрутите всю историю - я имею ввиду, ту, о которой оригинал. Очень интересная история про повторяемость данных. Точнее, не-повторяемость. С этими авторами я не связан, рецензентом не был, так что вперёд.
Чему я учу студентов? Доверяйте только тому, что повторили сами, тому, что повторили те, кого вы знаете лично, или тому, что повторили очень многие (т.е., классике, но уже с опаской). А прочитав статью, проверьте, не были ли результаты опубликованы 30 лет назад.
Слушайте, а Вы реально не видите ошибок в статьях, которые читаете?
no subject
Date: 2016-02-03 11:15 am (UTC)То, как для меня выглядит, что вы описываете, - это нормальный рабочий процесс. Люди не железные, они копировали и будут копировать куски текста, люди совершали и будут совершать орфографические и лексические ошибки, это не значит, что они плохо делают свою работу. Да, именно для этого существуют рецензенты - для того, чтобы каждая статья прошла контроль не один раз. Рецензенты именно сидят там для того, чтобы осуществлять контроль, это их работа в данном случае. Да, всегда будут недостатки и ошибки. Обязательно будет статья, которую кто-то недопроверит. Обязательно будет статья, в которой вообще будет написана фигня, потому что рецензент был болен, ему надо было сдавать, он плюнул и утвердил. Обязательно будут случаи, подобные STAP-клеткам, потому что кто-то сделал неаккуратно, кто-то пропустил мимо ушей, кто-то потом недопроверил. Это нормальные издержки производства. В любом производстве есть количество брака.
Вы правильно учите студентов, что нужно проверять самому. Это совершенно нормальный, правильный подход. Любой нормальный руководитель мало-мальски серьезного производства или строительства вам скажет, что прежде чем что-то выпускать, надо САМОМУ пойти, и своими глазами проверить, как все сделано. Это нормально. Это рабочий процесс.
Мне непонятно, почему надо при этом думать, что где-то во всем этом сидит злой умысел или что "ничего не работает, ааааа, система разваливается, все плохо".
А еще с ваших собственных слов мне кажется, что вы именно тот тип рецензента-идеалиста, который всем портит жизнь ("я эти статьи выкидываю"). Если вы так ненавидите свою работу и не хотите спокойно, без истерик ее работать, смените ее. Вам легче, людям легче.
no subject
Date: 2016-02-03 05:41 pm (UTC)Вы опять себе противоречите. Либо повторяемость есть, либо её отсутствие - "нормальный рабочий процесс". Выберете что-нибудь из двух. Со вторым я категорически не согласен.
И вообще, мы, я вижу, пришли к "очень специфической области", в которой Вы работаете. То-есть, к тому, что я сказал выше: Вам сказочно повезло, что, конечно, возможно.
Последние лет 10 во многих журналах стали обсуждать проблему повторяемости. Некоторые ссылки я уже приводил, но статей и писем на эту тему гораздо больше, и в разных областях. С чего бы это? Неужто все настолько глупее Вас?
А за плагиат - выкидывал, выкидываю, и буду выкидывать. Без истерик, спокойно, с указанием источника плагиата. Потому, что публиковать надо свои мысли и свои результаты, а не списывать или присваивать чужие - и делать это положено один раз. Прочитайте, прежде чем спорить, инструкции для авторов в журналах. А если своих мыслей нет, то нефиг тратить моё время. Пусть обзоры пишут.
А прежде чем публиковать, результаты надо проверять. Но тут рецензент практически бессилен: только очень грубые ошибки можно поймать, не попробовав поставить эксперимент самому. Да и вообще... я уже в у себя в журнале писал, по поводу PNAS, отличить очень хорошую статью от очень плохой (но хорошо написанной) поможет только время. Ну, может, если рецензенты станут сами эксперименты повторять, и на этой основе отчёты писать. Так что тут я не вижу простого решения. Но статью, в которой не указано количество повторов, на основе которых сделано заключение - не пропущу. (Указанно оно может быть разными способами).
Знаете, я ещё застал то время, когда перед тем, как опубликовать статью, её давали коллегам - хотя бы в той же лаборатории - повторить основные результаты, основываясь на информации из статьи. А то и из другой лаборатории (тоже было, но реже). Вы знаете хоть одну лабораторию, где сейчас так делают? Можете себе представить, сколько "лишнего" времени это занимает? Я, кстати, знаю парочку.
А ещё, раньше с рецензентами можно было дискутировать. И это было интересно. Впрочем, и сейчас попадаются такие уникумы.
Так что не надо мне... сказки рассказывать. Про идеалистов ;) Мусор сливать в журналы не надо.
no subject
Date: 2016-02-03 06:04 pm (UTC)Идеалист - это человек, у которого в жизни есть только черное и белое: "либо повторяемость есть, либо ее отсутствие", как вы написали. У вас в голове не укладывается, что может существовать градация, что в каких-то областях повторяемости больше, в каких-то меньше, что где-то люди настроены работать более скрупулезно, где-то менее и т. д. Для вас если что-то не идеально-безупречно - значит все, никуда не годится. То есть если среди 100 экспериментов 10 не воспроизводятся - то для вас все, науку надо закрывать, потому что караул-батюшки, никто не работает, ничего никуда не годится.
///стали обсуждать проблему повторяемости
Еще раз, последний раз говорю: возьмите наконец и прочитайте то, что сами мне суете. Я эти статьи прочитала в свое время. Проблема повторяемости есть в психологии, социологии и клинических исследованиях, что с моей точки зрения - не наука. С моей точки зрения ЕСТЕСТВЕННО, что в психологии нет повторяемости. Ее и не будет, пока они не начнут измерять реальные химические субстанции и физические сигналы. Естественно, что в клинических исследованиях нет повторяемости - нельзя ожидать 100% повторяемости в экспериментах по типу "пациентам наказали пить такое-то лекарство". Это вообще не наука. В Нейчер это все сливают в одну кучу с нормальной наукой и потом заявляют, что "нет повторяемости". Я не в курсе, зачем им это надо. Скорее всего, им вообще пофигу - им присылают взрывной материал (потенциально сенсационный), они печатают. Коммерция. А вы ведетесь.
no subject
Date: 2016-02-03 06:08 pm (UTC)no subject
Date: 2016-02-04 01:46 am (UTC)Во вторых, я немножко не это утверждаю.
С чего мы начали?
"А потом делить их (учёных) заключения на 10. Это ещё если учёные хорошие..." сказал я.
А Вы стали спорить, "Нет, делить заключения ученых на 10 не надо. Там на 10 делить нечего, заключения в статьях представляют собой описание данные...".
Вот, собственно, и весь спор: принимать автоматом то, что "учёные пишут", поскольку там якобы факты, или не принимать. Я утверждаю, что не принимать. From exaggerations to mistakes to plagiarism, these problems plague the majority of modern papers. Вы утверждаете, что принимать, основываясь на... я не знаю, на чём. На том, что не-повторяемость - это нормальный рабочий процесс? На том, что у Вас (якобы) 80% повторяемости?
Для меня нормальный рабочий процесс - это то, что я написал про "учу студентов". Вы там согласились, но продолжаете утверждать, что "80%". Зачем тогда так учить?
А ещё я задаюсь вопросом, как бы сделать так, что бы действительно можно было доверять тому, что написано - в том, что работа self-consistent, reproducible, and accurate. Интересно мне. Что бы не надо было учить автоматичекси не доверять написанному в статьях.
no subject
Date: 2016-02-04 09:25 am (UTC)Имхо, не надо делать так, чтобы не надо было учить скепсису. Скепсис в работе ученого вещь нужная всегда.
no subject
Date: 2016-02-04 03:10 pm (UTC)1. В химии - это не у нас.
2. Блажен, кто верует. Обычно вера вырастает из отсутствие знаний. Условия надо контролировать, а эксперименты - повторять. А сейчас делают так: раз прореагирует, и статью пишут. А может, у них в тот день термопара сломалась. Вот вам и неповторяемая статья, потому, что не известно, какие были условия.
3. Про Ваши 80% я уже высказывался, повторяться не буду. Почему я так считаю? - Из-за утверждений типа "В химии у вас тоже не будет "ой, тут среагировало, тут не среагировало" - если условия одинаковые, реагировать будет всегда." Вы просто не понимаете, о чём говорите.
4. Скепсис бывает разный. На данный момент получается так, что я не могу быть уверенным в данных, представленных в статье - даже в том, что они вообще были получены, а их не нарисовали, и в том, что они были получены при указанных условиях, а не при каких-то случайных, которые фиг найдёшь. Это уже не скепсис, это бред. И Вы тоже не можете быть в этом уверены, только Вы этого не понимаете. И это, может быть, хорошо.
Я предлагаю на этом остановиться. Если до Вас дошёл хотя бы 1% от того, что я пытался донести - уже хорошо. А нет, так и не надо.
no subject
Date: 2016-02-04 03:31 pm (UTC)no subject
Date: 2016-02-04 01:56 pm (UTC)ты просто обязан писать N статей в год, а столько результатов нет! все только тем и занимаются что переписывают одно и то же в разные журналы разными словами.
no subject
Date: 2016-02-04 02:55 pm (UTC)Но подавляющее большинство именно этим и занимается.
Только зачем уходить из-за того, что другие делают не так?
;)
no subject
Date: 2016-02-04 03:05 pm (UTC)no subject
Date: 2016-02-04 03:16 pm (UTC)Это, кстати, ни в коем разе не критика.
И всё-таки: не все. Как это не странно и не загадочно, но есть некое меньшинство, которое не как все.
;)
А чем занимаетесь, если не секрет?
no subject
Date: 2016-02-04 05:38 pm (UTC)no subject
Date: 2016-02-02 07:45 pm (UTC)no subject
Date: 2016-02-02 07:55 pm (UTC)Вообще много людей почему-то говорят, что данные не воспроизводятся. Я даже специально залезла собственно в те исследования (в том же nature), где и было опубликовано что именно не вопроизводится. Так естественно! Весь процент "невоспроизводимых" - это психология, социология и клиническая статистика. Вся молекулярка нормально воспроизводится.
Организм - это машина. Как комп. Она работает по вполне конкретным физико-химическим законам. Если чел сделал трансгенную мышь, можно вполне рассчитывать, что эта мышь будет работать как положено у кого угодно.
no subject
Date: 2016-02-02 08:26 pm (UTC)no subject
Date: 2016-02-03 01:54 am (UTC)no subject
Date: 2016-02-03 09:12 am (UTC)no subject
Date: 2016-02-03 02:18 am (UTC)Я по результатам поиска сделал кое-какие выводы, но хочется услышать мнение человека, знакомого с японскими реалиями. В частности, это нормально, что у производителя этого чудо-средства вот такой сайт: http://www.envroy.jp/? И что первые несколько страниц гугля ведут исключительно на русскоязычные сайты? Может ли быть, что некое чудодейственное средство изобретено и производится в Японии, но информацию в англоязычном японском интернете о нем почти невозможно найти? (Про японоязычный интернет не знаю - бог его знает, как может иероглифами отображаться его название).
Заранее спасибо.
no subject
Date: 2016-02-03 05:23 am (UTC)no subject
Date: 2016-02-03 09:26 am (UTC)no subject
Date: 2016-02-03 07:52 am (UTC)в поисковых сайтах найдите: эпидемия гусиной хни
A тaк да, триумвират: CMИ, Дeньги и Биг Фарма
no subject
Date: 2016-02-04 04:25 am (UTC)http://uncle-doc.livejournal.com/159691.html
no subject
Date: 2016-02-05 11:46 pm (UTC)no subject
Date: 2016-02-07 03:40 pm (UTC)http://tanchik.livejournal.com/555708.html
Буду благодарна, если подскажете что-нибудь. Спасибо
no subject
Date: 2016-02-07 03:59 pm (UTC)no subject
Date: 2016-02-07 05:15 pm (UTC)no subject
Date: 2016-02-09 07:08 pm (UTC)