Просматривая на днях литературу по праймингу, наткнулся на целый массив статей, которые пытались повторить оригинальные исследования, и не могли подтвердить находки. Это важная литература, потому что ее очень трудно достать.
Допустим, мы выдвигаем гипотезу, например: «существует увеличение скорости реакции у людей после приема пендохлорпропинола (вымышленное название лекарства), в сравнении с контрольной группой». Эксперимент должен ее либо подтвердить, либо отвергнуть. Одновременно и автоматически, согласно канонам дизайна эксперимента, создается так называемая «нулевая гипотеза», которая говорит, что никакой «разницы в скорости реакции между людьми, принявшими пендохлорпропинол, и контрольной группой не существует».
Когда исследователь получает подтверждение гипотезе, то это позитивный результат, который можно опубликовать. Это интересно – теперь мы знаем, что при приеме пендохлорпропинола можно ожидать статистически значимого увеличения скорости реакции. Когда исследователь не получает подтверждения гипотезы, то есть, нулевая гипотеза оправдывается, то это, что называется, негативный результат. Ну и что, что пендохлорпропинол не увеличивает реакции – вон, аспирин тоже ее не увеличивает, да мало ли что еще ее не увеличивает! Поскольку это не так уж важно, смысла печать такую работу вроде как мало. И работа, проделанная исследователями, отправляется вместо журнала в шкаф. У меня самого есть такой, условно, «шкаф», как, наверное, у любого, кто хоть несколько раз проводил эксперименты.
Так вот и возник термин «Проблема картотеки». Этот термин был придуман Робертом Розенталем (Robert Rosenthal) в 1979 году, и относится к предубеждению в научной литературе публиковать только позитивные результаты. Исследования, которые отвергают ранее обнаруженный феномен или говорят о невозможности повторить какие-то находки, весьма редко попадают на страницы научных журналов.
Так вот, проблема картотеки говорит о том, что исследования, подтверждающие нулевую гипотезу, имеют очень мало шансов быть опубликованными. И теперь представим себе, что 5% исследований подтверждают какую-то гипотезу, и публикуются, а 95% исследований – отвергают рабочую гипотезу, и не публикуются, а хранятся в картотеке. И мы, размеется, знаем только о 5% работ, и получаем такую ситуацию, когда мы верим в феномен, а он, на самом деле, мягко говоря, сильно искажен, или не существует вообще.
Больше почитать по этой теме:
Scargle, J. D. (2000). Publication bias: The «file-drawer problem» in scientific inference. Journal of Scientific Exploration, 14 (2): 94–106. Полный текст.
Сайт, собирающий психологические исследования, которые не смогли повторить оригинальный эксперимент: http://www.psychfiledrawer.org