Я писал ранее о проблемах тестирования на наркотики, используя теорему Бейза. Вот недавно познакомился с более понятным способом ее представления. Судя по статистике обращений, эта тема задевает многих молодых людей, у которых был показан положительный результат теста на наркотики, в то время как человек их никогда не употреблял. Это может иметь катастрофические последствия для судьбы человека, в то время как необходимость и польза от этих тестов для общества еще должна быть аргументирована чем-то более весомым, нежели сейчас.
Итак, допустим, что у нас есть тест на определение какого-то наркотика в организме человека, и мы хотим проверить большую группу людей, например всех студентов учебных заведений города.
Есть данные, что число наркоманов в России – 2%. Эта цифра спорная, разумеется, но лучше ничего нет.
Допустим, что чувствительность теста – 99%. Это хорошая чувствительность. Эта чувствительность говорит нам, что из 100 человек, точно употреблявших наркотики, тест выявит 99 человек, и одного он «упустит».
Нам надо знать еще одну цифру – специфичность теста. Она не всегда указывается на тестах, и если она не указана, это говорит о том, что с тест не может сказать одну важную вещь. Специфичность теста, например в 99%, говорит о том, что среди 100 людей, точно не употреблявших наркотики, 99 человек покажут отрицательные результаты, а один покажет ложноположительный результат.
Итак, мы проверяем 10000 человек на наркотики, имея тест с чувствительностью в 99%, и со специфичностью 99%, а базовая величина наркоманов равна 2%.
Мы создаем такую таблицу:
Вписываем в нее число людей, которых мы будем проверять:
Вписываем число людей, которые, согласно статистике, употребляют наркотики, 2%, то есть 200 человек:

Вписываем число людей, которые не употребляют: 10000 – 200 = 9800:
Теперь мы определяем, сколько людей определит чувствительность теста. Поскольку чувствительность равна 99%, то положительный тест покажут 198 человек (99% от 200):
Соответственно, ложноотрицательный (человек наркотики употреблял, но тест его не выявил) — 2 человека:
Теперь, специфичность теста. Она равна у нас 99%, и из 9800 людей, не употреблявших наркотики, он покажет отрицательный тест у 99% людей, то есть у 9702 студентов:
И он покажет ложноположительный результат (наркотики не употребляли, но тест определил, что употребляли) у 98 человек:
Теперь заполним все итоговые колонки:
Теперь мы переходим к самому интересному. Вопрос такой: какова вероятность того, что человек не употреблял наркотики, но тест показал положительный результат? Нам надо разделить 98 на 296. 
Получается 33%. То есть, один из трех людей, не употреблявших наркотики, может быть заподозрен в наркомании!
Соответственно, вероятность того, что тест будет позитивным в случае, если человек действительно употреблял наркотики, будет 198 делить на 296, то есть 67%.
Разумеется, этого недостаточно для принятия решения. И нужен повторный тест. Повторный тест теперь будет оперировать превалирующим процентом не в 2% от популяции, а в 67%, для тех, кто не согласен с результатами теста. И там точность вырастает драматически:

Теперь, для человека, который не употреблял наркотики, вероятность того, что он опять получит положительный результат, составляет 33 делить на 6666 = 0,5%. Для тех, кто употреблял и тест положительный – 99,5%. Это уже серьезная вероятность.
Теорема Бейза применима ко многим ситуациям в нашей жизни: тестам на заболевания, на допинг в спорте, в спам-фильтрах, в судебных процессах, и во многом другом. Она может использоваться и для предсказаний поведения в будущем, например, вероятность того, что кто-то совершит преступление или вылетит из школы. Однако надо учитывать, что чем меньше превалирующее значение имеет такое поведение, тем выше будет вероятность ошибки.
Если число наркоманов составляло бы 10% населения, то тест был бы гораздо точнее. Если у человека плохие оценки в школе, но число исключенных из нее составляет доли процента, то вероятность того, что по оценкам человека можно предсказать его вылет из школы, весьма мала. С другой стороны, если 30% учащихся школы заканчивают свою юность в тюрьме, то точность предсказания будущего увеличивается.
Как верно сказал Nat Napoletano: «Вы не должны прожить свою жизнь, не поняв теорему Бейза».
Фото в начале статьи из Википедии.
Посмотрел документальный фильм The House I live In Юджина Джереки (Eugene Jarecki), показанный BBC Four.
С того момента США потратили на эту войну свыше 1 триллиона долларов, и произвели свыше 45 миллионов арестов. Потребление наркотиков осталось таким же.
Население США составляет 4,5% от мирового, а число людей, находящихся в тюрьмах США — 25% от общего числа заключенных по всему миру. Свыше 500,000 сидят за наркотики.
Дэвид Саймон, человек, знающий о борьбе с наркотиками. Создатель прославленного сериала Прослушка.
Ричард Миллер, историк и биограф Авраама Линкольна, объясняет историческую подоплеку запрета наркотиков в США. Сначала опиум, потому что его курили китайцы, затем кокаин, потому что его употребляли черные, затем марихуана, потому что ее курили мексиканцы. Эти группы людей якобы отнимали работу у белых, и это надо было исправлять.
Конференция Американской Пенитициарной Ассоциации, людей, чей бизнес – тюрьмы. Одна из самых прибыльных и устойчивых индустрий в Америке. Безусловно, прибыльней, чем продавать наркотики.
Оплот демократии, по словам Юджина, превратился, по сути, в самый большой Гулаг на свете.
Меня попросили написать что-то реально важное. Действительно, есть ситуации, когда нам жизненно необходимы идеи, варианты, и правильные решения. Поговорим о детях – что может быть важнее? Существуют, общепризнанно, три главных страха родителей и реальные опасности для детей: беременность, наркотики (или алкоголь) и насилие. Сегодня мы говорим о беременности.
Есть такой исследовательский метод в социальных науках, используемый в структурированных интервью, как техника случайного ответа. Метод позволяет получать ответы на щепетильные вопросы, сохраненяя конфиденциальность респондентов. У метода есть разновидности, но суть одна. Почитайте
Меня всегда удивляют люди, которые с легкостью объясняют все, что угодно, особенно, в тех областях, в которых они не разбираются. Я могу понять, что это, возможно, адаптивная функция – уж лучше быть уверенным в чем-то, чем сомневаться, но зачем ей пользоваться в вопросах, не имеющих никакого отношения к выживанию или получению каких-то преимуществ. Вот даже недавнее заявление грызлова, по вопросу наркотиков, например,
Угол наклона эскалатора московского метрополитена к горизонту составляет 30 градусов. 



Что мы видим? Несмотря на высокую достоверность теста, вероятность того, что студент, который показал положительный тест, на самом деле употребляет наркотики, равна 33%, то есть гораздо более вероятно (более чем в два раза), что положительный тест говорит о том, что он не употребляет наркотики! Это происходит от того, что условия, которые мы тестируем, довольно редки, и результат позитивного теста будет чаще ошибочно позитивный.
Все чаще на транспорте мы можем видеть патрули с собаками, задача которых — обнаружить взрывчатку, или наркотики. Недавнее исследование (Lit, Schweitzer, & Oberbauer, 2011) в журнале Animal Cognition показало, что поведение и убеждения человека (кинолога) влияет на работу собаки-ищейки. Восемнадцать команд, состоящих из кинолога с собакой, обученных и сертифицированных на поиски взрывчатых и/или наркотических веществ, выполнили четыре коротких сценария, по одному в каждом помещении. В первой комнате исследователи ничего не делали, и позволили командам “найти” что-то подозрительное. Во втором помещении листок красной бумаги, размером чуть меньше А4 был прикреплен к шкафу, в третьей комнате – вкусные копченые сосиски были спрятаны (чтобы привлечь/отвлечь собаку), в четвертой – в двух разных местах были спрятаны сосиски, и в одном месте к ним была прикреплена красная бумага.