Category Archives: Методология

Учителя как быки

Джон ОливерЯ как-то писал здесь про историю из документального фильма The Age of Big Data, в которой один ученый, занимающийся кочевыми племенами в Китае, оказался «втянут» в криминологию. Как оказалось, поведение кочевников очень похоже на поведение банд Лос-Анджелеса, и встал вопрос, можно ли предсказывать поведение криминальных групп, и значит, и преступления, ими совершаемые? У полиции были огромные массивы данных о совершенных преступлениях с множеством параметров (место, время, число участников, характер, и проч.). Требовалась модель, и они ее нашли у другого ученого. Он занимался предсказыванием афтершоков землетрясений. Сами землетрясения успешно предсказывать пока не получается, а афтершоки – вполне.

Таким образом, модель, предсказывающая поведение коры Земли после землетрясения стала обрабатывать данные о преступлениях и выдавать координаты вероятных криминальных актов. Точность пока не особо высока, но система работает. Представляете, гангстеры прикидывают, куда спрятать угнанные тачки, и один предлагает местечко, про которое никто не знает. Они туда приезжают, а там уже полиция, которой система сообщила это же место. Полицейские роняют от удивления пончики, но испытывают удовлетворение.

Данных у нас у всех сейчас полно, и вопрос, что с ними делать, часто натыкается, в том числе, и на то, какую модель использовать. В недавнем эпизоде шоу Last Week Tonight With John Oliver, ведущий говорил о тестировании и экзаменах в американских школах.

На картинке выше Джон указывает на реальную формулу, которую используют для оценки работы учителей в штате Флориде. По сути, учитель получает лучшие оценки, если его ученики получают лучшие оценки. Звучит логично, но не все так просто: эта формула в одной части предсказывает оценки учащегося. Так, например, она предсказывает, что ученик должен, к примеру, получить 99 баллов (из 100). Если ученик наберет 95 баллов и станет, по факту, лучшим учеником в школе – учителю зачтется минус, ведь его ученик недобрал 4 балла. В некоторых случаях формула предсказывала недостижимую, в принципе, оценку.

В целом, получается, эта модель оценки работы учителя не особо хороша. А для чего она хороша и откуда взялась? Сама модель родилась в ходе исследований по предсказанию репродуктивности рогатого скота! Как заметил Оливер, что в таком случае можно сказать: «согласно формуле ваш ребенок либо сдал алгебру на отлично, либо родил здорового теленка. Мы не знаем».предсказание репродуктивности рогатого скота

Если вы научились хорошо предсказывать события в одной области, то вполне можно попробовать использовать успешную модель и в других областях. В конце концов, как сказал один философ «что угодно может быть репрезентацией чего угодно». И конечно, иногда будут получаться глупости.


Искусство не замечать главное

мгновенное исцелениеСлева – кадры из фильма Элизиум (2013), показывающие, как в течение нескольких секунд, человек излечивается от рака. Мне нравится, так и должно происходить,  и когда-то так и будет. Вышла хорошая статья в lenta.ru Сальто в иммортале на тему бессмертия и продления жизни, но снова меня поразило повсеместное игнорирование возможностей человеческого организма, и в частности, роли психологии.

Чаще всего упор делается на какой-то препарат, который будет менять поведение одной молекулы или одного блока, одной системы, и заранее известно, что это лишь крохотная часть процесса. Все понимают, это не решит проблем, и, с большой вероятностью, вызовет серьезные побочные эффекты (взять тот же рапамицин). Это, конечно, хорошо в любом случае – разведать неизвестное, и даже обнаружить тупики в исследованиях, ведь знания всегда лучше незнания.

Но почему обходят психологию? Иногда такое игнорирование выглядит как сущее презрение к возможностям человека – «на, вот тебе таблеточку, а то сам-то не справишься».

Я не слышал, чтобы кто-то серьезно копал сегодня удивительный феномен регенерации конечностей человека. Почти как магия, регенерация у саламандр, которые весьма похожи на человека в некоторых аспектах, — где новости и способы активации применительно к человеку?

Чем миллионные исследования препаратов для коррекции зрения лучше простой манипуляции, когда зрение значимо улучшается за пять минут только за счет психологических методов (Langer, et al., 2010)?

Чем опасные фармакологические игры с иммунной системой полезнее ручки и бумаги в методе экспрессивного письма, поразительно улучшающего здоровье (Как наши слова могут победить болезнь)?

Чем идея колоть натуральный компонент типа nicotinamide mononucleotide (NMN) разумнее поиска метода реактивации выработки этого компонента самим организмом (ведь когда-то он его производил в нужном количестве), коль скоро это лучше и дешевле?

Понятно, что деньги, безусловно, играют роль – что-то можно запатентовать и продавать, а что-то нельзя, но глупо же ослеплять себя жаждой наживы. Тем более, сегодня нет ни одного препарата, увеличивающего продолжительность жизни, специально созданного для такой цели. Они, конечно, появятся, но не завтра.

Может быть, психологию изрядно опошлили в глазах публики, которая считает, что психология — это НЛП, расстановки и телесно-ориентированные танцы, а в лучшем случае — бестолковые эксперименты британских психологов? Так, начав заниматься методом активации процессов омоложения и оздоровления R3,  я узнал от одного потенциального клиента, что я – идиот; так сказал его врач, профессор, доктор медицинских наук, и ярый сторонник акупунктуры. То есть чувак с медицинским образованием, который реально верит в то, что под кожей человека располагаются энергетические каналы, они снуют туда-сюда и образуют перекрестки, куда надо вставлять иголку, когда что-нибудь болит, и все будет прекрасно. Это он мне в носу запретил ковыряться? Мне, правда, дали шанс реабилитироваться, втиснувшись в его плотный график («уточните у секретарши») и хорошо подготовившись («у вас будет 10 минут»). Да, в принципе, без проблем, хоть и смысла мало, но неужели и впрямь психология так низко пала, что воспринимается как сестра гомеопатии, хиромантии и астрологии? И даже йогурт (см. статью) важнее, эффективнее и перспективнее всей психологии?!

Langer, E., Djikic, M., Pirson, M., Madenci, A., & Donohue, R. (2010). Believing is seeing: using mindlessness (mindfully) to improve visual acuity. Psycholjgical Science, 21(5), 661-666.


Теорема Бейза в картинках

Теорема БейзаЯ писал ранее о проблемах тестирования на наркотики, используя теорему Бейза. Вот недавно познакомился с более понятным способом ее представления. Судя по статистике обращений, эта тема задевает многих молодых людей, у которых был показан положительный результат теста на наркотики, в то время как человек их никогда не употреблял. Это может иметь катастрофические последствия для судьбы человека, в то время как необходимость и польза от этих тестов для общества еще должна быть аргументирована чем-то более весомым, нежели сейчас.

Итак, допустим, что у нас есть тест на определение какого-то наркотика в организме человека, и мы хотим проверить большую группу людей, например всех студентов учебных заведений города.
Есть данные, что число наркоманов в России – 2%. Эта цифра спорная, разумеется, но лучше ничего нет.
Допустим, что чувствительность теста – 99%. Это хорошая чувствительность. Эта чувствительность говорит нам, что из 100 человек, точно употреблявших наркотики, тест выявит 99 человек, и одного он «упустит».
Нам надо знать еще одну цифру – специфичность теста. Она не всегда указывается на тестах, и если она не указана, это говорит о том, что с тест не может сказать одну важную вещь. Специфичность теста, например в 99%, говорит о том, что среди 100 людей, точно не употреблявших наркотики, 99 человек покажут отрицательные результаты, а один покажет ложноположительный результат.

Итак, мы проверяем 10000 человек на наркотики, имея тест с чувствительностью в 99%, и со специфичностью 99%, а базовая величина наркоманов равна 2%.
Мы создаем такую таблицу:таблица для расчета вероятностейВписываем в нее число людей, которых мы будем проверять:ПопуляцияВписываем число людей, которые, согласно статистике, употребляют наркотики, 2%, то есть 200 человек:
Число людей. принимающих наркотики

Вписываем число людей, которые не употребляют: 10000 – 200 = 9800:Число людей, не употребляющих наркотикиТеперь мы определяем, сколько людей определит чувствительность теста. Поскольку чувствительность равна 99%, то положительный тест покажут 198 человек (99% от 200):Число людей с положительным результатом теста на наркотикиСоответственно, ложноотрицательный (человек наркотики употреблял, но тест его не выявил) — 2 человека:Число людей с ложноотрицательным результатомТеперь, специфичность теста. Она равна у нас 99%, и из 9800 людей, не употреблявших наркотики, он покажет отрицательный тест у 99% людей, то есть у 9702 студентов: Специфичность теста - кто не употребляет и результат отрицательныйИ он покажет ложноположительный результат (наркотики не употребляли, но тест определил, что употребляли) у 98 человек:ложноположительный результат Теперь заполним все итоговые колонки: Заполненные ячейки таблицыТеперь мы переходим к самому интересному. Вопрос такой: какова вероятность того, что человек не употреблял наркотики, но тест показал положительный результат? Нам надо разделить 98 на 296. Вероятность

Получается 33%. То есть, один из трех людей, не употреблявших наркотики, может быть заподозрен в наркомании!

Соответственно, вероятность того, что тест будет позитивным в случае, если человек действительно употреблял наркотики, будет 198 делить на 296, то есть 67%.

Разумеется, этого недостаточно для принятия решения. И нужен повторный тест. Повторный тест теперь будет оперировать превалирующим процентом не в 2% от популяции, а в 67%, для тех, кто не согласен с результатами теста. И там точность вырастает драматически:
Результаты второго теста

Теперь, для человека, который не употреблял наркотики, вероятность того, что он опять получит положительный результат, составляет 33 делить на 6666 = 0,5%. Для тех, кто употреблял и тест положительный – 99,5%. Это уже серьезная вероятность.

Теорема Бейза применима ко многим ситуациям в нашей жизни: тестам на заболевания, на допинг в спорте, в спам-фильтрах, в судебных процессах, и во многом другом. Она может использоваться и для предсказаний поведения в будущем, например, вероятность того, что кто-то совершит преступление или вылетит из школы. Однако надо учитывать, что чем меньше превалирующее значение имеет такое поведение, тем выше будет вероятность ошибки.

Если число наркоманов составляло бы 10% населения, то тест был бы гораздо точнее. Если у человека плохие оценки в школе, но число исключенных из нее составляет доли процента, то вероятность того, что по оценкам человека можно предсказать его вылет из школы, весьма мала. С другой стороны, если 30% учащихся школы заканчивают свою юность в тюрьме, то точность предсказания будущего увеличивается.

Как верно сказал Nat Napoletano: «Вы не должны прожить свою жизнь, не поняв теорему Бейза».

Фото в начале статьи из Википедии.


Диагностика шизофрении с помощью ай-трекинга и развитие способностей

Роналдо с ай-трекеромИзвестно уже более ста лет, что у людей с психиатрическими заболеваниями присутствуют аномалии движений глаз, но до последнего времени никто не думал, что эти аномалии можно замерять и использовать как метод диагностики. Я писал ранее о том, как ай-трекинг оказывается отличным методом для ранней диагностики аутизма, и болезни Альцгеймера. Недавнее исследование британских, немецких и американских ученых (Benson et al., 2012) позволило создать модель, которая может диагностировать шизофрению, с помощью простых тестов на ай-трекере с поразительной точностью в 98,3%!

Всего три простых теста, и за пять минут можно увидеть аномалии движений глаз. В первом тесте надо следить глазами за движением объекта по заданной траектории. У людей с шизофренией наблюдается отставание от движущегося объекта и последующая корректировка с помощью саккад, баллистических движений глаз. Тест на свободный просмотр — показ на фиксированное время, и человек сам выбирает, на что и как смотреть. У нормальных людей паттерны просмотра схожи. Именно поэтому результаты ай-трекинга используются в рекламе и маркетинге – мы довольно предсказуемы в том, как мы смотрим на визуальные объекты. У людей с шизофренией паттерны отличаются от «нормы». Третий тест – фиксация, требует от человека смотреть на неподвижную точку. Довольно легкий тест, но у людей с шизофренией возникают с этим проблемы.

Сравните:

Ай-трекинговые тесты, выполненные контрольной группой и группой больных шизофрениейЯ за свою, даже не очень долгую практику проведения ай-трекинговых исследований, видел примеры аномальных движений глаз, но не думал, что они могут быть такими предсказательными и диагностическими.

Работы продолжаются – если сейчас понятно, как диагностировать шизофрению, то исследователи надеются построить модели для дифференциации других психиатрических расстройств, которым свойственны свои, уникальные аномалии движений глаз.

Судя по этому исследованию, есть все основания начинать вводить такую методику в клиническую практику. Типичное неврологическое исследование занимает много времени, дорого стоит и требует высококвалифицированного специалиста. Этот же метод дешев, быстр и может быть проведен техником, а результаты могут обрабатываться компьютерной программой. Специалист может вмешиваться в процесс, когда возникает высокая вероятность диагноза.

Мне более интересна идея обратной инженерии – создание упражнений для движений глаз, которое может потенциально предупреждать или даже лечить психиатрические заболевания. Эти аномалии не стоит рассматривать исключительно как следствия заболевания, а, скорее, как один из его компонентов.

Есть примеры, когда аномальные движения глаз повышают человеческие способности. У Микаэля Шумахера были обнаружены определенные паттерны движений глаз, которые, хотя бы отчасти, позволяли ему быть лучшим на треке: он по-иному смотрел на повороты трассы. Недавний фильм про Роналдо показал его отличающиеся паттерны движений глаз. Это можно определять, анализировать и создавать на их основе упражнения.

Benson, P. J., Beedie, S. A., Shephard, E., Giegling, I., Rujescu, D., & St. Clair, D. (2012). Simple viewing tests can detect eye movement abnormalities that distinguish schizophrenia cases from controls with exceptional accuracy. [doi: 10.1016/j.biopsych.2012.04.019]. Biological Psychiatry, 72(9), 716-724.


Ай-трекинг для диагностики нарушения памяти

Wolfgang Bittner. Saccadic portraitВчера было опубликовано очень любопытное исследование о том, как простой тест на ай-трекере может показать ранние признаки болезни Альцгеймера (Crawford et al., 2012).

В экспериментах участвовали пациенты всех возрастов, как абсолютно здоровые, так и синдромом Паркинсона и болезнью Альцгеймера.
Сначала, на мониторе компьютера они должны были следить глазами за перемещающейся светлой точкой, а затем, в другой задаче – в противоположную сторону от точки.

И вот что оказалось: первая задача выполнялась практически всеми группами одинаково, с понятной, более быстрой реакцией молодых здоровых участников и практически одинаковой всех остальных. А вот вторая задача выявила существенные отличия. Больные Альцгеймером совершали ошибки, выполняя задачу, и были не в состоянии их скорректировать, как показано на графике:

Ай-трекинг тест выявляет нарушения пространственной рабочей памятиСтранно, казалось бы, ну в чем отличие этих задач, кроме небольшого усложнения? Но эта привело к неспособности ее успешно выполнять и  оказалась сильно коррелированна с ухудшением пространственной рабочей памяти.

Это очень многообещающий путь в исследованиях, потому что позволяет провести очень быстрый тест, в сравнении с длительными тестами, существующими сегодня. Это также позволяет прекрасно отделить больных Паркинсоном от больных Альцгеймером, обнаружить нарушения работы памяти и предсказать баллы по тесту MMSE (он используется для оценки состояния когнитивных функций).

Дизайн такого эксперимента сделать несложно, надо провериться и самому, да людей потестировать. Кому проверить?

Картина в начале статьи – саккадический портрет Вольфганга Биттнера (Wolfgang Bittner) отсюда. Портрет создается движениями глаз. Круто.

Crawford, T., Higham, S., Mayes, J., Dale, M., Shaunak, S., & Lekwuwa, G. (2012). The role of working memory and attentional disengagement on inhibitory control: effects of aging and Alzheimer’s disease. AGE, 1-14.


Ай-трекинг мышей

Ай-трекинг (eye-tracking) мышкиУдивительный эксперимент, в котором ученые успешно применяют ай-трекинг (eye-tracking) на мышке (de Jeu & De Zeeuw, 2012). Собственно, ученые показывают, как это делается (а для этого им потребовалось операция на мозге бедного мыша). Посмотреть видео и почитать можно здесь. А я думал все моего кота как-то заставить пройти ай-трекинговое исследование, но опасался. А тут оказывается, никогда не интересовался раньше, у котов и фовеи  нет, как и у мышей. Фовеа – это такое небольшое углубление на сетчатке, которое и позволяет нам видеть четкое центральное изображение. То есть, наши любимые кошечки (и собачки тоже), никогда не смогут научиться читать :) И не только читать; у животных без фовеи ограниченные возможности фиксации взгляда на объекте, и они компенсируют это движениями глаз. После этого видео понимаешь, что с людьми все гораздо проще.

de Jeu, M., & De Zeeuw, C. I. (2012). Video-oculography in mice. The Journal of Visualized Experiments (JoVE) (65), e3971, DOI: 10.3791/3971 (2012).


Eye-tracking в полете, и не только

салон самолетаPanasonic Avionics, производитель аппаратуры для развлечений в пассажирской авиации, начал работы по применению технологии ай-трекинга, отслеживания движений глаз (eye tracking), жестикуляции и голосового управления для улучшения сервиса для пассажиров. Дело в том, что когда опций использования видеомонитора становится значительно больше, встает вопрос управления. А в условиях тесноты салона и кратковременности пользования нужны методы легкие и удобные в использовании. Пока метод отслеживания движений глаз оказывается более приемлемым, как наименее мешающий другим пассажирам. Экраны, оснащенные камерами для слежения за движениями глаз, позволят вам как пассажиру играть в игры, изучать аэропорт назначения, чтобы не заблудиться по прибытию, смотреть фильмы, серфить интернет, проверять почту, при этом управляя всем этим только (или частично) глазами. Прототип уже был показан на Aircraft Interiors Expo 2012 в Гамбурге.  Вероятнее всего, мы сможем это увидеть в салонах воздушных судов через пару лет.

Аналогично, и на земле, как минимум несколько фирм сейчас работают над внедрением технологии ай-трекинг (eye-tracking) в ноутбуки, расширив возможности более точного и удобного управления. В ноутбуке это позволит частично или полностью избавиться от мыши, увеличить возможности мультизадачность, и вообще улучшить работу с компьютером. Я полагаю, тоже, где-то через пару лет мы это все увидим.