Я как-то писал здесь про историю из документального фильма The Age of Big Data, в которой один ученый, занимающийся кочевыми племенами в Китае, оказался «втянут» в криминологию. Как оказалось, поведение кочевников очень похоже на поведение банд Лос-Анджелеса, и встал вопрос, можно ли предсказывать поведение криминальных групп, и значит, и преступления, ими совершаемые? У полиции были огромные массивы данных о совершенных преступлениях с множеством параметров (место, время, число участников, характер, и проч.). Требовалась модель, и они ее нашли у другого ученого. Он занимался предсказыванием афтершоков землетрясений. Сами землетрясения успешно предсказывать пока не получается, а афтершоки – вполне.
Таким образом, модель, предсказывающая поведение коры Земли после землетрясения стала обрабатывать данные о преступлениях и выдавать координаты вероятных криминальных актов. Точность пока не особо высока, но система работает. Представляете, гангстеры прикидывают, куда спрятать угнанные тачки, и один предлагает местечко, про которое никто не знает. Они туда приезжают, а там уже полиция, которой система сообщила это же место. Полицейские роняют от удивления пончики, но испытывают удовлетворение.
Данных у нас у всех сейчас полно, и вопрос, что с ними делать, часто натыкается, в том числе, и на то, какую модель использовать. В недавнем эпизоде шоу Last Week Tonight With John Oliver, ведущий говорил о тестировании и экзаменах в американских школах.
На картинке выше Джон указывает на реальную формулу, которую используют для оценки работы учителей в штате Флориде. По сути, учитель получает лучшие оценки, если его ученики получают лучшие оценки. Звучит логично, но не все так просто: эта формула в одной части предсказывает оценки учащегося. Так, например, она предсказывает, что ученик должен, к примеру, получить 99 баллов (из 100). Если ученик наберет 95 баллов и станет, по факту, лучшим учеником в школе – учителю зачтется минус, ведь его ученик недобрал 4 балла. В некоторых случаях формула предсказывала недостижимую, в принципе, оценку.
В целом, получается, эта модель оценки работы учителя не особо хороша. А для чего она хороша и откуда взялась? Сама модель родилась в ходе исследований по предсказанию репродуктивности рогатого скота! Как заметил Оливер, что в таком случае можно сказать: «согласно формуле ваш ребенок либо сдал алгебру на отлично, либо родил здорового теленка. Мы не знаем».
Если вы научились хорошо предсказывать события в одной области, то вполне можно попробовать использовать успешную модель и в других областях. В конце концов, как сказал один философ «что угодно может быть репрезентацией чего угодно». И конечно, иногда будут получаться глупости.
Слева – кадры из фильма Элизиум (2013), показывающие, как в течение нескольких секунд, человек излечивается от рака. Мне нравится, так и должно происходить, и когда-то так и будет. Вышла хорошая статья в lenta.ru
Я писал
Вписываем в нее число людей, которых мы будем проверять:
Вписываем число людей, которые, согласно статистике, употребляют наркотики, 2%, то есть 200 человек:
Теперь мы определяем, сколько людей определит чувствительность теста. Поскольку чувствительность равна 99%, то положительный тест покажут 198 человек (99% от 200):
Соответственно, ложноотрицательный (человек наркотики употреблял, но тест его не выявил) — 2 человека:
Теперь, специфичность теста. Она равна у нас 99%, и из 9800 людей, не употреблявших наркотики, он покажет отрицательный тест у 99% людей, то есть у 9702 студентов:
И он покажет ложноположительный результат (наркотики не употребляли, но тест определил, что употребляли) у 98 человек:
Теперь заполним все итоговые колонки:
Теперь мы переходим к самому интересному. Вопрос такой: какова вероятность того, что человек не употреблял наркотики, но тест показал положительный результат? Нам надо разделить 98 на 296. 

Известно уже более ста лет, что у людей с психиатрическими заболеваниями присутствуют аномалии движений глаз, но до последнего времени никто не думал, что эти аномалии можно замерять и использовать как метод диагностики. Я писал ранее о том, как ай-трекинг оказывается отличным методом для
Вчера было опубликовано очень любопытное исследование о том, как простой тест на ай-трекере может показать ранние признаки болезни Альцгеймера (Crawford et al., 2012).
Panasonic Avionics, производитель аппаратуры для развлечений в пассажирской авиации, начал работы по применению технологии ай-трекинга, отслеживания движений глаз (eye tracking), жестикуляции и голосового управления для улучшения сервиса для пассажиров. Дело в том, что когда опций использования видеомонитора становится значительно больше, встает вопрос управления. А в условиях тесноты салона и кратковременности пользования нужны методы легкие и удобные в использовании. Пока метод отслеживания движений глаз оказывается более приемлемым, как наименее мешающий другим пассажирам. Экраны, оснащенные камерами для слежения за движениями глаз, позволят вам как пассажиру играть в игры, изучать аэропорт назначения, чтобы не заблудиться по прибытию, смотреть фильмы, серфить интернет, проверять почту, при этом управляя всем этим только (или частично) глазами. Прототип уже был показан на Aircraft Interiors Expo 2012 в Гамбурге. Вероятнее всего, мы сможем это увидеть в салонах воздушных судов через пару лет.