В ходе последних десятилетий мы произвели больше данных, чем за всю историю человечества. Умение ими пользоваться только зарождается, и уже даёт власть, которую раньше казалась фантастической. Посмотрел недавно фильм BBC Horizon The age of big data, который очень просто и доходчиво объясняет, что такое эти большие данные и что с ними можно делать (фильм уже есть на русском). Один эпизод из фильма:
Профессор Университета Калифорнии в Лос-Анжелесе Джефф Брантингэм (Jeff Brantingham), антрополог, является специалистом по племенам охотников-собирателей в Китае. Он полагает, что, с точки зрения антропологии, паттерны поведения людей схожи, и поведение таких племен в Китае должно иметь общие черты с поведением преступных банд в Лос-Анджелесе. Люди склонны производить повторяющееся поведение снова и снова, и он подумал, что из огромной базы данных полиции Лос-Анджелеса, включающей характеристики десятка миллионов преступлений, можно эти паттерны извлечь. Он привлёк профессора математики Университета в Санта-Кларе Джорджа Молера (George Mohler), который обратился за моделью в сейсмологию. Сегодня нет эффективной модели, предсказывающей землетрясения, но есть модели, вполне хорошо описывающие афтершоки, толчки после основного землетрясения. Криминология показала, что каждое преступление характеризуется аналогичной кластеризацией следующих за ним других преступлений.
Ученые «накормили» модель данными базы совершенных преступлений, и она предсказала преступления прошлого, то есть, на основе более ранних — свершившихся позже. После этого можно было тестировать и будущее. Так появилась программа PredPol – робкая, но уже эффективная предвестница того, что мы все видели в фильме 2002 года Особое мнение (Minority Report).
Программа стала производить ежедневные прогнозы, показывающие квадраты 500 на 500 метров, где, с определенной вероятностью произойдет преступление, но, пока без предсказания времени. Офицеры, которых привлекли к реализации программы, сначала были скептически настроены, но когда они стали замечать попытки преступлений в заданных квадратах, прониклись уважением. Даже пребывание полицейских в течение 5-10 минут в указанном квадрате приводило к падению преступности, как стала показывать статистика. Программа уже внедрена и продолжает вводиться в десятках других городов, и скоро станет обычной частью работы по борьбе с преступностью.
Несколько пугающая новость :) Когда читаешь о математических прогнозах человеческого поведения, возникают ассоциации с «Матрицей» и прочими антиутопиями. Насколько мы сами являемся хозяевами своих решений, где проходит грань между свободой воли и результатом действия «больших чисел», когда индивид действует словно винтик большого социального механизма?
Одно дело наблюдать за явлением, другое дело — вмешиваться в его ход. В примере, связянном с уличной преступностью, полицейские скоро обнаружат, что модель перестала работать. Ибо преступники станут менее предсказуемыми. Любая статистика плоха тем, что имеет дело с прошлым. Возьмите для примера цены на биржевые товары. Никакие БИГ ДАТЫ не в состоянии спрогнозировать рынок, хотя данных о поведении цен в прошлом — завались.
Дмитрий, уличная преступность неплохо предсказуема вообще (и без мат. моделей), а модель тоже будет постоянно пополняться новыми данными, так что предсказания могут становиться только точнее. В отличии от биржи, критичных факторов меньше (места, объекты, люди и время ограничены). Что спорить — увидим, сейчас все довольно шустро развивается.
Спорить, конечно, не будем. Только на бирже переменных, которые Вы называете критичными факторами всего две — цена и время.
Критичные факторы на бирже — те, что влияют на цену, а их то как раз слишком много. Гораздо меньше факторов, влияющих на поведение гопника, который прямо в эту минуту собирается выйти и кого-то ограбить.
Сколько бы ни было факторов, влияющих на поведение гопника — много или мало — сам по себе гопник является мыслящими и хуже того — креативным созданием. Увидев полицейского там, где он рассчитывал кого-то ограбить, он не откажется от своего замысла, а просто найдет иной способ его реализовать.
Вот это более интересный вопрос — чем он будет заниматься и куда ему деваться? Если учесть, что его креативные идеи первого и второго порядка хорошо просчитываются. Борьба с преступностью в Нью-Йорке поставила как раз этот вопрос — преступность упала, но все понимают, что гопота не могла податься в университеты или на работу (или могла?). Куда они деваются и чем занимаются — сейчас это выясняется. Ну, по аналогии — чем занимаются бывшие шахтеры в регионах, где закрыли шахты? Они же не занялись копом шахт у себя на дачах :)
Криминология, даже без использования биг дата, накопила достаточно знаний, чтобы, взяв сравнительно небольшой город, практически убрать уличную преступность. Нужна только политическая воля и средства, причем не очень большие. Это показывает, что поведение гопников куда более предсказуемо, чем цены на какао.