В ходе последних десятилетий мы произвели больше данных, чем за всю историю человечества. Умение ими пользоваться только зарождается, и уже даёт власть, которую раньше казалась фантастической. Посмотрел недавно фильм BBC Horizon The age of big data, который очень просто и доходчиво объясняет, что такое эти большие данные и что с ними можно делать (фильм уже есть на русском). Один эпизод из фильма:

Профессор Университета Калифорнии в Лос-Анжелесе Джефф Брантингэм (Jeff Brantingham), антрополог, является специалистом по племенам охотников-собирателей в Китае. Он полагает, что, с точки зрения антропологии, паттерны поведения людей схожи, и поведение таких племен в Китае должно иметь общие черты с поведением преступных банд в Лос-Анджелесе. Люди склонны производить повторяющееся поведение снова и снова, и он подумал, что из огромной базы данных полиции Лос-Анджелеса, включающей характеристики десятка миллионов преступлений, можно эти паттерны извлечь. Он привлёк профессора математики Университета в Санта-Кларе Джорджа Молера (George Mohler), который обратился за моделью в сейсмологию. Сегодня нет эффективной модели, предсказывающей землетрясения, но есть модели, вполне хорошо описывающие афтершоки, толчки после основного землетрясения. Криминология показала, что каждое преступление характеризуется аналогичной кластеризацией следующих за ним других преступлений.

Ученые «накормили» модель данными базы совершенных преступлений, и она предсказала преступления прошлого, то есть, на основе более ранних — свершившихся позже. После этого можно было тестировать и будущее. Так появилась программа PredPol – робкая, но уже эффективная предвестница того, что мы все видели в фильме 2002 года Особое мнение (Minority Report).

Программа стала производить ежедневные прогнозы, показывающие квадраты 500 на 500 метров, где, с определенной вероятностью произойдет преступление, но, пока без предсказания времени. Офицеры, которых привлекли к реализации программы, сначала были скептически настроены, но когда они стали замечать попытки преступлений в заданных квадратах, прониклись уважением. Даже пребывание полицейских в течение 5-10 минут в указанном квадрате приводило к падению преступности, как стала показывать статистика. Программа уже внедрена и продолжает вводиться в десятках других городов, и скоро станет обычной частью работы по борьбе с преступностью.