Tag Archives: распознавание эмоций

Вести с полей. Прощай, нейромаркетинг, и по кочану

neuromarketingРовно шесть лет назад я начал заниматься нейромаркетингом – то есть исследовать маркетинговые и рекламные материалы с помощью ЭЭГ, ай-трекера, автоматического распознавания эмоций и имплицитных тестов.

И вот сейчас, когда перспективы и приоритеты поменялись, бросаю этим заниматься. На него у меня нет ни желания, ни времени, а у него – нет будущего. Поясню, почему.

За это время провел много исследований, и, без ложной скромности, порой делал крутые и достойные исследования. Некоторое из них вообще уникальные, например, когда по отклонениям взгляда предсказывается последующий выбор, химичил с параметрами видео, которые могут в определенных условиях предсказывать успех видео, и прочее. Когда была возможность, проводя маркетинговые исследования, я параллельно изучал известные картины, картинки и другие интересные штукенции. Вообще доволен: многому научился, много узнал. О некоторых результатах я писал в этом блоге. Еще куча материалов не разобрана.

Область нейромаркетинга, как впрочем, и всё вокруг нас, щедро заселена веселыми ребятами. Люди пытаются определять что-то с помощью полиграфов, тестов Люшера, ZMET и прочих заклинаний. Если есть заказчик, который просит предоставить ему «архетипы охлажденного мяса», то находятся и соответствующие исполнители. Недавно мне порекомендовали посмотреть видео, где один маркетолог объяснял, что такое нейромаркетинг, и как он применил его в крупном проекте. Посоветовали посмотреть, чтоб я, типа, понял, как надо рассказывать про нейромаркетинг. Начал я смотреть и обалдел: для этого чувака я делал исследование, и именно про это исследование он и говорил! Результаты оказались совсем не те, о которых он вещал. Он подогнал данные, причем данные сами по себе ничего не определяющие (ширина зрачка), чтобы получить то, что ему требовалось. Иными словами, всё, что этот чел говорил, буквально всё, – была выдумка и неправда. «Тебе какая разница?», говорили мне. Ну ладно, теперь-то чего уж.

Важнее другое:

Во время исследований настолько часто, насколько возможно, я сталкивался с вопросом «Почему». Впрочем, чаще всего этот вопрос задавал себе сам. Вот мы видим, что люди больше внимания уделили первому варианту, чем второму. Разница существенная, настолько, что можно спокойно принимать решение. Но почему так произошло? Некоторые считают, что этот вопрос — слабое место нейромаркетинга. На самом деле, это слабое место чего угодно.

Если вам задали такой вопрос, а вы не решаетесь на него отвечать, вас могут начать подозревать в некомпетентности. Но, как правило, мы всегда «знаем», как на него ответить. Вы погружаетесь в пучину гипотез, которые вы можете, но никогда не проверите, в объяснения, которые вы никогда не сможете и не собираетесь проверять, и это всё не имеет никакого значения.

Теперь я понимаю, что вопрос «почему» все более уходит в историю. Никто не никогда не узнает и не будет даже стараться узнать, почему первый вариант оказался более привлекательным, чем второй. Почему одна обложка журнала привела к невиданным продажам, почему один клип шоумена оказался таким безумно популярным, почему смена упаковки товара привела его к «гибели» – ответа нет, и всем плевать.

Почему если дует восточный ветер, то помидоры начинают продаваться на 20% больше (или меньше, не в этом суть). Мы просто видим паттерн, или его нам подсказывают алгоритмы, а вот «почему» – с большой вероятностью, мы никогда не узнаем. Почему определенные цветовые паттерны крыш означают повышенную преступность, и по аэрофотосъемке можно понять опасные районы города, наркоманию, ожирение, подростковую беременность, число абортов, заболевания и прочее? По паттернам цветов крыш, твоюмать. Почему – не знаем, и заниматься некому, и не интересно никому, и времени нет. Ответы порождают нам алгоритмы и нейронные сети, а как они приходят к ответам – мы понимаем лишь отчасти, и если они говорят «продавай сейчас помидоры», то они никогда не ответят на вопрос «почему».

Любопытно, что даже если мы вдруг гипотетически получим ответ на вопрос «почему», раскроем действительно реальные причины, ничего не изменится. В одном случае мы одобрительно скажем: «Ну надо же», а в другом: «И что теперь делать с этим?» Это как если бы вы узнали реальные причины дружбы двенадцатого герцога Альбы с Жан Жаком Руссо – как это поможет вам жить сегодня, и, особенно, завтра?

Казалось бы, еще лет тридцать назад мы шли к тому, что узнавали о мире все больше, и «почему» был одним из главных вопросов познания. Сегодня мы узнаем о мире на порядок больше, но узнаем больше «что» и «как», а вопрос «почему» задаем все реже, потому что некому, некогда и вроде как незачем на него отвечать.

Сегодня есть (или будет в ближайшее время) уже достаточно эффективных решений, построенных на алгоритмах, которые могут предсказывать популярность продаж товара или сервиса без предварительных оценок человеком. Всякий и любой опыт, накопленный в нейромаркетинге, все больше становится практически неприменимым и теоретически бесполезным. Возможно, мне и не удалось передать свое понимание и ощущение, почему нейромаркетингу капут , но универсальный ответ на это вынесен в название статьи. в конце концов.

Да какой нейромаркетинг – эпоха, когда бизнесу надо было продавать нам что-то, соблазнять, и угадывать наши желания, похоже приходит к концу быстрее, чем нам кажется. Но это уже другая история.


Машины умеют понимать нас лучше нас самих

выражение болиНедавняя новость о том, что искусственный интеллект получил неплохие баллы при прохождении теста Тьюринга – лишь одна из многих подобного рода. Так, занимаясь ай-трекингом, я знаю программы, которые могут предсказывать с точностью в 80% движения и фиксации глаз человека при просмотре изображения. В недавнем исследовании, опубликованном в журнале Current Biology (Bartlett et al., 2014) было показано, в чем еще компьютерные системы начинают демонстрировать результаты лучше человека.

Выражение эмоции вовлекает лицевые мускулы, управляемые двумя моторными маршрутами: автоматические и спонтанные и управляемые сознательно. Когда человек испытывает настоящую боль, то соотношение движений мускулов, создаваемых по этим маршрутам, отличается от соотношения при подделке боли. Нетренированный наблюдатель очень плохо различает настоящее выражение боли от подделки. Потренировавшись, можно улучшить эту способность, но не сильно. Так, в этих экспериментах удавалось повысить точность различения людей до 55%.

На картинке в начале статьи, сможете вы определить, на каком фото мужчина подделывает боль, а на какой – испытывает настоящую?

Программа под названием Computer Expression Recognition Toolbox (CERT), разработанная в Университете Калифорнии в Сан-Диего, на основе системы Facial Action Coding известного ученого Пола Экмана, и доступная на сайте Emotient, также поучаствовала в эксперименте.

Она может анализировать состояние лица каждые 30 миллисекунд и вычислять не только предположительную эмоцию в этом кадре, но и динамику изменения выражений. Она может отличать выражения на лице, создаваемые спонтанно, от вызванных сознательно. Точность ее оценки составила 85%.

Если бы какой-то человек постоянно достигал таких результатов, мы посчитали бы его выдающимся мастером, заслуженно и без преувеличения, а тут – программа, стоимость которой с каждым годом падает, и пользоваться которой может даже ребенок. И так, похоже, будет в каждой сфере деятельности и с каждой способностью человека.

Bartlett, M. S., Littlewort, G. C., Frank, M. G., & Lee, K. (2014). Automatic decoding of facial movements reveals deceptive pain expressions. Current Biology, 24(7), 738-743. doi: 10.1016/j.cub.2014.02.009.

* Фото слева – настоящая боль, справа – имитация.


Культ Apple: любовь, религия или ошибка?

apple phoneОшеломляющий интерес к продуктам Apple, который мы все наблюдаем на протяжении последних лет, привлекает внимание как бизнеса, пытающегося скопировать успех, так и широкой публики, стремящейся понять движущие силы этого феномена. Журналисты привлекают ученых, и те проводят эксперименты.

В начале февраля немецкий телеканал WDR показал фильм Apple Check, посвященный феномену бренда Apple, который исследовался в том числе с помощью функционального магнитно-резонансного томографа (fMRI). Ученые, профессор Юрген Галлинат и Симон Кун, провели исследование, показывая двадцати пяти добровольцам изображения мобильных телефонов и планшетов компаний Apple и Samsung. Люди реагировали на эти бренды совершенно по-разному: Samsung вызывал активацию префронтальных регионов мозга, связанную с принятием решений, планированием действий и целей; Apple же вызывала активацию регионов, задействованных в распознавании и оценке эмоций, выраженных на лице человека!

Читать далее на Slon.ru


Что чувствует Гюльчатай

Гюльчатай, покажи личикоВопросы о традиционных мусульманских одеяниях в общественных местах в европейских странах возникают сегодня практически каждый день. Вот опять – беспорядки в пригороде Парижа, связанные с запрещением ношения таких одеяний. Как бы мы к этому не относились, возможно, стоит понять, что это значит, с точки зрения психологии. Не ставя себе целью погружаться в этот мир и всесторонне его исследовать, предлагаю лишь парочку недавних исследований голландских психологов, результаты которых могут быть полезны в обыденной жизни.

В первом (Kret & De Gelder, 2012) изучался вопрос о том, как воспринимаются эмоции женщины, носящей хиджаб (накидка, скрывающая волосы женщины), никаб (накидка из тонкой ткани, закрывающая волосы, лицо, шею, но оставляющая открытыми глаза) или бурку/паранджу (густой чёрной сеткой, закрывающей лицо, ношение которой предписывается исламом).
Никаб и паранджаВ серии экспериментов участникам показывали женщин, выражающих разные эмоции: злость, страх, счастье и печаль, в различных вариантах одежды, и просили как можно быстрее идентифицировать эмоциональное состояние человека. Понятно, что распознать эмоции женщины в хиджабе не составляло труда – покрывались ведь только волосы, а вот с другими аксессуарами возникли очень интересные феномены.

Результаты одного эксперимента:
Результаты распознавания эмоций в зависимости от головного убора
В целом, по итогам трёх экспериментов, выяснилось:

  • Хуже всего с распознаванием эмоций – у женщины в парандже. В условиях никаба только глаза могут передать, что чувствует человек, но для быстрого и точного распознавания некоторых эмоций одних глаз недостаточно.
  • Как видно, страх распознавался довольно хорошо, даже в условиях плохой видимости. Это связано, предположительно, с видимостью белков глаз (белого становится больше, потому что у «страха глаза велики», т.е. глаза больше приоткрываются).
  • Хуже всего распознавалась печаль. Получается, что сложно предположить по женщине, носящей такие уборы, что она печалится: с чего бы ей печалиться?:) Как видите, требуется несколько секунд, чтобы поверить в это.
  • Никаб затрудняет распознание счастья – иными словами,  человеку трудно разглядеть счастье у женщины в никабе, даже если это и так.
  • Паранджа позволяет быстрее всего распознавать страх и злость, а платки открытого типа – положительные эмоции. Увы, паранджа и радость не очень сочетаются.

В другом эксперименте (Fischer et al., 2012) участникам показывали краткие видео. В каждом из них модели рассказывали эмоциональные истории, с переживаниями злости, счастья, и стыда. Были сняты и нейтральные истории, безо всяких эмоций. И каждая такая история была снята моделями в трёх обличиях – с открытым лицом, с рамкой, и в никабе, как показано ниже.Распознавание эмоций в зависимости от видимости лица58 студентов смотрели сначала нейтральное видео, а потом, в случайном порядке, — три видео, каждое со своей эмоцией. Звук у видео был отключён, и участники должны были решить, какую именно эмоцию выражает женщина.

И вот что получилось:

  • Закрытие нижней части лица скрывало рот, и соответственно, увидеть улыбку не представлялось возможным. Закрытие лица создавало у людей впечатление скорее о негативных переживаниях женщины, чем позитивных. Так, например, люди могли спутать счастье со злостью у женщины в никабе.
  • Стыд воспринимался более интенсивно: люди лучше определяли эмоцию стыда у женщины в никабе, чем у женщины без убора! Вероятно, подсознательно люди связывают покрытие головы с переживанием стыда, вне зависимости от реальных чувств.

Женщина в никабеНам важно понимать эмоции людей рядом с нами, чтобы мир был предсказуем, понятен, и, следовательно, безопаснее. Люди в никабах и паранджах вызывают у западного человека некое напряжение – нельзя моментально понять, что думает человек, скрывающий своё лицо и не представляет ли он опасность. Как результат, эмоции приобретают негативную окраску – вероятно, из-за очень древней и полезной эвристики, говорящей о том, что если человек настроен доброжелательно и позитивно, то ему нечего скрывать. Такая эвристика эффективна: согласитесь, закрывают лица бандиты, полицейские, агрессивно настроенные бунтовщики, средневековые палачи, и другие неприятные и опасные личности. Да и наше время уже неоднократно показало опасности, несущие женщинами-шахидками в паранджах и никабах.

Поэтому негативный стереотип женщины в традиционных головных уборах имеет вполне логическое и биологическое объяснение, и время от времени подпитывается фактами в свою защиту. Это наносит ущерб социальным отношениям в обществе, делает людей подозрительными и напряжёнными. Если носители таких традиций этого не понимают и не принимают этот феномен, то это плохо. Это они должны убеждать и доказывать каким-то образом то, что паранджа скрывает весёлые, улыбающиеся и счастливые лица женщин.

Fischer, A. H., Gillebaart, M., Rotteveel, M., Becker, D., & Vliek, M. (2012). Veiled Emotions: The Effect of Covered Faces on Emotion Perception and Attitudes. Social Psychological and Personality Science, 3(3), 266-273. doi: 10.1177/1948550611418534.

Kret, M., & De Gelder, B. (2012). Islamic context influences how emotion is recognized from the eyes. Frontiers in Psychology, 3:110. doi: 10.3389/fpsyg.2012.00110.


Нейромаркетинг: Кодирование эмоций в рекламных проектах

Счастливый человек

Пример обработки фотографии человека. Этот человек эмоционально вовлечен и безусловно счастлив в момент съемки, и то, что происходит вокруг него, ему очень нравится.

16 января 2013 года компания Millward Brown анонсировала расширение использования технологии Link and Facial Coding кодирования эмоций, отражающихся на лице, и заявила, что ее крупнейшие клиенты, Unilever и The Coca-Cola Company будут использовать это метод для тестирования в 2013 году. Unilever, владелец таких известных брендов как Axe, Lipton, Domestos, будет применять кодирование эмоций для всех количественных и пилотных проектов по всему миру, а Кока-Кола – для анимационной рекламы. Другие клиенты также будут пользоваться технологией, и исследователи надеются провести тысячи исследований только в этом году.

Технология кодирования эмоций Affdex Facial Coding разработана компанией Affectiva, отпочковавшейся от MIT Media Lab. Этот метод был уже использован в более 40 странах и в 400 рекламных проектах, и ее по праву можно назвать самой используемой системой исследования, не основанной на вербальном отчете респондентов. Еще полгода назад цифры были в несколько раз меньше.

Кодирование эмоций Affdex Facial Coding Кодирование эмоций Affdex Facial Coding.

Исследование выглядит довольно просто: эмоции респондента, во время просмотра видеоролика тестируемой рекламы или статичных изображений, обрабатываются программным обеспечением, выдающим данные о вовлеченности в каждый момент просмотра. Плюсом можно назвать снижение стоимости: для такого анализа достаточно самой обычной веб-камеры и хорошего освещения, что позволяет тестировать рекламные продукты онлайн.

В 2012 году эта технология начала применяться в Азии, где культурные нормы порой не позволяют выражать словами те чувства, которые возникают от истории, рассказываемой рекламным роликом. Так, например, при тестировании ролика в Индии, эпизод, в котором рука мужа касается талии жены, большинство респондентов-женщин давали нейтральную, безэмоциональную оценку такого взаимодействия. Однако результаты кодирования показали, что именно это момент вызывал у них эмоциональное вовлечение, и при редактировании этот эпизод вошел в окончательную версию ролика.

Технологии кодирования эмоций сейчас совсем не редкость, и благодаря бурному развитию, цены на них падают, а спрос растет. Я писал ранее о своем опыте работы с аналогичной программой FаceReader от компании Noldus, и участии в онлайн исследовании-предсказании президентских выборов в США. Такое кодирование выдает хорошие результаты при большом количестве респондентов, потому что индивидуальные характеристики иногда могут быть весьма своеобразны: часто встречается, что программа понимает нейтральное выражение человека как сердитое ил печальное. С другой стороны, если «скормить» программе сотню фотографий человека и откалибровать ее именно на его лицо, то она будет изумительно точна. Кроме этого, они способны оценивать эмоции сразу нескольких людей в обзоре камеры и выдавать результаты в реальном времени.

Широкое применение программного обеспечения, сопряженного с камерами наблюдения и автоматическими триггерами на какие-то особые эмоции возможно уже сегодня. Камера автоматически подаст сигнал тревоги оператору, если эмоции злости или обеспокоенности у проходящего народа в каком-то месте превысит определенный порог. Аналогично, можно оценивать какое-то событие, автоматически кодируя эмоции зрителей кинотеатра, посетителей магазина или делегатов съезда партии.


Распознавание эмоций

Замечательно работает программа FaceReader. Вот как я просматриваю ленту Вконтакте (картинки кликабельны). Графики показывают, что то, что я вижу, мне нравится.
Распознавание эмоций программой FaceReader от NoldusА это я успешно попытался изобразить удивление:
Распознавание эмоции удивления программой FaceReader от NoldusКомпания-производитель Noldus, утверждает, что аккуратность распознавания — в районе 89%, причем для эмоции радости/счастья/удовольствия — доходит до 97%, а для злости/гнева — 80%. Субъективно, выглядит это все здорово — ловит и распознает на лету.