Tag Archives: ай-трекинг

Невероятные связи

Группа тайваньских ученых (Chen et al., 2020) показала на большой группе людей (около миллиона), что диагнозу шизофрении у молодых людей с большой вероятностью предшествуют общие проблемы со здоровьем. Например, повышенное давление, болезни сердца, сердечнососудистые заболевания, хронические обструктивные легочные заболевания, астма и синдром раздражённого кишечника.

Уже известно, что и другие заболевания сильно коррелируют с психическими заболеваниями (поразительное исследование датчан).

На первый взгляд, это хорошая иллюстрация того, как психическое здоровье связано с физическим. Но интереснее другое – недавно подтвердился хорошо известный психиатрам, но казавшийся мифическим факт, что люди, рождённые слепыми, никогда не заболевают шизофренией (Love, 2020).

Между тем, врожденная слепота – результат генетической мутации, травмы мозга или инфекционного заболевания. Все эти причины подходят и для шизофрении. Но если потеря зрения происходит уже после рождения, то вероятность шизофрении растет колоссально.

Если врожденная слепота дает защиту от шизофрении – и, по словам одного исследователя, это единственная известная сегодня 100% защита от шизофрении, то в этом определенно есть ответ на одну из бесчисленных тайн нашего мозга.

Одно из аргументированных объяснений выдал в прошлом году Фил Корлетт (Phil Corlett), профессор психиатрии и психологии в Йельском Университете. Он считает, что одна их важнейших задач мозга — делать предсказания будущего. Мы не видим мир таким, какой он есть, получая всеобъемлющие и правдивые сигналы от него: мы создаем модель мира и пытаемся в этой модели делать предсказания о том, что случится через секунду, минуту или часы. Все для того, чтобы элементарно обеспечить выживание. Создавая предсказания каждые мгновения, наш мозг сравнивает их с тем, что случилось на самом деле, становясь более точным.

Зрение играет в сборе информации о мире основную роль, и когда его нет, то делать предсказания и получать обратную связь становится очевидно сложнее. С другой стороны, не видя мира, мы не поддаемся на множество иллюзий и создаем меньше искажений восприятия. Это, по мнению ученого, ведет к более точному строительству модели мира, основанной на других сенсорных чувствах, кроме зрения, и делает ее более стабильной.

Есть и другое объяснение. Стив Сильверстайн, психиатр в Рутгерс Университете, полагает, что врожденная слепота вынуждает мозг осваивать множество компенсационных навыков и создавать больше нейронных связей. По сути, речь идет о некоем брейнфитнесе, но гораздо более суровом: каждодневным и интенсивном, но который и приносит защиту от психических заболеваний. Шизофрения – это ведь, в первую очередь, нарушения восприятия, памяти, внимания и речи. Галлюцинации и абберантное поведение, которые характеризуют шизофрению – следствия этих нарушений.

Сильверстайн приводит в своей работе 20 когнитивных отличий рожденного слепым человека от человека с шизофренией (Silverstein, Wang, & Keane, 2013):

Но как быть с нарушением здоровья, примеры которого приведены в начале этой статьи? В одном клубке мы видим и инфекционные заболевания, и общие проблемы со здоровьем, и когнитивные нарушения, и проблемы со зрением, и шизофрению.

Как, например, это объясняет различного рода проблемы со зрением — с перемещением глазного яблока, скорость моргания, и прочие, которые характерны для людей с диагнозом шизофрения? Что интересно, проблемы со зрением появляются до начала проявлений шизофрении (Keane at al., 2016). По движениям глаз ее и можно диагностировать, раньше, чем дойдет дело до психиатра. Я писал об этом в статье Диагностика шизофрении с помощью ай-трекинга и развитие способностей.

Как и в той статье, мне интересна идея, что, похоже, гипотетически возможно разработать специальные упражнения для глаз – особую мышечную гимнастику, перцептивные паззлы, и чисто когнитивные упражнения ,которые смогут предупреждать или даже лечить психиатрические заболевания, и, возможно, другие заболевания. Например, используя цвета и формы для лечения.

В программе 51 день, которая запускается в марте, будет одна из таких линий: как можно использовать зрительные иллюзии для практической пользы.

Chen, Y.-L., Pan, C.-H., Chang, C.-K., Chen, P.-H., Chang, H.-M., Tai, M.-H., . . . Kuo, C.-J. (2020). Physical illnesses before diagnosed as schizophrenia: A nationwide case-control study. Schizophrenia Bulletin. doi: 10.1093/schbul/sbaa009

Keane, B. P., Paterno, D., Kastner, S., & Silverstein, S. M. (2016). Visual integration dysfunction in schizophrenia arises by the first psychotic episode and worsens with illness duration. Journal of abnormal psychology, 125(4), 543–549. https://doi.org/10.1037/abn0000157

Love, S. (2020). People born blind are mysteriously protected from schizophrenia. Vice.com, 11 Feb 2020. Ссылка https://www.vice.com/en_uk/article/939qbz/people-born-blind-are-mysteriously-protected-from-schizophrenia

Silverstein, S., Wang, Y., & Keane, B. (2013). Cognitive and neuroplasticity mechanisms by which congenital or early blindness may confer a protective effect against schizophrenia. Frontiers in Psychology, 3(624). doi: 10.3389/fpsyg.2012.00624

Зачем андроиду сиськи?

Небольшое исследование по рассматриванию трех фигур – женской, человекообразного робота, и не особо человекообразного робота, с использованием ай-трекера, провели немецкие психологи из Университета Дуйсбурга — Эссена.

Авторы говорят, что исследование показывает, что «гетеросексуальные мужчины не переносят эволюционные психологические перцептивные механизмы выбора партнера на роботов». Иными словами, мужчины отличают женщин, сделанных из плоти и крови, от женщин, сделанных из металла и киберкожи, и сексуально относятся к ним по-разному. Это какой-то вымученный и неверный вывод, на мой взгляд.

Авторы сами пишут, что разницы во времени на рассматривание человеческой груди или груди робота не обнаружилось. Плюс странное рассматривание тазовой области – у человекоподобного робота больше, чем у женщины. Что там пытались рассмотреть мужчины?

Мне показалось, что исследование продемонстрировало, что андроид, максимально похожий на женщину с выдающимися половыми признаками, безусловно выдает такие же паттерны просмотра, как и у настоящей женщины.
Господи, да прилепи ты сиськи на что угодно, и мужчины будут смотреть на это, и это не просто банальный факт, но и загадка природы.

И, разумеется, в сфере секса зреет похожая на фаст-фуд революция: секс-роботы будут сверхдоступны и суперсексуальны, и мужчины, наконец-то, утолят свой голод (или, наоборот, только войдут во вкус).

Szczuka, J. M., & Krämer, N. C. (2019). There’s more to humanity than meets the eye: Differences in gaze behavior toward women and gynoid robots. Frontiers in Psychology, 10(693). doi: 10.3389/fpsyg.2019.00693

И пребудет с вами сила (и скорость)

исследования На выходных исследовали рекламные ролики, и использовали несколько методов, в том числе ай-трекинг. Помимо роликов, которые надо было исследовать, я взял два известных ролика в качестве образцов. Выбрал я их потому, что они заработали огромное число просмотров и «расшаривания» в YouTube. Кроме того, они просто классные и всегда вызывают неподдельные и чистые эмоции. Черт, да я посмотрел их за пару дней раз наверное 70, и каждый раз, каждый раз! они на меня действовали – заставляли улыбаться или умиляться, роняя слезинку.

Вот первый, реклама Budweiser для Super Bowl под названием Puppy Love:

Второй – реклама Volkswagen Passat под названием The Force:

Есть интересное видео, рассказывающее про то, как строится история про щенка:

Но, кроме таких и подобных описаний, есть ли что-то, что можно измерить? Ай-трекинг выдает приличное количество переменных: количество фиксаций, количество фиксаций в секунду, длительность фиксаций, отношение фиксаций к саккадам, скорость фиксаций, длина фиксаций, угловая скорость фиксаций, и прочее. Должна же найтись какая-то переменная, которая показала бы отличия гениального ролика от «обычного»?

Данные я обрабатывал, используя IBM Watson Analytics, что позволило легко находить связи и ассоциации, причем в замысловатых взаимодействий разных переменных. И хотя анализ еще далек от завершения, одну вещь уже удалось отловить. Ничего простого не обнаружилось: было бы, конечно, здорово найти, что средняя длительность фиксаций или длина саккад у хорошего ролика отличается от обычного, и это бы могло стать таким простым и суровым критерием оценки.

Найденная связь – скорость перемещения взгляда (path velocity) – длительность всех отрезков между последовательными фиксациями, разделенная на общее время в секундах, измеряемая в пикселях в секунду (px/s). Следует заметить, что значение скорости, конечно, связано с размером монитора, расстоянием между ним и глазами, частотой ай-трекера и проч. То есть это не универсальная какая-то скорость, по которой можно судить любые другие ролики.

результаты

Итак, именно в данном случае, если эта скорость ниже 469,85 пикселей в секунду, то с большой вероятностью – это Puppy Love от Budweiser. А если выше этой скорости – The Force. 29% точности может показаться незначительными, но вероятность случайного угадывания равна 10% (для каждого из 10 роликов), так что вероятность предсказания выше случайного в 3 раза.

Есть несколько возможных и применимых в данной ситуации объяснений: 1) скорость может быть обусловлена возбуждением или 2) с предсказуемостью ситуации (Holmqvist et al., 2011).

Физиологическое возбуждение — чем оно ниже, тем ниже скорость, и наоборот.

Предсказуемость ситуации: предвосхитительные саккады не так быстры, как реактивные – и в ситуации, когда сюжет предсказуем раз за разом, скорость может быть низкой, а когда сюжет меняется неожиданным образом, зрителю нужно реагировать быстро для восстановления понимания и восприятия ситуации.

На основе этих возможных объяснений можно сделать такие предварительные выводы – строить историю по классическим канонам, не стесняясь того, что могут назвать клише, и использовать проверенные «слезоточивые» методы. Такая история становится понятной, предсказуемой, но как видим, отнюдь не теряет своей прелести. Либо строить историю с неожиданными поворотами – ведь смотрите, как был ошеломлен мальчик (а вместе с ним и мы), когда после всех его попыток он смог покорить Силу и завести машину!

Holmqvist, K., Nyström, N., Andersson, R., Dewhurst, R., Jarodzka, H., & Van de Weijer, J. (Eds.) (2011). Eye tracking: a comprehensive guide to methods and measures, Oxford, UK: Oxford University Press.

Вечный март

Левитан, Март, 1895 Одна из лучших картин Левитана, «Март», 1895 года. Прошло более ста лет, но словно написана вчера. О ней много написано, но я решил посмотреть, может ли айт-трекинг привнести что-то еще.

20 человек рассматривали картину в высоком разрешении в течение 5 секунд, и вот что мы видим:

Тепловая карта внимания

Точки фиксации взглядов

Точки фиксации взглядов и саккады

Лошадь – один из главных элементов картины, но и скворечник, который, по мнению исследователей, висит как-то необычно высоко и на слишком тонкой ветке– весьма привлекает внимание. Вместе с лошадью, эти два элемента задают вертикальный паттерн просмотра. Это, наверное, и влияет на то, что исследователи отмечают в картине: что Левитан создал «движение» вверх, к весеннему небу. Неизвестно, был ли скворечник в реальности, или Левитан его придумал, но без него картина смотрелась бы по-другому.

Внимание к деталям

В рекламном ролике принтера фирмы Canon решили показать разницу между профессиональным фотографом и обычным человеком. История о том, как зная одержимость профессиональных фотографов к деталям, решили узнать, насколько она выражена.

Человек, не имеющий отношения к фотографии, студент фотограф и профессионал, Джоэл Граймз, смотрели на работу, которую вы видите в начале статьи. Фото, кстати, самого Граймза. Вот какими оказались результаты:

Вот собственно сам ролик:

Ролик можно также посмотреть здесь: http://www.canonpro1000.com/

Смотрим в будущее, часть четвертая

смотреть направо, смотреть налево Продолжение. Часть первая, вторая и третья.

Это заключительная часть о первой серии экспериментов по регистрации движения глаз при воображении будущего. Сама тема, конечно, будет продолжаться, а в начале декабря будет представлена в виде тренинга, о чем я дополнительно сообщу.

Продолжая с предыдущей части: разделив поле воображения уже не на 2, а на 4 квадрата, мы обнаруживаем, что:

В целом, нижняя половина экрана исследуется глазами при воображении будущего весьма мало.

Примечание: Поскольку с тех пор я провел последующие эксперименты, картинка будет ниже – потому что эти паттерны подтверждаются, даже при других условиях.

С ростом вероятности (субъективной оценки реализации будущего) глаза практически перестают смотреть в левый нижний угол.

Мы можем предположить, по этим и предыдущим фактам, что места фиксаций глаз на поле при представлении будущего имеют какое-то значение, как минимум на оценку вероятности.

Вопрос: будет ли представления будущего лучше – то есть конкретнее, насыщеннее и реалистичнее, если мы задействуем всё поле видения или нам лучше смотреть лишь в определенные места? Тут требуются долговременные эксперименты с большим количеством людей, с последующей проверкой реализации воображенного будущего.

Тем временем я провел еще два эксперимента, практически идентичных. В каждом приняло участие по 8 человек.

Так же, как и в предыдущем эксперименте, людям предлагалось вообразить свое будущее, но уже конкретнее. Люди были случайно разделены на 2 группы. Первая сначала представляла близкое будущее, с инструкцией до начала: «На следующем экране представьте свое желанное будущее через 1 месяц». Затем – будущее через 1 год. Люди смотрели, как и раньше, на серый экран, в течение 5 секунд.

Во втором эксперименте единственным отличием была линия, проходящая горизонтально посередине экрана, на котором надо было представлять будущее.

Вместо графика с цифрами, стрелками и пояснениями, и кучей незначительных деталей, которые интересны для исследования, но не обязательно вам, я представлю главную любопытную находку в более наглядном виде.

Самое приятное было обнаружить, что результаты этих двух экспериментов показали одно и то же, и подтвердили находки первого. Линия, кстати, не оказала влияния, во всяком случае, существенного, но это сейчас неважно.

В каких секторах представляли люди свое будущее, если сначала думали о близком, а затем – далеком:

Сначала близкое, затем далекое будущее

Размер глаз показывает относительное число фиксаций — чем больше размер, тем больше внимания. Глаза не показаны в секторах, где были лишь единичные фиксации.

А вот как – если сначала думали о далеком, а затем – близком будущем:

сначала - далекое будущее, затем - близкое

Правда, интересно?

Кажется очевидным, что представлять далеко и близкое будущее в одном месте, словно нет между ними никаких отличий – как минимум непродуктивно. Поэтому, если мы сначала подумаем о близком будущем, а затем о далеком, то мы получим действительно разные картины, и динамику в представлениях.

Это, кстати, вовсе не говорит о том, что мы всегда должны поступать именно в такой последовательности. Когда мы сначала думаем о далеком будущем, мы оперируем абстрактными понятиями, и пытаемся очертить большими мазками, что мы хотим вообще. Мы отвечаем на вопросы «зачем»? И это лучше делать ДО представления близкого будущего, которое должно отвечать на вопросы «как», делая все более конкретным.

Мы можем менять последовательности, и вообще делать, что хотим, если будем знать и понимать, что мы делаем, и достигать того, что нам нужно.

Изучение того, как лучше представлять будущее по движениям глаз – всего лишь небольшая, хотя и существенная часть. Движения глаз отражают процесс мышления, и даже управляют им (в некоторых случаях). Но большая часть системы представления будущего связана все-таки с языком, на котором надо его описывать.

Продолжение следует, и в следующий раз мы поговорим немного о другом будущем. Не нашем личном, а будущем среды, в которой мы живем, и о том, что мы можем делать по отношению к нему.

Какую пиццу заказывают марсиане

знаки зодиака

Недавно я показывал участникам ай-трекингового исследования слайдшоу, и там была картинка со знаками гороскопа, именно такая как в начале статьи.
Картинка показывалась на 5 секунд, с инструкцией простого рассматривания. Гипотеза простая: люди будут искать свой знак, и смотреть на него дольше, чем на другие знаки.

После просмотра, проводя дебрифинг с каждым участником, от каждого слышал слова вроде «ну, конечно, люди будут смотреть на свой знак. Это очевидно!» Чувствовал себя просто последним человеком на Земле, который этого еще не понял.

распределение участников по знакам зодиака В исследовании приняло участие 40 человек: 22 женщины и 18 мужчин, возрастом от 19 до 49 лет, средний возраст 29,5 лет. Все, кроме одного, знали свой знак гороскопа. Кстати, мужчина, отрицавший знание своего знака, делал это, видимо, из эпатажа, потому что первым делом посмотрел (и продолжал смотреть) именно на свой знак. Слева — как распределились участники по знакам.

Мы произвели тепловые и другие карты внимания каждого участника, и два приглашенных человека, не участвовавших в исследовании, независимо друг от друга, пытались по этим картам выявить знак Зодиака каждого участника.

Вы тоже можете попробовать сделать это. Например, кто эта женщина:

тепловая карта просмотра, ай-трекинг

Вы сказали «Козерог»? Так и есть.

Как насчет молодого мужчины:
тепловая карта просмотра знаков Зодиака Уже не так просто? Он — Дева.

Что насчет девушки:
кто эта девушка по гороскопу?

Она — Близнецы.

Кстати выяснилось, что некоторые, но не все, посмотрев на свой знак, переключались на знаки своих близких. Эта девушка, впрочем, не имела никого близкого или знакомого со знаком Девы.

Но попробуйте догадаться, кто по знаку эта девушка:
девушка смотрит на свой знак Зодиака, но не только на свой

Правильный ответ – Стрелец.

Ну, и последний пример молодого человека:
на какой знак смотрит мужчина?

Он – Близнецы, кто бы мог подумать!

Анализ саккад и фиксаций показал, что чаще всего люди смотрят на свой знак на третьей фиксации, но отнюдь не всегда. Время с начала просмотра до начала фиксации на свой знак также существенно разнится. Так что тепловая карта внимания — вполне хорошая репрезентация просмотра, в данном случае.

В общем, независимые судьи смогли определить знак гороскопа ровно в 50% случаях. Кажется, словно это уровень случайного выбора. Но вспомним, что вероятность случайного угадывания – 1 из 12. Таким образом, фиксации взгляда человека на таблицу знаков Зодиака позволяют определить его знак с вероятностью в 6 раз выше случайности.

Очевидно, что само расположение элементов, знаков Зодиака, влияет на то, как мы на них смотрим. Например, вот тепловая карта фиксаций всех участников:

тепловая карта просмотра знаков Зодиака
Если мы сравним активность с распределением людей по знакам, то в некоторых случаях мы не найдем корреляции. «Бедные» Весы оказываются в самом «плохом» месте на картинке.

Не найдем мы корреляции и с суммарным количеством фиксаций в трех секторах картинки. Красные числа — количество участников, имеющих один из знаков в секторе.

суммарное количество фиксаций

Мы могли бы достичь 100% предсказания знака Зодиака у почти любого смотрящего, если бы смогли расположить все знаки так, чтобы они были все равны в благоприятности своего места. Но возможно ли такое? Хотел бы я посмотреть на такую композицию. Решить задачу, впрочем, можно проще: написать сверху «Посмотрите на свой знак!», или «Посмотрите, что не так с вашим знаком».

Есть концепция «идеальной картинки» — это такая картинка (рекламу, сообщение), которую все люди рассматривают в одинаковой последовательности, смотрят на все её элементы, извлекают из нее один и тот же смысл, и производят требуемое поведение. К этой концепции я вернусь в продолжении.

А это маленькое исследование – пример работы иной концепции, когда одну и ту же картинку все люди должны рассматривать по разному. Показывая человеку ряд картинок, анализируя, как он на них смотрит, и, не задавая никаких вопросов, мы поймем или узнаем что-то весьма определенное о нем.

Так, например, Pizza Hut совместно со шведской компанией Tobii, производителем ай-трекингового оборудования и программного обеспечения для него, придумали маркетинговый шаг (Hyslop, 2014; Mack, 2014): посетителям, если они не уверены, какую именно пиццу им хочется, дают планшет со встроенным ай-трекером. Посетитель должен посмотреть на логотип Pizza Hut, пройдя таким образом калибровку (машина «поняла», куда смотрят его глаза). Далее ему представляются топпинги для пиццы:
Через 2,5 секунды просмотра программа уже знает, на какие топпинги клиент смотрел дольше всего. Далее некий алгоритм определяет, что именно предложить, и показывает вариант клиенту. Если тому выбор не по душе, он может попробовать снова. Pizza Hut утверждает, что клиентам нравится выбор программы в 98% случаях.
Рекламное видео, как это происходит:

Как мы видели на примере гороскопа, расположение топпингов должно играть роль в выборе, и топпинги ближе к центру будут выбираться чаще. Pizza Hut окрестила такой выбор неосознаваемым, и в этом нет противоречия: для человека будет значительно труднее выбрать то, что находится на периферии. Для этого придется прилагать сознательные усилия. Что мешает компании помещать в лучшие места высокомаржинальные топпинги, если таковые есть? Ничего, и даже в таком случае это будет неосознаваемый выбор, который люди одобрят. Ведь они сами его сделают.

Но как сделать выбор действительно «справедливым» по отношению к каждому элементу? Допустим, мы решим проблему расположения серией картинок, случайным образом представляемых пользователю, так, что каждый элемент побывает на разных местах равное количество раз. Возникнет следующая проблема, например, контраста и цвета.

Люди неизбежно будут чаще и дольше смотреть на некоторые топпинги, чем другие, из-за цвета. Если смотреть на это с точки зрения организаций, защищающих права растений, тут очевидная дискриминация некоторых овощей и фруктов по цвету кожицы. Брокколи может вполне засудить супермаркет за клубнику, дайкон – за редиску, а Гремми Смит из-за Золотого превосходного.

Мы можем сделать топпинги черно-белыми и привести характеристики освещенности каждого элемента к одинаковым значениям. Мы придем, в идеале, к набору странных элементов, максимально похожих друга на друга, но утративших свою индивидуальность (для сбалансированности выбора), что они потребуют подписей. Вот эта серая кучка – грибы, а эта серая кучка – сыры.

Но с таким же успехом мы можем и начать со слов – вместо картинок поставить названия топпингов: все одним шрифтом, одним цветом. Конечно, длина слов, число и виды гласных и согласных и их расположение в слове – те еще факторы для неравноправия (Красавица, как тебя зовут?), но давайте пока туда не лезть.
Без шуток, я уверен, основываясь на своем опыте, что названия топпингов, на экране выбора сработали бы лучше в плане «справедливости» выбора.

Так что эту идею с выбором топпингов помощью ай-трекера можно парой легких пинков погнать назад, в лаборатории на эксперименты, за лучшими решениями. С одной стороны, выбор топпинга для пиццы – не такая уж важная задача, и все это вроде как несерьезно, но тогда зачем ее делать вообще? С другой стороны, если мы хотим узнать, как мы выбираем серьезные вещи, то..

Посмотрите на планеты:

планеты Солнечной системы Если мы проследим за вашими глазами, что это нам скажет? Готовы ли вы к такому тесту для выявления инопланетян и депортации их домой?

Hyslop, L. (2014). Pizza Hut’s crazy new menu lets you order with your mind. The Telegraph. 28 Nov 2014. Ссылка.

Mack, E. (2014). Pizza Hut reads your mind, knows your order before you do. Cnet.com December 5, 2014. Ссылка.

Предпоследнее фото из статьи Hyslop, 2014.