Tag Archives: распознавание объектов

Звуки клубники

Как звучит клубника? Очевидно никак, только если у вас нет уникального и шумного опыта взаимодействия с ней.
Когда мы смотрим на объект и распознаем его, участвует ли в этом процессе слуховая система? Должна, что же ей «отсиживаться» в сторонке, и об этом никто не спорт. В экспериментах было показано, что когда человеку показываются картинки с объектами, сопровождающимися конгруэнтными звуками (например, изображение мотоцикла вместе со звуком мотора), то скорость распознавания растет, в сравнении с сопровождением инконгруэнтными звуками (мотоцикл со звуком дверного звонка). Спорят ученые о том, когда именно слуховая система вступает в процесс, и одни считают, что на ранней стадии, а другие – на поздней. Спор может показаться несущественным, но речь идет о понимании как работает наш мозг.

В недавнем эксперименте итальянские ученые (Mulatti, Treccani, & Job, 2014) пытались ответить на этот вопрос. Людям показывались объекты двух типов: издающие звуки (самолет, петух, гармошка, и проч.) и «тихие объекты (клубника, носок, свитер, пуговица и проч.) и участники должны были как можно быстрее распознать и назвать объект. В случайном порядке показ объектов сопровождался или не сопровождался белым шумом длительностью в 400 мс.

разница в скорости распознавания объектов Как видно из таблицы результатов, слуховая система действительно играла роль на ранних стадиях – объекты, издающие характерные звуки, распознавались позже, когда подавался белый шум. Такой шум вмешивался процесс активации, вероятно, потому что область обработки звуков и область хранения звуков пересекаются.

Если вы ищите, куда в доме запропастилась любимая кружка, то неважно, звучат ли при этом какие-то звуки, но если вы на улице – то музыка в ваших наушниках на доли секунды замедлит распознавание машины.

Mulatti, C., Treccani, B., & Job, R. (2014). The role of the sound of objects in object identification: evidence from picture naming. Frontiers in Psychology, 5. doi: 10.3389/fpsyg.2014.01139

Предсказания по движениям глаз

Когда мы видим ведущую какого-нибудь кулинарного шоу, мы видим, как она, готовя какое-то блюдо и комментируя это, вполне справляется. А ведь для этого действия, ей приходиться задействовать множество систем – визуальную, моторную, памяти, и другие. Но каким образом мозг координирует такую сложную работу? Уже известно, что моторная активность возникает примерно через 600 миллисекунд после зрительной фиксации на объекте. А через 900 миллисекунд мы уже можем сказать о нем что-то.

В серии экспериментов, ученые (Coco & Keller, 2012), взяв только два процесса – визуальное внимание и построение предложений, выдвинули гипотезу о том, что по паттернам движений глаз, возможно предсказать само предложение. Ведь и паттерн движений глаз, и порядок слов в предложении – это все последовательные данные, в которых можно найти сходство, а на основании этого сходства сделать предсказания.

Наш мозг постоянно делает предсказания. Например, когда мы рассматриваем комнату, в надежде найти чашку с чаем, то мы смотрим на столы и другие поверхности, где она могла бы быть. Если мы ищем картину – то будем смотреть на стены.

Участникам эксперимента показывали картинки, наподобие той, которую вы видите ниже. На экране монитора, до картинки, они могли увидеть на короткое время ключевое слово, означающее какой-то объект, присутствующий в сцене картинки. Затем они должны были составить предложение, которое бы содержало это ключевое слово. Все это время движения глаз фиксировал ай-трекер (eye-tracker).

Полигонами обведены все объекты в сцене для анализа данных.

И вот что получилось:

Схожесть в паттерне движений глаз и предложений действительна была обнаружена. То есть, в определнных условиях, по движениям глаз можно предсказать проедложение, которое скажет человек.
Алгоритм, который разработали ученые, также мог предсказывать предложения. Не так чтобы очень хорошо пока, но все же.

Это и подобные исследования имеют прекрасное практическое применение, например:

Улучшение машинного распознавания речи – ведь теперь машина может не только слушать вас, но и анализировать, на что вы смотрите.
Ускорение обучения языкам – компьютер может видеть, на что вы смотрите, и произносить вам это слово.

А один из сиюминутных выводов из этого исследования, которое пришло мне в голову – когда вы ищите что-то, говорите об этом: описывайте объект, предполагайте, где он может находиться и добавляйте как можно больше деталей, и ваш поиск будет использовать дополнительные возможности мозга. Как результат, вы найдете ту вещь гораздо быстрее, чем если бы делали это молча.

Coco, M. I., & Keller, F. (2012). Scan patterns predict sentence production in the cross-modal processing of visual scenes. Cognitive Science, Article first published online: 9 Apr 2012. DOI: 10.1111/j.1551-6709.2012.01246.x.

Туфли и мотоциклы

Образцы туфлей и мотоциклов, показываемых в исследовании

20 студентов, 10 мужчин и 10 женщин, студентов Университета Мюнстера (University of Münster) приняли участие в эксперименте с использованием MEG (магнитоэнцефалограф). Им показывали на мониторе по одному объекту, один за другим, как в левом поле зрения, так и в правом, длительностью в 1 секунду. Между картинками в центре монитора появлялся крестик на 2 секунды. В качестве объектов выступали 80 мотоциклов и 80 туфлей (по 40 мужских женских). На картинке вверху — образцы объектов, показываемых в исследовании. Находясь в камере магнитоэнцефалографа, участники должны были просто смотреть на картинки, и других инструкций дано не было (Junghöfer et al., 2010).

Активация затылочно-височного региона на туфли и моттоциклы в зависимсоти от пола Слева — результаты активности затылочно-височного региона в зависимости от объекта и пола. Ну, очевидно, что больший интерес у женщин вызывают туфли, а у мужчин – мотоциклы. Эти половые предрасположенности к разным типам игрушек проявляются у людей еще в 3-8 месячном возрасте, а по некоторым данным – даже у новорожденных. Мальчики предпочитают транспортные игрушки, девочки – одежды и кукол.

Магнитное поле в различных регионах мозга в промежутке между 150 и 190 миллисекунд после показа картинки. Затылочно-височный регион

На картинке: показатели нейронной активности в различных регионах мозга в промежутке между 150 и 190 миллисекунд после показа картинки. Самая большая активация — в затылочно-височный регион (более «горячий» красный цвет).

Но столь ранняя манифестация эффекта, в первые 200 миллисекунд, отражает имплицитные, подсознательные процессы, которые не связаны с сознанием. Распознавание объектов сознательным образом возникает позднее, после 200 миллисекунд. Одно исследование, с маскированным праймингом, показало, что это начиналось после 270 миллисекунд (Del Cul, Baillet, & Dehaene, 2007). Разница между мужчинами и женщинами по отношению к мотоциклам и туфлям отражается и в статистических данных по продажам, которые отметили исследователи – мужчины в несколько раз чаще, чем женщины покупают мотоциклы, а женщины – туфли.

А вот самоотчет участников эксперимента после магнитоэнцефалографа обнаружил следующее: сильное предпочтение мотоциклов мужчинами, но никакого отличия между полами в отношении туфлей. Кстати, обнаружилось, что мужчины питают больше симпатий к женщинам, у которых есть вкус к хорошей обуви. Это они так говорят.

То есть, женщины как осознанно, так и неосознанно, плевать хотели на мотоциклы. А мужчины осознанно ничем не уступают женщинам в отношении к обуви, но подсознательно им это не интересно.

Junghöfer, M., Kissler, J., Schupp, H. T., Putsche, C., Elling, L., & Dobel, C. (2010). A fast neural signature of motivated attention to consumer goods separates the sexes. Frontiers in Human Neuroscience, 4, 179.

Del Cul, A., Baillet, S., and Dehaene, S. (2007). Brain dynamics underlying the nonlinear threshold for access to consciousness. PLoS Biology. 5: e260. doi:10.1371/journal.pbio.0050260.