Когда мы видим ведущую какого-нибудь кулинарного шоу, мы видим, как она, готовя какое-то блюдо и комментируя это, вполне справляется. А ведь для этого действия, ей приходиться задействовать множество систем – визуальную, моторную, памяти, и другие. Но каким образом мозг координирует такую сложную работу? Уже известно, что моторная активность возникает примерно через 600 миллисекунд после зрительной фиксации на объекте. А через 900 миллисекунд мы уже можем сказать о нем что-то.

В серии экспериментов, ученые (Coco & Keller, 2012), взяв только два процесса – визуальное внимание и построение предложений, выдвинули гипотезу о том, что по паттернам движений глаз, возможно предсказать само предложение. Ведь и паттерн движений глаз, и порядок слов в предложении – это все последовательные данные, в которых можно найти сходство, а на основании этого сходства сделать предсказания.

Наш мозг постоянно делает предсказания. Например, когда мы рассматриваем комнату, в надежде найти чашку с чаем, то мы смотрим на столы и другие поверхности, где она могла бы быть. Если мы ищем картину – то будем смотреть на стены.

Участникам эксперимента показывали картинки, наподобие той, которую вы видите ниже. На экране монитора, до картинки, они могли увидеть на короткое время ключевое слово, означающее какой-то объект, присутствующий в сцене картинки. Затем они должны были составить предложение, которое бы содержало это ключевое слово. Все это время движения глаз фиксировал ай-трекер (eye-tracker).

Полигонами обведены все объекты в сцене для анализа данных.

И вот что получилось:

• Схожесть в паттерне движений глаз и предложений действительна была обнаружена. То есть, в определнных условиях, по движениям глаз можно предсказать проедложение, которое скажет человек.
• Алгоритм, который разработали ученые, также мог предсказывать предложения. Не так чтобы очень хорошо пока, но все же.

Это и подобные исследования имеют прекрасное практическое применение, например:

• Улучшение машинного распознавания речи – ведь теперь машина может не только слушать вас, но и анализировать, на что вы смотрите.
• Ускорение обучения языкам – компьютер может видеть, на что вы смотрите, и произносить вам это слово.

А один из сиюминутных выводов из этого исследования, которое пришло мне в голову – когда вы ищите что-то, говорите об этом: описывайте объект, предполагайте, где он может находиться и добавляйте как можно больше деталей, и ваш поиск будет использовать дополнительные возможности мозга. Как результат, вы найдете ту вещь гораздо быстрее, чем если бы делали это молча.

Coco, M. I., & Keller, F. (2012). Scan patterns predict sentence production in the cross-modal processing of visual scenes. Cognitive Science, Article first published online: 9 Apr 2012. DOI: 10.1111/j.1551-6709.2012.01246.x.