Tag Archives: искусство

Займите свои места

grotto

Майкл Хансмайер вместе с коллегой, Бенджамином Дилленбургером, создали скульптуру Цифровой Гротеск 2, которая сейчас выставлена в Центре Помпиду в Париже.
Распечатанные на 3D принтере части скульптуры образуют 1,35 миллиарда поверхностей. На печать ушло 7 тонн материала.

Невероятное богатство деталей, неожиданные элементы и их соединения — результат работы компьютерных алгоритмов, которые применял скульптор.

grotto

Майкл Хансмайер говорит на своей странице, что “сегодня, кажется, мы можем распечатать все что угодно, как на макро, так и на микроуровнях, комбинируя различные материалы и процессы”.

Но мы может произвести только то, что спроектировали, а это, в свою очередь, ограничено нашим восприятием. В этой скульптуре алгоритм предлагал необычные и удивительные дизайнерские решения. Скульптор говорит, что такие алгоритмы могут стать помощником или музой художника.

grotto

grotto

grotto

grotto

grotto

grotto

Но, на мой взгляд, в этом уже виден неизбежный следующий шаг: когда сами нейронные сети будут без участия человека генерить скульптуры. Сети будут обучаться на определенном материале и на каких-то принципах. Например, нейронная сеть, обученная на сотне тысяч скульптур, станет производить свои собственные скульптуры, а нам только останется лишь нажать на кнопку и распечатать эту скульптуру, с инструкцией по сборке. Но этими принципами и материалом могут стать и любые образцы красоты, и феномены зрительного восприятия, включая иллюзии, теоремы геометрии, работы Эшера, скелеты морских позвоночных, и все что угодно еще.

Мы увидим такое, что никогда не приходило и, возможно, не могло прийти нам в голову. Так же, как не могли прийти в голову лучших игроков ходы в игре Го, которые делала программа Альфа Го, несмотря на тысячелетнюю историю игры и миллионы сыгранных игр.

Это будет прекрасно, неповторимо и грандиозно. Эта грандиозность будет указывать нам наше место —  в зрительном зале, с ведерком попкорна. А где ещё, если мы со своими творениями  будем выглядеть как криворукие подмастерья?

Фотографии отсюда.


Алгоритмы-искусствоведы

Frederic BazilleВ мае 2015 вышла статья исследователей из Университета Рутгерз (Saleh & Elgammal, 2015). Они составили коллекцию цифровых изображений 81,449 картин 1,119 художников, начиная с 15 века до наших дней. Компьютерная программа, которую они создали, смогла научиться классифицировать работы по стилю, жанру и художнику. Точность, которую она достигла за короткий срок: 63% точности идентификации по художнику, 60% — по жанру, и 45% — по стилю. Что интересно, эти алгоритмы позволили обнаружить некоторые факты – так, выяснилось. что на творчество некоторых художников было оказано влияние других творцов. Это, понятно, обычное дело, но именно об этих конкретных случаях искусствоведам известно не было.

Norman RockwellНапример, алгоритм обнаружил, что картина француза Фредерика Базиля (Frederic Bazille) «Мастерская на улице Ла Кондамин, 9, в Париже», написанная в 1870 году (в начале статьи), и картина американского художника Нормана Рокуэлла (Norman Rockwell) «Парикмахерская Шаффлтона», написанная в 1950 (выше этого параграфа) весьма похожи. Авторы исследования стали искать сведения о таком факте в истории искусства, но ничего не нашли (статья про эту находку).сравнение двух картинЖелтым выделены очень похожие объекты, красным – схожая композиция, а синим – схожие структурные элементы. Без всяких натяжек можно сказать, что компьютерный алгоритм сделал, пусть и небольшое, но открытие.

Сами исследователи не считают, что такие алгоритмы заменят искусствоведов, но, на мой взгляд, это скромность. Не знаю как вы, а у меня нет сомнений, что вскоре на этом направлении будет еще много достижений. Компьютерные программы учат «понимать» живопись, точность идентификации начнет приближаться к максимуму, мы узнаем еще много интересных фактов из области искусства. Алгоритмы научатся не только «понимать», но и создавать шедевральные картины, скульптуры и музыку.

А что делать нам?

Saleh, B., & Elgammal, A. (2015). Large-scale Classification of fine-art paintings: Learning the right metric on the right feature. Arxiv.org. Полный текст: http://arxiv.org/pdf/1505.00855v1.pdf


Анатомия страсти в картинках

картина Виноградова и Дубосарского Art Love, 2007Перед вами картина Виноградова и Дубосарского Art Love, 2007 (холст, масло, 195 х 295 см, Частная коллекция) взята с официального сайта. Она использовалась среди других в качестве вспомогательных слайдов при проведении ай-трекинговых исследований, и ее выбор ничем особенным не был обусловлен. Но коль скоро она оказалась в жерновах науки, почему бы не узнать что-то новое.

Эта картина – из тех, что рассказывают историю, какую-никакую, но историю: что-то осмысленное происходит, и мы должны определенным образом это воспринимать и понимать. Первый же вопрос – что происходит? И конкретнее – кто, как вам кажется, инициировал этот акт на полу, вероятно, художественной мастерской?

Я получил ответы от 25 человек, мужчин и женщин, и они ответили определенно, и, по их мнению, с огромным перевесом, это всё случилось по инициативе … Впрочем, вы об этом узнаете чуть позже, а пока – что приходит в голову вам? Что говорит вам ваша интуиция? При этом можно не объяснять логически свое суждение.

Это стоит сделать, хотя бы ради для любопытства, потому что картина была проанализирована с помощью ай-трекера несколькими десятками людей как в оригинальном виде, так и в перевернутом по горизонтали. Сам я еще не анализировал данные, а данные опроса я сознательно игнорирую, а мнение придерживаю. Можем ли мы узнать, по тому, как мы смотрим на картину, что на ней происходит и каким образом ее различные элементы и их расположение создают у нас определеннее суждения.

Конечно же, это исследование имеет практическую пользу и народнохозяйственное значение. Поняв происходящее, вы сможете так же легко предаваться порывам страсти с кем хотите, влюбляться и влюблять в себя других людей, станете счастливыми, богатыми и здоровыми, и все у вас будет хорошо ;)


Разгадка NN и люди Х

модифицированная фотографияПродолжение триллера, начало здесь.

При показе одной хорошей и необычной фотографии, с целью узнать, на что будут смотреть люди, выяснилась любопытная вещь – значительная часть внимания была сосредоточена на одной девушке. Были высказаны предположения, чем это можно объяснить. Одна из гипотез касалась яркого банта на ее груди, и это можно было протестировать. Когда представилась возможность, я проверил этот вариант, убрав у девушки зеленый бант (фото в начале статьи, кликабельно).

Вот увеличение — слева оригинал, справа — модификация:
сравнение двух версийВ тестировании приняло участие 15 человек (5 мужчин и 10 женщин), возрастом от 23 до 49 лет, (средний возраст 33 года). Меньше на пять человек, чем в предыдущем, но это не так важно. Все остальные условия просмотра, в том числе, разрешение изображений и размер экрана монитора, были одинаковы.

Тепловые карты выставлялись с различными фильтрами, и как видите, иногда это расставляет акценты несколько иначе. Смотрите, что получилось:
тепловая карта просмотра, фильтр одинтепловая карта просмотра, фильтр дватепловая карта просмотра, фильтр триДля сравнения, тепловая карта оригинала (справа) и модифицированной фотографии:
сравнение двух тепловых картТеперь наша девушка уже вовсе не так привлекательна для глаз. Внимание уходит чуть ниже, на другую женщину с бантом. Новая женщина, с кисловатым выражением лица и с фиолетовым бантом, привлекает внимание, хотя и не так много, как первая – возможно, из-за темного по цвету банта и расположения подальше от центра. Это вновь подтверждает тезис о том, что если женщина хочет быть привлекательной для глаз, в буквальном смысле, стоит озаботиться яркими/контрастными аксессуарами, и располагаться максимально близко к центру.

На этом можно было бы и закончить эту историю, которая так просто разрешилась. Однако если вы заметили, один из очагов внимания ушел к мужчинам, и рядом с центром очага сидит вот этот человек:человек в очкахКак видите, ему удается оставаться почти незамеченным, даже если смотреть на него в упор – центр одного из очагов внимания рядом с ним, но не на нем! Никто из респондентов его не замечал и не отмечал ничего необычного. Конечно, кто-то скажет, что это просто отражение света или неба в очках, но мы же не настолько наивны, чтобы поверить в эту версию! Перед нами, очевидно, на выбор: либо сверхчеловек, который по неосторожности не затушил свои суперглаза-лазеры, либо северокорейский аналог гугл-очков. Другие мужчины, если посмотреть, были более предусмотрительны. Мы видим, как мужчина отшатнулся, в последний момент осознав, что его сфотографировали, но сохранил самообладание, чтобы не смутиться.

Ким Чен Ын, хорошая попытка, но мы тебя раскусили – девушка с бантом специально была посажена так, чтобы отвлечь наше внимание. Но что может противостоять научному мышлению, ай-трекеру и трем бокалам гоанского рома?


Смотрим на фотографии. Часть 1

работа известного фотографа Вермера Бокельберга Продолжаю разгребать фотографии и картины, использованных в ай-трекинговых исследованиях за последнее время. В начале статьи – работа известного фотографа Вермера Бокельберга (Wermer Bokelberg), снятая в 1968 году.
А ниже – результат ай-трекингового исследования, тепловые карты по результатам просмотра 15 людьми (10 мужчин, 5 женщин). Фото показывалось в течение 5 секунд, свободный просмотр. Карты отличаются немного из-за примененных фильтров.

работа фотографа Вермера Бокельберга, тепловая картаМожет ли такая карта движений глаз показать нечто, что объяснит, почему эта фотография так хороша (если она хороша)?
Допустим, женская попа – физиологически привлекательный для взгляда объект, который, как магнит, притягивает взор, и она, к тому же, оказывается в центре композиции. Казалось бы, очевидно, что люди будут смотреть именно туда, куда они смотрели, но это известная ошибка мышления, когда мы прекрасно объясняем ситуацию после того, как все случилось.

Центральный объект вообще всегда притягивает внимание. Мы это видели на примере в статьях Какая попа лучше и Взгляд в центр.
Обратим внимание на карту саккад, быстрых движений глаз, отфильтрованную, чтобы показать суть. Это, что называется, весьма хороший паттерн просмотра – все внимание привлечено на главный объект, ничего лишнего. Может быть, это ответ – простота просмотра и понимания?

саккады просмотра фотографии
Но обратимся к более простому примеру, из другого исследования, 15 человек (все женщины), также 5 секунд свободного просмотра:

лист конопли, тепловая картаВообще красота, прекрасное творение природы, симметрия, простота и сложность одновременно, наполненность символизмом, даже у людей, никогда не имевших интимной близости с растением.
Карта саккад тоже показывает гармонию:

саккады на листе коноплиА тут вообще инфернальная красота — применение разных фильтров:

красота природыкрасота простого листочкаИтак, что мы из этого можем извлечь: вероятно, одиночные объекты в центре композиции будут восприниматься предсказуемо. Это стоит проверить еще с несколькими объектами, в дальнейших исследованиях. Ни паттерн просмотра, ни тепловая карта, впрочем, не скажут о эстетических свойствах объекта и работы, на которой объект запечатлен. Надо менять дизайн исследования и уходить глубже в статистику, то есть подсчитывать различия в фиксациях, длине саккад и тому подобному.

Все материалы по теме изучения искусства с помощью ай-трекинга в этом блоге здесь.


Загадка NN

фотография Ильи Питалева: Торжественное собрание участников Народной армии КНДР на стадионе имени Ким Ир Сена в честь 100-летия со дня рождения Ким Ир Сена, в Пхеньяне, в апреле 2012 годаВыше – фотография Ильи Питалева: Торжественное собрание участников Народной армии КНДР на стадионе имени Ким Ир Сена в честь 100-летия со дня рождения Ким Ир Сена, в Пхеньяне, в апреле 2012 года. Фотография вошла в шортлист 2013 Sony World Photography Awards. Действительно запоминающаяся, драматичная работа. По клику открывается в полный размер.

Фотография была показана на прошлой неделе 20 участниками исследования, (17 женщин, 3 мужчин), средний возраст 30 лет, на 24 дюймовом мониторе, в хорошем разрешении, в свободном просмотре в течение 5 секунд. Показ был осуществлен в рамках продолжающегося исследования картин и фотографий Как мы смотрим на картины. Эта фотография привлекла внимание своей необычностью — например, отсутствием центрального персонажа, и двумя разными по цветам массивами людей.

Есть идеи, что привлечет ваше (и 20 людей) внимание больше всего, прежде чем вы продолжите читать дальше? Хороший шанс проверить свою интуицию, между прочим :)

Лица людей – реальное пиршество для глаз социального животного, человека. Тут их много, и есть куда посмотреть. Логично было бы предположить массивное сравнивание двух когорт людей – военных и гражданских. Логично было бы увидеть и однородное мимолетное разглядывание большинства лиц.

Посмотрим на тепловую карту. Тепловая карта внимания представляет из себя пространственное распределение фиксаций взглядов. Алгоритм рассчитывает гауссово распределение всех фиксаций в соответствии с их длительностью, значением и нормализует амплитуду. Затем эти расчеты применяют ландшафт распределения к визуальному образцу, используя градиенты цвета. Строго говоря, такая карта показывает куда смотрели респонденты, но не объясняет, почему они туда смотрели. Карты представляют визуальное, простое, и интуитивное представление большого объема данных и важны для первоначального осмотра результатов, и определить основные регионы интереса.
Ниже несколько видов тепловых карт:
тепловая карта вниманиятепловая карта внимания, черно-белаятепловая карта с контрастомПочему молодая женщина с зеленым бантом в традиционной праздничной одежде (чосон-от, если не ошибаюсь) привлекла так много внимания?

Фиксации(желтые точки) и саккады, быстрые движения глаз от одного объекта к другому (желтые линии):
фиксации и саккады рассматривания фотографииЧисло фиксаций взглядов:
число фиксаций взглядов

Как видите, в среднем каждый участник смотрел на девушку два раза.

Да кто ж она такая и почему все её увидели и разглядывали?!
загадочная женщинаМожет быть её лицо выглядит как-то необычно или это уже придумывание причин, и мне это кажется?

Кстати, как быстро вы найдете вы женщину в тёмно-синей одежде? Это еще раз напоминает о том, что если вы женщина и хотите быть привлекательной (для глаза), одевайтесь ярче. Кроме того, быть на периферии снимка в буквальном смысле мешает быть в центре внимания!

Есть тенденция замечать известного или любимого человека в толпе очень быстро, особенно в ситуациях, когда мы ожидаем или хотим это увидеть. Но здесь явно не такая ситуация. Есть тенденция замечать необычное и была бы девушка голой или в костюме клоуна, вопросов  бы не было.

Мое мнение такое: сочетание яркого зеленого банта с розовым цветом платья, в окружении менее яркого фона, молодость, и близость к центру картинки сделали девушку самой привлекательной частью работы. Другая возможность: бант на груди девушки похож на голову кролика (!), а мы склонны замечать животных очень быстро (Когда последний раз вы видели пантеру?). Наконец, еще вариант – это просто артефакт.

Есть у кого-нибудь идеи объяснения или гипотезы, которые можно было бы проверить? Например, фотошопом поменять эту женщину на другую и посмотреть, как изменится просмотр, или что-то подобное? Изучение визуального искусства – дело трудоемкое, но увлекательное.

P.S. Я надеюсь, в Северной Корее мой блог не читают, но на всякий случай хотелось, чтобы женщину после этой статьи не только не расстреляли, а сделали бы ответственным работником индустрии моды этой суровой страны :)


Искусство глазами мышей

Мондриан. Композиция II в красном, синем и желтом, 1930 гЯпонский психолог Шигеру Ватанабе уже давно интересуется вопросом, как животные смотрят на картины и могут ли они отличать одну от другой.

Ранее, исследования показали, что обезьяны-капуцины, сурикаты и вороны предпочитают повторяющиеся симметрические паттерны. Яванские воробьи предпочитают кубизм импрессионизму. Голубей научили отличать картины Моне от картин Пикассо, Ван Гога от Шагала, и японскую живопись от импрессионизма. У птиц, как и у людей, зрительная система развита довольно хорошо. В недавнем исследовании Ватанабе взялся за мышей (Watanabe, 2013): считается, что у грызунов зрение используется в меньшей мере, чем у людей и птиц. Что покажут они?

Подобрав по 15 картин каждого художника:в одном эксперименте — Ренуара и Пикассо, в другом — Кандинского и Мондриана, психолог выработал условный рефлекс у разных мышей на каждую картину, использованную в эксперименте, с помощью морфия. То есть, мышь научили смотреть на Кандинского и получать за это морфий. Затем, уже в ходе эксперимента, ей показывали две картины — Кандинского и Мондриана, и ей предстояло отличить одного от другого. Еще сложнее: отличить одну картину Пикассо от другой.

Что выяснилось: мыши все же могут различать одного художника от другого, и его картины между собой (не особенно хорошо, но всё же). Вопрос — что позволяет им это делать? Мышь может отличать один визуальный стимул от другого, если между ними есть достаточная психофизическая разница. Мышь видит бессмысленные для нее визуальные паттерны, и если с картинами Ренуара ей полегче, то совсем трудно с картинами Пикассо, и уже совершенно невозможно у Мондриана и Кандинского.

Мне кажется, Ватанабе был слишком суров с мышками — он мог дать им что-то более вменяемое. В начале статьи картина Пита Мондриана Композиция II в красном, синем и желтом, 1930 г. Я использовал ее в прошлом году в пилотном эксперименте, и ниже вы видите тепловую карту фиксаций глаз 30 человек — слева оригинал, а справа — измененную, где красный с синим поменялись цветами.

сравнение оригинала с измененной картинойЕсть отличия в том, как люди смотрят на одну и другую, безусловно, но почему они образуются, надо разбираться. Люди, что уж говорить о мышах, не могли вспомнить отличия одной картины от другой, а некоторые уверяли меня, что эта картина была показана два раза. Впрочем, я не давал им наркотиков.

Watanabe, S. (2013). Preference for and discrimination of paintings by mice. PLoS ONE, 8(6), e65335. doi: 10.1371/journal.pone.0065335.