Tag Archives: алгоритмы

Хитрые алгоритмы, красивые дамы и справедливые кавалеры

дамы и короли

Охотники за головами

Британское подразделение компании Юнилевер, мирового гиганта по производству потребительских товаров, впервые использовало искусственный интеллект для оценки кандидатов при приеме на работу.

Кандидат записывал видео, отвечая на стандартные вопросы, а машинный алгоритм анализировал речь, тон, которым произносились слова, и выражения лица. В результате создавались сотни характеристик, которые затем сравнивались с данными от кандидатов, которых в прошлом приняли на работу, и они показали себя хорошими специалистами.

Американская компания Hirevue, разработчик этого приложения, считает, что такой подход гораздо лучше обычного изучения резюме. Так, только по речи алгоритм смотрит на 350 характеристик языка, например, использование пассивного или активного залога, использования местоимений, словарный запас и длина предложений, специфические для профессии термины. Ни один человек не в состоянии так делать.

Такой алгоритм может использоваться не только для сортировки кандидатов, но и для «охоты за головами». Тогда, если ваше видео попадет в какие-то базы, вас найдут, где бы вы ни находились, и сделают предложение о работе, от которого нельзя отказаться. И это будет идеально как для вас, так и для работодателя.

Хотели бы вы, чтобы вас оценивал такой алгоритм, или человек, с неизвестными вам, но обязательными предрассудками и предубеждениями (они есть у всех), с добавлением других непредсказуемых и невозможных для учета факторов? Так, человек во время чтения резюме может быть голодным или сытым, уставшим или отдохнувшим, в стрессе после дороги на работу или в первый день после отпуска, при этом за окном светит солнце или все затянуто черными облаками. Алгоритм в сравнении с человеком выглядит как богиня правосудия Фемида – беспристрастным и объективным.

Но вы знаете людей, которые могут смущаться при виде камеры, при этом являясь прекрасными специалистами. И мы знаем, что некоторые очень талантливые люди отличаются от «нормы». Кроме того, предыдущие успешные кандидаты – не всегда образец для подражания, в наше время, когда каждый день бросает новые неожиданные вызовы.

Но есть проблема важнее, с которой уже сталкивались разработчики в других областях применения алгоритма: на чем или на ком тренируют такие алгоритмы. Если в качестве образцов брали выпускников колледжей, белых, из семей среднего класса восточного побережья США, то алгоритм вычислит еще что-то, что объединяет таких людей, и что лежит не на поверхности. Иными словами, мы даже не узнаем, что он выяснит из таких образцов. Но совершенно точно – те, кто не соответствует этому профилю, а это 99,99% всех людей, будут считаться неким отклонением от образца. Тем не менее, алгоритмы такого рода будут использоваться все шире, и мы просто должны иметь в виду, что  у них есть и позитивные стороны, так и не очень.

Робот-читатель

Робот прочитал 3,5 миллиона книг, опубликованных на английском языке за период с 1900 по 2008 год, как художественной, так и научно-популярной литературы. В этих книгах содержится 11 миллиардов (!) слов, и робот, то есть машинный алгоритм, должен был подсчитывать прилагательные, которые характеризовали мужчин или женщин. Например, найдя слова «сын», «стюардесса» или «актриса», алгоритм смотрел, какие прилагательные их описывали. В результате был собран список из наиболее часто употребляемых прилагательных, как позитивных, так и негативных, которыми авторы за сотню лет характеризовали мужчин и женщин.

Главная находка этого исследования, проведенного международной группы ученых:

Прилагательные, описывающие женщин, в основном, относятся к внешности, а прилагательные для мужчин – к поведению или характеристикам личности.

Наиболее частые прилагательные:

прилагательные

Нашли прилагательные, которые описывают вас? :)

Лидер команды ученых, Изабелль Огенштайн, с факультета компьютерных наук Университета Копенгагена, отмечает, что исследование поднимает ряд важных вопросов. Алгоритм, который был использован в этом поиске, используется для систем распознавания речи, и будет применяться другими машинами для общения с людьми. И если в нашем языке есть предпочтения или искажения, то они, безусловно, передадутся и машинам.

Например, описание женщины, не содержащее ни одного прилагательного, связанного с внешним видом, а только характеристики ее поведения или характера, алгоритм счел бы отклоняющимся от нормы. Поэтому алгоритмы, по мнению ученых, надо учить игнорировать эти предубеждения.

Но это только кажется простым, ведь эти предубеждения и предпочтения появились не просто так. Это не должно звучать как оправдание сексизму, но мы, в общем-то, все, в той или иной мере, оцениваем женщин по внешности а мужчин – по характеру. Сегодня, после тысячи исследований, мы точно знаем, что мужчины оценивают женщину по сотне параметров, практически мгновенно и почти всегда неосознанно, в выборе для продолжения рода. Это касается всего: характеристик фигуры, соотношений частей тела, голоса, состояния и цвета волос, и прочего. Если мы возьмем из этого списка только глаза: это касается и цвета склеры, размера и цвета радужной, наличия и толщины лимбального кольца, соотношения видимой части склеры и радужной, и так далее. Это все характеристики молодости и состояния здоровья, и никто из нас не в состоянии сознательно это все увидеть, проанализировать и принять решение. Это все делает наш внутренний биологический алгоритм, который, нравится нам или нет, успешно работает сотни тысяч лет. Благодаря ему, в частности, ваши родители выбрали друг друга, и теперь вы это читаете.

Мы можем сказать: «Давайте перестанем все это учитывать. Давайте выключим один алгоритм в угоду другому». Это смелая и достойная попытка, но получится у нас это или нет – покажет время.

Дамы приглашают кавалеров

Выбор – это всегда трудно, даже если выбираешь один вариант из двух. Но когда дело касается многих участников, с неполной информацией и многочисленными предпочтениями, то это становится невероятно сложно. Математики регулярно берутся за такие задачи, и одна из них, о выборе подходящих пар, под названием «проблема стабильного супружества» была решена, и заслуживает нашего внимания.

Представьте себе что собрались четыре женщины: Анна, Белла, Вера и Галя, и четыре мужчины: Александр, Борис, Виктор и Григорий. Они хотят создать устойчивые пары, но «все смешалось в доме Облонских». Анне нравится Борис, а ему – Галя, которой нравится Александр, а тому – Галя. Как достичь стабильности пар, так, чтобы твой партнер не убежал к другой? Стабильность пары – это когда в паре не должно быть ни мужчины ни женщины, которые взаимно предпочли бы быть с другими.

Чтобы разобраться, они решают написать список наиболее желаемых кандидатов, в порядке убывания. Вот что у них получилось:

У дам:

дамы

У кавалеров:

кавалеры

Первый раунд:

Теперь, после составления списка, дамы начинают делать предложения кавалерам, начиная с самого с первого в списке, и вот что получается у мужчин:

первый раунд

Мы видим, что Виктора пока игнорируют, а в Александра сразу два предложения: от Беллы и Гали. Белла для него стоит на втором месте, по предпочтениям, и он выбирает ее, отказывая Гале.

Второй раунд:

Галя зачеркивает своего первого кандидата и предлагает второму по списку, Борису.
У Бориса теперь два предложения, и Галя стоит у него на первом месте по предпочтениям, и он отказывает Анне.

второй раунд

Третий раунд:

Анна, отвергнутая Борисом, вычеркивает его, и делает предложение второму в своем списке, Александру. У Александра снова две кандидатуры, но Белла выигрывает и эту схватку, и остается в списке!

третий раунд

Четвертый раунд:

Анна делает предложение третьему кандидату в своем списке, Виктору:

четвертый раунд

Поскольку никто никого не отвергает, и ходов не остается, то мы получаем устойчивые пары. Чем больше участников, тем больше может быть раундов, но рано или поздно каждый найдет наиболее подходящую пару.

Вот, мы увидели, как работает один из алгоритмов. Проблема выглядит как салонная игра, но сегодня этот алгоритм работает для распределения детей по детским садам в Дании, школьников по школам в Венгрии, студентов по университетам в Китае, Германии и Испании, распределения раввинов по синагогам в Нью-Йорке, для соединения подходящих доноров органов с пациентами в Великобритании. И, конечно же, алгоритм используется некоторыми сайтами онлайн знакомств.

За этот алгоритм была вручена Нобелевская премия в 2012 году в области экономики. Дэвид Гейл и Ллойд Шепли создали его еще в 1962 году. Гейл не дожил, а Шепли разделил премию с Элвином Ротом, который увидел потенциал для применения алгоритма для решения социальных проблем.

Вы могли заметить интересную особенность: в нашей игре первыми предложения делали дамы. Изменилось бы что-то, если бы предложения делали кавалеры? Удивительно, но да. Вы можете проверить это сами, тем более, что для этого потребуется всего один раунд. После него только Борис с Галей остались вместе, как и в первом случае, а все остальные создали другие пары. В обоих случаях, пары образуются стабильные, и это важно.

Но смотрите, что получается: когда первыми предлагают кавалеры, они получают наилучший, самый предпочитаемый вариант для себя, а дамы довольствуются чуть худшими вариантами партнеров. Когда же дамы делают первыми предложения, то они получают варианты лучше, чем кавалеры. Во время распределения по госпиталям, студенты-медики знали о работе алгоритма и обратили внимание, что первыми предложения делают именно им, то есть, ухудшая их выбор. Они провели успешную кампанию против такого подхода, и завоевали право первыми делать предложения больницам.

Алгоритмы уже работают во многих сферах нашей жизни, даже если мы об этом не подозреваем, и будут использоваться все больше и активнее. Нам не надо этого пугаться, потому что потенциально они создаются для облегчения и улучшения нашей жизни. Они могут делать для нас что-то, что эффективнее наших интуитивных или случайных выборов. Онлайн-знакомства, управляемые алгоритмом, порождают более устойчивые семейные пары, чем созданные другими методами. Алгоритм соединения пациента и донора уже сегодня спас многие жизни. А нам нужно знать об их существовании, пользоваться ими и не забывать о свои интересах.

Статья об использовании ИИ при приеме на работу в The Telegraph.

Исследование по чтению книг.

Исследователи использовали базу данных Google Ngram Corpus.

История про «проблему стабильного супружества» рассказана в книге Du Sautoy, M. (2019). The Creativity Code: Art and Innovation in the Age of AI. 4th Estate : London.


Займите свои места

grotto

Майкл Хансмайер вместе с коллегой, Бенджамином Дилленбургером, создали скульптуру Цифровой Гротеск 2, которая сейчас выставлена в Центре Помпиду в Париже.
Распечатанные на 3D принтере части скульптуры образуют 1,35 миллиарда поверхностей. На печать ушло 7 тонн материала.

Невероятное богатство деталей, неожиданные элементы и их соединения – результат работы компьютерных алгоритмов, которые применял скульптор.

grotto

Майкл Хансмайер говорит на своей странице, что “сегодня, кажется, мы можем распечатать все что угодно, как на макро, так и на микроуровнях, комбинируя различные материалы и процессы”.

Но мы может произвести только то, что спроектировали, а это, в свою очередь, ограничено нашим восприятием. В этой скульптуре алгоритм предлагал необычные и удивительные дизайнерские решения. Скульптор говорит, что такие алгоритмы могут стать помощником или музой художника.

grotto

grotto

grotto

grotto

grotto

grotto

Но, на мой взгляд, в этом уже виден неизбежный следующий шаг: когда сами нейронные сети будут без участия человека генерить скульптуры. Сети будут обучаться на определенном материале и на каких-то принципах. Например, нейронная сеть, обученная на сотне тысяч скульптур, станет производить свои собственные скульптуры, а нам только останется лишь нажать на кнопку и распечатать эту скульптуру, с инструкцией по сборке. Но этими принципами и материалом могут стать и любые образцы красоты, и феномены зрительного восприятия, включая иллюзии, теоремы геометрии, работы Эшера, скелеты морских позвоночных, и все что угодно еще.

Мы увидим такое, что никогда не приходило и, возможно, не могло прийти нам в голову. Так же, как не могли прийти в голову лучших игроков ходы в игре Го, которые делала программа Альфа Го, несмотря на тысячелетнюю историю игры и миллионы сыгранных игр.

Это будет прекрасно, неповторимо и грандиозно. Эта грандиозность будет указывать нам наше место –  в зрительном зале, с ведерком попкорна. А где ещё, если мы со своими творениями  будем выглядеть как криворукие подмастерья?

Фотографии отсюда.


Разыскивается: искусственный интеллект

Mike ButcherВстреча с Майком Бутчером, главным реактором TechCrunch в Цифровом Октябре 2 июня с темой Artificial Intelligence & Exponential Future.

Интересно, что на встрече отношение к ИИ было скорее восхищенное и благодушное. Так, например, Майк несколько раз упоминал самоуправляемые автомобили как пример растущей автоматизации. Однако чуть позже Майк отмечал, что художники и другие творческие профессии – в безопасности от захвата их деятельности искусственным интеллектом.

Лет 10-13 назад группа весьма уважаемых экспертов из Гарвардского университета говорила о том, что очень многие виды деятельности будут автоматизированы, и никуда от этого не деться. Только вот, как ни крути, сказали они, но профессия водителя грузовика – настолько сложная и замысловатая, что ей ничего не грозит от ИИ. В тот же год DARPA запустила конкурс на создание самоуправляемой машины. “Никогда не говори никогда”.

профессии будущего в опасности от ИИВот и на слайде выше сказано, что до 60% всех работ в течение 20 лет будут автоматизированы. Больше всего хотел бы знать, что это за оставшиеся 40% – это что такое будут продолжать делать люди, с чем не справятся машины?

Впрочем, хотел я узнать на этой встрече вполне практичные вещи, но не удалось. Читал уже довольно давно о том, как одна группа создала приложение машинного обучения и начала “тренировать” его тысячами научных статей. И сеть начала находить связи и паттерны между фактами, гипотезами и темами научных работ. Понятно, что не очень хорошо, но всяко лучше, чем ничего, потому что люди без машин никогда просто не смогли и не  смогут это сделать. Вот с такой программой я бы поигрался, но увы, пока для пользователей вроде меня такое еще недоступно.

Кто-нибудь может подсказать программы, использующие то, что принято сегодня называть ИИ, с графическим интерфейсом и не требующих знаний программирования? Что-нибудь из этой картинки:

методы. техники и алгоритмы машинного обучения

карта с сайта http://machinelearningmastery.com