Проверяем алгоритм Microsoft по распознаванию эмоций на оскаровских номинантах

Накануне Microsoft представила алгоритм по распознаванию эмоций человека. Ранее в компании создали другой подобный алгоритм, который умеет определять пол и возраст человека по фотографии. Мы решили проверить, как хорошо компьютер распознает диапазон эмоций на оскаровских номинантах этого года.

В запущенном компанией Microsoft проекте Project Oxford, который занимается развитием алгоритмов по распознаванию лиц и речи, накануне представили алгоритм и API (код для использования во внешних программах) по определению эмоций человека.

Это не первый подобный проект от Microsoft. Ранее в этом году был запущен сайт how-old.net, на котором пользователи могли загружать фотографии, а приложение определяло возраст и пол людей по их лицам.

Оба алгоритма работают неплохо. Если с определением возраста у технологий Microsoft и были проблемы, то пол how-old.net узнавал крайне точно. Вот и с распознаванием эмоций в общих чертах все отлично — программа умело отличает радость от нейтрального выражения лица — но на тонкостях и сложных эмоциях вроде грусти и удивления алгоритм иногда промахивается.

Впрочем, примеры ниже можно посмотреть и самим. Для каждой фотографии алгоритм выдает числовую таблицу: отдельным эмоциям присваиваются значения от 0 до 1, и сумма всех чисел составляет 1. Мы решили проверить алгоритм на номинантах премии «Оскар-2015». Список эмоций на снимках по порядку: злость, презрение, отвращение, страх, радость, равнодушие, печаль, удивление.

Лауреат премии "Оскар" за лучшую мужскую роль Эдди Редмайн в фильме "Теория всего"
Лауреат премии “Оскар” за лучшую мужскую роль Эдди Редмайн в фильме “Теория всего”
Стив Карелл в фильме "Охотник на лис"
Стив Карелл в фильме “Охотник на лис”
Брэдли Купер в фильме "Американский снайпер"
Брэдли Купер в фильме “Американский снайпер”
Бенедикт Камбербэтч в "Игре в имитацию"
Бенедикт Камбербэтч в “Игре в имитацию”
Майкл Китон в "Бердмэне"
Майкл Китон в “Бердмэне”
Лауреат премии "Оскар" за лучшую женскую роль Джулианна Мур в фильме "Все еще Элис"
Лауреат премии “Оскар” за лучшую женскую роль Джулианна Мур в фильме “Все еще Элис”
Марион Котийяр в фильме "Два дня, одна ночь"
Марион Котийяр в фильме “Два дня, одна ночь”
Фелисити Джонс в "Теории всего"
Фелисити Джонс в “Теории всего”
Розамунд Пайк в "Исчезнувшей"
Розамунд Пайк в “Исчезнувшей”
Риз Уизерспун в "Дикой"
Риз Уизерспун в “Дикой”

Сайт Emotion Recognition, на котором можно загрузить свои фотографии и позволить компьютеру определить эмоции людей на снимке.