[Перевод] Исследование пропорций более 1 000 000 лиц: правило золотого сечения или правило третей?
Перевод поста Майкла Тротта (Michael Trott) «Profiling the Eyes: ϕaithful or ROTen? Or Both?».
Код, приведенный в статье, можно скачать здесь.
Выражаю огромную благодарность Полине Сологуб за помощь в переводе и подготовке публикации
Содержание
— Исследование проявления золотого сечения в положении человеческих лиц на картинах и фотографиях
— Уровень линии глаз на старых картинах — скорее ROT, чем φaithful
— Высота линии глаз в современных картинах
— Высота линии глаз в работах профессиональных фотографов
— Высота линии глаз в селфи
— Фото из профилей LinkedIn
— Лица с обложек еженедельных журналов последних трех десятилетий
— Обложки комиксов
— Ежедневные газеты и журналы мод
— Знаменитости из киноиндустрии
— Кино: линия глаз в движении
— Выводы
Исследование проявления золотого сечения в положении человеческих лиц на картинах и фотографиях
Существует огромное количество литературы, посвященной золотому сечению в природе, в физиологии и психологии, а также в произведениях искусства (см. эту статью о золотом сечении, и вот эти: о золотом сечении в искусстве, в природе и в человеческом теле, и еще — о структуре творческого процесса в науке и искусстве). В последние годы нарастает скептицизм по поводу распространенности золотой пропорции в этих областях. Были пересмотрены более ранние исследования. Смотрите, например, исследования греческих храмов Фотакиса, Марковского, Фостера, Холланда и Бенджафилда, и Свободовой и др. — по физиологии человека.
В моем посте »Пропорции в искусстве. Есть ли что-то лучше золотого сечения? Исследование более 1 000 000 старых и современных картин» (перевод на Хабре) я проанализировал пропорции более миллиона старых и новых картин. На волне психологических экспериментов второй половины девятнадцатого века (например, Фехнер, 1870-е гг.), было бы логично ожидать появления множества картин с отношением высоты к ширине, равным золотому сечению. Однако анализ большого количества картин не подтвердил эту гипотезу.
Хотя мы и не обнаружили распространенность золотого сечения во внешних измерениях картин, возможно, более детальный поиск позволит обнаружить признаки золотого сечения.
Сегодня мы будем анализировать коллекции картин, фотографий и обложек журналов, на которых изображены человеческие лица. Мы будем также анализировать лица в нескольких выбранных фильмах.
Литература по истории искусства и эстетике фотографии традиционно предлагает разделение холста на трети по горизонтали и по вертикали. При изображении человеческих лиц часто упоминаются два правила:
- правило третей: линия глаз должна проходить на уровне 2/3 (≈0.67) от общей высоты лица.
- правило золотого сечения: линия глаз должна проходить на уровне 1/(золотое сечение) (≈0.62) от подбородка.
Правило третей сокращенно пишется ROT (rule of thirds). В 1998 году Фраскари и Жирардини (в духе Адольфа Цейзинга — отца так называемого золотого нумеризма) ввели термин »φaithful» (греческий символ ϕ используется для обозначения золотого сечения) для обозначения неограниченной веры в примат золотого сечения. Некоторые считают правило третей аппроксимацией правила золотого сечения. Насчет соотношения этих двух правил ведутся многочисленные дискуссии. Чтобы почитать об использовании правила третей до 18 века, см. Нафиси). Смотрите также современную историю использования этого правила. Правило третей в живописи и фотографии — см. Amirshahi и др.
Так как мы не можем определить, какое правило является более распространенным, давайте посмотрим на некоторые данные.
Уровень линии глаз на старых картинах — скорее ROT, чем φaithful
Давайте начнем с картин. Как и в предыдущем моем исследовании, мы будем использовать несколько различных источников данных. Нас интересуют четыре коллекции живописи: из Викимедиа, Смитсоновского музея, британской Your Paintings и Саатчи.
Если мы хотим проанализировать расположения лиц на картинах, необходимо сначала определить их местонахождение. Для этого нам пригодится функция FindFaces. Хотя она обычно используется для фотографий, она неплохо зарекомендовала себя и для картин. Вот несколько случайно выбранных фотографий из Wikimedia. Для начала изображения импортируются и лица подсвечиваются желтым полупрозрачным прямоугольником. Мы видим различное количество горизонтального пространства вокруг лица, при этом расширение по вертикали оказывается довольно однородным от подбородка до линии волос.
Более детальный осмотр показывает, что линия глаз находится примерно на уровне 60% от высоты лица (обратите внимание, что это примерно 1/ϕ). Чтобы продемонстрировать корректность правила 60% для нескольких случайно выбранных изображений из Википедии, мы показали итоговую линию глаз красным цветом и провели две линии на 5% выше и ниже.
Независимо от пола и прически 60% — хорошая аппроксимация для линии глаз. Конечно, не все лица на фотографиях расположены ровно. Если голова наклонена, глаза не будут находиться на горизонтальной линии. Но, в общем, правило 60% работает неплохо.
В целом мы видим, что линия глаз располагается примерно на одном урове в пределах нескольких процентов от вертикальной высоты лица прямоугольника. Погрешность полученной оценки высоты линии глаз в большинстве случаев оказывается около ≤2%. Этого мало, чтобы отличить золотую пропорцию от правила третей (на интервале [0,1] расстояние между 1/ϕ и 2/3 — около 5%).
Начнем с изображений картин из Wikimedia.
Используя коэффициент 0,6 для высоты линии глаз, мы получаем следующее распределение идентифицированных лиц. На 8000 изображений было обнаружено около 12000 лиц. Синяя кривая показывает статистику по всем лицам, а оранжевая кривая относится к лицам, которые вместе с прямоугольниками, окружающими их, занимают более 1/12 от общей площади картины (далее эти лица будем называть большими). Мы видим четкий максимум на уровне 2/3, что соответствует правилу третей (две черные вертикальные линии — это высота линии глаз для правила третей и золотой пропорции).
Так как анализируемые нами изображения могут быть обрезаны, в наших данных могут появляться ошибки. Анализ, приведенный в прошлой записи, показал, что эти эффекты усредняются, так что ошибки появляются менее чем в 1% случаев для 10 000 картин.
Вот две «тепловые карты»: одна для всех лиц, а другая — только для больших. Теперь накладываем прямоугольники с лицами друг на друга, а цвет будет указывать долю всех лиц в заданном положении. Видно, что человеческие лица появляются в левой и правой половинах изображения с одинаковой частотой. Для обеспечения возможности сравнения расположения лиц на картинах с различными соотношениями сторон ширина и высота всех картин была пересчитаны так, чтобы они вписывались в квадрат. Центр каждого лица прекрасно попадает в диапазон [2/3, 1/ϕ] (код Wolfram Language для создания графика и тепловая карта даны ниже).
Ниже представлена короткая анимация, показывающая, как формируется пик на распределении лиц, когда все больше и больше картин накладываются друг на друга.
Повтор анализа изображений с Wikimedia на основе выборки из 4000 портретов из коллекции Смитсоновского музея дает аналогичный результат. На этот раз кривая демонстрирует более четко локализованный пик, потому что мы с самого начала выбрали портреты.
Британский сайт Your Paintings обладает гораздо большей коллекцией картин. На 58000 картин мы обнаружили в общей сложности 76000 лиц.
Среднее значение и стандартное отклонение для всех высот линии глаз — 0,64 ± 0,19, а медиана равна 0,69.
Наши результаты показывают, что более крупные лица расположены в среднем ниже. Даже при очень маленьких относительных размерах лица линия глаз находится на уровне между 1/ϕ и 2/3.
Последнее изображение требует также создания графика относительного размера лиц на картине. Средняя площадь прямоугольника, обозначающего зону лица, равна 3,9% от всей площади картины (стандартное отклонение 5,5%).
Вот соответствующее кумулятивное распределение всех вариантов расположений линии глаз для лиц больше данного относительного размера. Две плоскости в плоскости уz — это 1/ϕ и 2/3.
Как меняется интересующий нас аспект со временем? Например, вот распределение высот линии глаз для всех картин девятнадцатого и двадцатого веков из нашего набора данных (существует также мнение о том, что уже на рисунках каменного века соблюдалось правило третей).
Мы провели повторный анализ с картинами, на которых изображено только одно лицо. Теперь мы видим более широкий максимум, который охватывает диапазон от 1/ϕ до 2/3.
Если посмотреть на сегментированные, а не на сглаженные данные в области глобального максимума, мы увидим два хорошо различимых максимума: один — соответствующий правилу третей, и другой — соответствующий золотому сечению.
Теперь, когда мы проделали всю работу, связанную с поиском лиц, мы можем, например, совместить их. В результате мы получаем усредненное лицо, полученное из 11000 лиц, изображенных на британских картинах девятнадцатого века. Совмещенные изображения десятков тысяч лиц также дают нам некоторую уверенность в надежности и качестве процесса экстракции лица.
На кого же из известных ныне живущих людей похожи люди с картин 19-го века? Использование функции Classify[«NotablePerson», …] позволит нам найти некоторые неожиданные сходства. Функция findSimilarNotablePerson использует в качестве аргумента сокращенный URL страницы с сайта Your Paintings, а затем импортирует картину, извлекает лицо, и, наконец, находит наиболее похожего известного человека из встроенной базы данных.
Вот здесь показаны еще несколько подобных пар (см. прикрепленный документ для просмотра разных пар изображений).
Высота линии глаз в современных картинах
Теперь давайте посмотрим на некоторые более современные картины. Мы нашли больше 15000 современных портретов в Saatchi. Лица на современных портретах часто выглядят довольно абстрактно, но с помощью функции FindFaces все равно можно найти некоторое их количество. Вот несколько примеров.
А вот коллаж из 144 случайно выбранных лиц с современных картин. На расстоянии можно распознать человеческие лица, однако из-за стилистических различий отклонения становятся менее заметными.
Если мы снова совместим все лица, мы получим вполне нормальное человеческое лицо. Это обобщенное лицо имеет более женские черты (например, более плавную линию подбородка и полные губы) по сравнению с картинами девятнадцатого века. Если смотреть на коллаж выше, удивительно, что обобщенное лицо выглядит вполне нормальным.
Если мы добавим не только все значения цветов, но и случайные положительные и отрицательные веса, мы получим гораздо более современные на вид усредненные лица.
Теперь затронем главный вопрос этой статьи: как расположены лица на этих современных портретах? Оказывается, они следуют правилу золотой пропорции, а не правилу третей. На 30% больше картин имеют линию глаз на уровне 1/φ ± 1% по сравнению с 2/3 ± 1%.
Среднее значение и стандартное отклонение для всех высот линии глаз составляет 0,60 ± 0,16, а медиана равна 0,62.
А если мы построим график высоты линии глаз в зависимости от размера лица, мы увидим пятно, означающее расположение линии глаз на высоте 2/3 при соответствующей площади лица, составляющей 20% от общей площади картины.
И вот соответствующая 3D графика, которая достаточно ярко демонстрирует высоту линии глаз на уровне 1/ϕ для относительно крупных лиц.
Чтобы подтвердить, что современным картинам свойственно расположение линии глаз на уровне, соответствующем правилу золотого сечения, необходимо проверить полученные данные на других данных. Сайт Fine Art America предлагает тысячи портретов современных знаменитостей. Здесь размещено около 5000 таких изображений (примерно поровну политиков, актеров, музыкантов и спортсменов). И опять мы ясно видим на графике максимум, соответствующий 1/ϕ, а не 2/3.
Для отдельных знаменитостей распределение может быть различным. Вот небольшой фрагмент кода, который использует некоторые функции, определенные в предыдущем разделе, для анализа портретов отдельных лиц.
Вот несколько примеров (мы использовали около 150 портретов одного человека.)
Неожиданно, но лицо Джимми Хендрикса почти полностью соответствует правилу золотого сечения, а лицо Мика Джаггера оказалось ближе к правилу третей. Лица Обамы и Иисуса подчиняются правилу третей в его классической форме.
Высота линии глаз в работах профессиональных фотографов
Теперь давайте посмотрим на набор фотографий и определим положение лиц на них. Давайте начнем с профессиональных портретных фотографий. В Getty Image collection собраны лучшие фотографии. В отличие от картин, максимум для крупных лиц гораздо ближе к 2/3 (ROT), чем к 1/ϕ для 200000 случайно выбранных портретов.
И опять построим распределение по высоте линии глаз/относительному размеру лица. Для очень больших относительных размеров лица наиболее распространенная высота линии глаз опускается даже ниже 1/ϕ.
А вот соответствующая тепловая карта, созданная путем наложения 300000 лиц.
А что насчет других фотографий, эстетически менее совершенных, чем Getty Images? На сайте Shutterstock выложено множество фотографий. Мы видим, что в данном случае максимум графика высоты линии глаз приходится на значение 2/3 (то есть речь опять идет о правиле третей). На этот раз мы приводим результаты для портретов, помеченных одинаковыми тегами.
Ниже вы видите распределение по высоте линии глаз и наложение 100000 мужских и женских портретов (относительно узкий пик в структуре двойного пика получился из-за фотографий, на которых изображено не все лицо полностью).
Если еще больше сузить выбор фотографий (например, наложить 10000 портретов, помеченных тегами ботаник или борода), то результат снова сместится в сторону правила третей.
Далее показаны результаты анализа фотографий с тегами счастье и грусть.
Все фотографии, помеченные каждым из шести типов тегов (мужчина, женщина, ботаник, борода, счастье, грусть) демонстрируют замечательную устойчивость в положении максимума линии глаз. Она всегда находится в интервале [1/φ, 2/3] с тенденцией к 2/3 (правило третей).
А что насчет детей? Два пика теперь еще более выражены, причем первый пик даже больше, чем второй, из-за того, что множество детских фотографий представляют собой просто лицо ребенка, снятое крупным планом.
Далее мы посмотрим на высоту линии глаз в работах двух профессиональных фотографов: Пегги Сироты и Марио Тестино. Поскольку оба фотографа часто снимают моделей, на фото будет изображено все тело, что сместит интересующий нас показатель значительно выше 2/3 (мы вернемся к этому явлению позже).
Высота линии глаз в селфи
После анализа профессиональных фотографий мы должны, конечно, взглянуть также на вершину современной любительской съемки — селфи (чтобы почитать про историю селфи — см. Зальц; для детального изучения повышения популярности селфи на три порядка за последние три года см. Соуз и соавт). С помощью «Flickr» мы можем сразу загрузить образцы селфи. Вот пять селфи, сделанные на прошлой неделе в районе Эйфелевой башни. Однако не все изображения, помеченные как селфи, — лица, снятые крупным планом.
Каждый день в Instagram добавляется более 100000 селфи (можно посмотреть их здесь), — это идеальный источник селфи. Вот распределение высоты линии глаз для 100000 селфи.
В отличие от профессиональных фотографий, мы видим, что максимум распределения по высоте линии глаз явно выше 2/3 для фотографий, на которых лицо занимает больше 1/12 площади фотографии. Так что в следующий раз, когда вы будете делать селфи, разместите лицо немного ниже в кадре, чтобы лучше подчиняться правилам ROT и ϕ (систематические отклонения селфи от эстетических фотографических принципов уже рассматривались Бруно и др.).
Высота линии глаз в селфи изменяется значительно меньше по сравнению с профессиональными фотографиями.
И, опять же, соответствующая тепловая карта.
Максимум общей площади лица на селфи связан с длиной человеческой руки или телескопической палки для селфи, ограниченной одним метром. Так что селфи с мелкими изображениями лица — более редкое явление, чем аналогичные фотографии или картины.
Как выглядит усредненное лицо с селфи-фотографий? Левое изображение — усредненный вариант всех лиц, среднее — все мужские лица, а правое изображение — усредненный вариант женских лиц (гендеры были определены эвристически путем сопоставления мужских и женских имен с именами пользователей). Усредненное селфи напоминает женское лицо, потому что женщины гораздо чаще делают селфи. Это также было обнаружено в недавнем исследовании Мановича и соавт.
Может быть, относительная высота линии глаз зависит от конкретного человека, изображенного на портрете. Мы приводим ниже полный код в случае, если читатель хочет экспериментировать с данными, которые не рассматриваются здесь. Теперь давайте измерим высоту линии глаз на изображениях с сайта Getty, отмеченных тэгами, которые будут указаны в функции positionSummary.
Теперь мы можем всего за минуту получить среднюю высоту линии глаз людей, чьи имена у всех на слуху (каждый результат основан на анализе 600 портретных снимков): леди Гага, Тэйлор Свифт, Брэд Питт и Дональд Трамп. Высота линии глаз Леди Гага почти идентична той, что получилась при анализе селфи. А вот максимум графика линии глаз Тейлор Свифт, как и в случае с современными картинами, приходится на 1/ϕ.
Так можно проанализировать и многие другие типы фотографий. А мы на этом закончим и оставим дальнейшие исследования читателю.
Фото из профилей LinkedIn
На многих страницах LinkedIn размещены фотографии владельцев страниц. Эти фотографии — еще один источник данных для наших исследований высоты линии глаз. Проанализировав фотографии из профилей 25000 мужчин и 25000 женщин, мы получили следующие результаты. Поскольку подавляющее большинство фотографий в LinkedIn сняты крупным планом, кривая для лиц, занимающих более 1/12 всей площади, очень похожа на кривую всех лиц, и поэтому мы продемонстрируем только кривую распределения всех лиц. На этот раз желтая кривая показывает все лица, которые занимают от 10% до 30% от общей площади фотографии.
Этот график демонстрирует высоту линии глаз 10000 мужчин-пользователей LinkedIn.
Интересно отметить, что глобальный максимум распределения высоты линии глаз проходит явно ниже 1/ϕ — результат, противоположный полученному при анализе селфи выше. Глобальный максимум соответствует значению высоты линии глаз 1/ϕ. Низкий глобальный максимум появляется из-за фотографий, на которых область лица занимает более 30% от общей площади. На типичной фотографии профиля в LinkedIn лицо занимает более 20% от общей площади фотографии, а уровень линии глаз находится на уровне, соответствующем правилу золотого сечения.
Соответствующее распределение по всем женским профилям очень напоминает соответствующую кривую для мужчин. Но для лиц, которые занимают большую часть изображения, «женское» распределение заметно отличается. Средняя высота линии глаз на этих фотографиях на несколько процентов ниже, чем на соответствующей «мужской» кривой.
Учитывая большое количество пользователей LinkedIn, можно попытаться найти высоту линии глаз для различных людей с одинаковыми именами. Мы выбрали три имени: Джош, Радж и Мэй. Совместив для каждого имени 2500 фотографий, мы получаем следующие распределения и усредненные варианты лиц:
Полученные распределения достаточно хорошо согласуются с соответствующими гендерными распределениями выше.
После наблюдения за замечательным пиком высоты линии глаз на 1/ϕ мне стало интересно, подчиняется ли внешность кого-то из моих сотрудников правилу золотого сечения. И действительно: я обнаружил, что высота линии глаз моих коллег-мужчин отвечает правилу золотого сечения. Это касается и нашего дизайн-директора. Следующий шаг — импорт фотографий из профилей LinkedIn других сотрудников Wolfram; мы видим красную линию на высоте 1/ϕ.
Давайте сравним полученные результаты с результатами, полученными при анализе фотографий нынешних членов Конгресса. Мы импортируем фотографии всех членов Конгресса.
Вот примеры фотографий:
Подобно фотографиям из профилей LinkedIn, максимум линии глаз оказывается несколько ниже, чем 2/3. А вот усредненное лицо члена Конгресса.
Лица с обложек еженедельных журналов последних трех десятилетий
После анализа лиц на любительских и профессиональных фотографиях следующей областью для исследования станут обложки журналов: фотографии для них были сделаны тщательно и отобраны. У журнала TIME есть даже свой специальный сайт для 4.800 обложек, под которыми журнал выходил в течение более чем 90 лет (для быстрого просмотра всех обложек см. анализ обложек (Манович)).
Нужно просто загрузить обложки, а затем найти и извлечь лица.
Вот два итоговых распределения для высот линии глаз:
Максимум оказывается на высоте менее ½. Это главным образом вызвано тем, что название журнала размещается в верхней части обложки. В новых изданиях название журнала и изображения частично накладываются друг на друга. Следующий график показывает среднее значение высоты линии глаз с течением времени (по годам). С 1980-х гг. наблюдается тенденция к более высоким позициям линии глаз на обложке.
Если рассчитать высоту линии глаз со всех выпусков за последние двадцать пять лет, мы увидим совсем другое распределение с бимодальной структурой. Один из пиков почти точно приходится на 1/ϕ.
А вот усредненные лица по декадам. Мы видим также, что обложки первых двух десятилетий выпуска журнала были черно-белыми.
В качестве второго примера мы рассмотрим теперь немецкий журнал SPIEGEL. Опять-таки необходимо просто загрузить все обложки, обнаружить лица и извлечь данные о линии глаз.
И опять из-за того, что в верхней части обложки размещается название журнала, линия глаз оказывается на относительно низком уровне (≈0.56).
Тепловая карта расположения лиц достаточно ясно демонстрирует это.
Принимая во внимание то, что название журнала «SPIEGEL», как правило, занимает около 13% от высоты обложки, и что в нижней ее части есть пробелы, перенормированный пик высоты линии глаз оказывается почти ровно на 1/ϕ.
В качестве третьего примера мы выбрали менее политизированный журнал Rolling Stone. У них тоже есть коллекция обложек до 2013 года. Распределение по высоте линии глаз снова оказывается бимодальным, с пиком на 1/ϕ. Так что лица с обложек Rolling Stone соответствуют правилу золотого сечения.
Если посмотреть на отрезки времени, то можно увидеть определенные закономерности в изменении средней линии глаз в каждый из восьмилетних периодов.
Совокупная средняя высота линии глаз близка к 1/ϕ, а средняя высота до 2013 года отклоняется от 1/ϕ всего на 0,4%.
Вот усредненные лица по десятилетиям.
Обложки комиксов
Обложки комиксов — еще один интересный источник изображений для анализа. На сайте Comic Book Database размещена большая коллекция обложек комиксов. Пока что мы ограничимся Marvel Comics и DC Comics с их 72000 обложек. Так как комиксы — это не фотографии, распознавание лиц теперь становится более сложным делом. Но даже в таких условиях мы успешно распознали около 90 тысяч лиц.
Дальше — все как обычно (высота линии глаз, тепловая карта, усредненное лицо) для Marvel Comics.
И то же самое для DC Comics.
Все три характеристики демонстрируют замечательную согласованность между двумя издателями комиксов.
Ежедневные газеты и журналы мод
Высоту линии глаз можно исследовать и на многих других коллекциях изображений. Теперь можно написать небольшую поисковую функцию, которая начнет свою работу с заданного сайта и будет извлекать изображения и ссылки на страницы с большим количеством изображений (это простой вариант реализации; для оптимизации можно, к примеру, настроить параллельный поиск).
Например, вот средние данные для всех изображений (с размером больше 200 пикселей) с сайта газеты The New York Times от 8 февраля 2016 года. Пик графика находится между 2/3 и 1/ϕ.
А вот данные для еженедельной немецкой газеты: Die Zeit. На этот раз максимум графика для больших изображений лиц находится на уровне 2/3.
Вот данные по 1000 изображений из CNN.
Высота линии глаз в журналах мод дает совершенно другое распределение. Вот результаты для 1000 изображений из журнала Vogue. Так как на сайте размещают фотографии стильно одетых моделей в полный рост, голова получается маленькой, и линия глаз оказывается очень высоко. В результате мы получаем высокий узкий пик синей кривой.
Анализ фото с обложек GQ Magazine также показывает пик высоты линии глаз на 2/3 для лиц, снятых крупным планом.
Максимум для линии глаз лиц с обложки журнала People снова находится на уровне 2/3 для больших поверхностей.
А вот результаты для журнала Ebony. На этот раз пик на графике высоты линии глаз для лиц, снятых крупным планом, находится на уровне 1/ϕ.
Если мы возьмем журнал о бодибилдинге, то, как и в случае с изображениями из Vogue, мы увидим очень высокую линию глаз — опять-таки потому, что в силу специфики журнала там часто изображаются люди в полный рост. Усредненное лицо сильно отличается от предыдущих средних значений.
Проанализировав данные журнала Allure, мы получае
