Учёные заставили нейросеть «расселфить» селфи
Фронтальные камеры смартфонов позволяют делать относительно качественные фотографии, однако в случае селфи композиция кадра всё равно получается нарушенной. Такие снимки выглядят менее естественно, чем обычные портреты — обычно на них видна вытянутая рука или обе руки, а также используется специфичный ракурс, искажающий фон. Конечно, селфи можно кадрировать, убрав из кадра руки, или исправить композицию в фоторедакторе, однако учёные решили предоставить это компьютерному алгоритму.
За основу новой нейросети был взят алгоритм DensePose, который автоматически определяет позу человека на снимке и затем сравнивает её с остальными позами в базе данных. С помощью метода k-ближайших соседей алгоритм находит естественную позу, наиболее похожую на изначальную по верхней части торса, дорисовывает её и вставляет обратно в кадр. Для обучения нейросети исследователи собрали набор из 23 000 портретных фотографий и 4600 селфи.
После обучения первой части системы, подбирающей необходимую позу, силуэт тела на изображении дорисовывается попиксельно на основе оригинального селфи. Полученные изображения затем сравнили с двумя другими существующими методами, основанными на «круговых» генеративно-состязательных нейросетях CycleGAN. Для этого полученные изображения показывали 20 добровольцам и просили их оценить, насколько натурально они выглядят.
По сравнению с остальными способами добровольцы выбирали новый метод восстановления портретов в 79−82% случаев в зависимости от метода. Тем не менее, у алгоритма всё же имеются некоторые ограничения: он не всегда может подобрать похожую позу и в таких случаях плечи или руки на портрете получаются неестественно узкими. Впрочем, по словам исследователей, такое происходит лишь примерно в 10% случаев.
