Нейросети совершенствуются в создании реалистичных человеческих лиц. Исследователи из компании Nvidia разработали новый подход, который обучает искусственный интеллект создавать фотографии людей, которых на самом деле никогда не существовало. Отличить созданные нейросетью изображения от реальных фотографий практически невозможно.
Отличительные черты
В репозитории Arxiv опубликован документ о новой архитектуре для создания и смешивания изображений человеческих лиц. Старая система исследователей Nvidia могла создавать изображения разных людей, но отличия между ними были несущественными или комичными: от другого изображения человека отличало отсутствие ушей или цвет рубашки. Это не совсем отличительная черта, но система не знала, что это не те части изображения, на которых нужно сосредоточиться.
Новая технология основана на передаче стиля и мелких аспектов изображения. Эти аспекты извлекаются и применяются для создания другого образа, который в конечном итоге имеет похожий вид. В этом случае «стиль» – не столько мазки кистью или цветовое пространство, сколько композиция изображения (по центру, взгляд влево или вправо и т. д.) и физические характеристики лица (оттенок кожи, веснушки, волосы).
Эти черты также могут иметь разные масштабы: тонкие нюансы, вроде индивидуальных черт лица; средние – общая композиция кадра; и в самом крупном масштабе это общая окраска. Если разрешить нейросети регулировать все аспекты, она изменяет все изображения, а настройка нескольких параметров меняет цвет волос, добавляет или убирает веснушки.
На изображении полностью меняются грани, но явно присутствуют очевидные маркеры «источника» и «стиля», например, синие рубашки в нижнем ряду. В других случаях вещи сделаны из цельной ткани. Обратите внимание, что все элементы полностью изменчивы, не только A + B = C, но и все характеристики A и B, присутствующие или отсутствующие, в зависимости от того, как настроены параметры.
Фабрика фейков
Вот несколько десятков изображений, созданных нейросетью. Никто из этих людей не настоящий. Но отличить их невооруженным взглядом от фотографий обычных людей почти невозможно.
Система не идеальна, но она работает. И не только в отношении людей. Автомобили, кошки, пейзажи, – все это более или менее соответствует одной и той же парадигме маленьких, средних и больших функций, которые можно выделить и воспроизвести индивидуально. Бесконечный генератор кошек кажется менее угрожающим.
Исследователи также опубликовали новый набор данных о лицах: 70 тысяч изображений лиц, собранных из фотохостинга Flickr, где хранят цифровые фотографии и видеоролики. Ученые использовали искусственный интеллект, чтобы отсеять статуи, картины и другие посторонние предметы. Учитывая, что стандартный набор данных, используемый этими типами проектов, в основном представляет собой фотографии знаменитостей на красной дорожке, это должно обеспечить гораздо более разнообразный набор лиц для генерации «новых людей».