Нейросеть научили добавлять несуществующие детали на фото: получается неплохо

На GitHub выложена программа, получившая название SC-FEGAN. Ее главная функция – по обычным зарисовкам добавлять любые детали на фото: сережку, новую прическу, менять цвет глаз и т.д.

Как работает Paint будущего

В основе программы лежит генеративно-состязательная нейросеть, разделенная на две части. Первая отвечает за создание образцов изображений – Unet-like. А вторая SN-patchGAN решает, подходит созданное дополнение к исходной картинке или нет.

Графический интерфейс программы довольно прост: пользователь загружает в нее любое изображение и дорисовывает к нему новую деталь. Программа подберет подходящий к фото элемент и добавит его к изображению.

Создатели технологии отмечают, что справиться с запуском нейросети пока под силу только программистам. Но в скором времени на основе нейросети могут появиться приложения, доступные для не разбирающихся в программировании пользователей.

В середине февраля 2019 года один из разработчиков Uber создал сайт, где каждый раз генерируется лицо несуществующего человека. В основе лежит алгоритм StyleGAN, специально разработанный компанией Nvidia.

Результат не всегда идеален, иногда можно понять, что лицо слишком ненастоящее. Но даже это является прогрессом в области искусственного интеллекта.

«Яндекс» мультиками балуется

Нейросети не впервые обучают манипуляциям с изображением. Исследователи из технологического университета Карнеги Меллона в США создали нейросеть, которая передает мимику персонажа из одного видео в другое. Не отстают и в России. «Яндекс» придумал, как улучшить видеоряд старых фильмов или мультфильмов, доступных в сети только в плохом качестве. Для этого компания разработала технологию DeepHD.

Обработка картинок осуществляется в два этапа. На первом этапе нейронная сеть избавляется от помех картинки. Далее картинка переходит на второй этап, где ее обрабатывает вторая нейронная сеть. ИИ-генератор выполняет основную работу по улучшению изображения.

Генератор контролируют еще две нейронные сети: классификатор и дискриминатор. Первая следит за тем, чтобы генератор не добавил в картинку лишних деталей, а вторая отвечает на вопрос «Настоящая ли картинка?». Если дискриминатор путает искусственную картинку с настоящей, то операцию по улучшению изображения можно считать успешной.