Нейросеть Nvidia создает картины по грубым зарисовкам

Nvidia разработала технологию, превращающую схематические наброски в фотореалистичные изображения. Она упростит работу художников и аниматоров.
Будущее графики
Компания-производитель видеокарт Nvidia презентовала на GPU Technology Conference 2019 нейросеть GauGAN, названную так в честь художника Поля Гогена. Она превращает грубый нарисованный набросок в полноценное изображение. Пользователь отмечает контуры необходимых объектов в специальном графическом редакторе и получает реалистичную картину.
Пока система умеет генерировать только пейзажи. Для обучения нейросети инженеры Nvidia использовали более миллиона изображений Flickr. Благодаря этому программа автоматически дорисовывает необходимые детали: отражения деревьев в воде, погодные условия и т.д.
В дальнейшем приложение научится работать с городской архитектурой и портретами людей. В свободном доступе программы пока нет, и планов по ее релизу Nvidia также не озвучила. Однако на презентации компании опробовать GauGAN мог любой желающий.
Принцип работы нейросети
Умный редактор
Вместе с нейросетью Nvidia представила сам графический редактор, где нейросеть по грубым наброскам создает реалистичные изображения. Пользоваться инструментом не сложнее, чем стандартным Paint. В нем есть три инструмента: заливка, перо и карандаш. Цвета и текстуры художник выбирает на палитре.
GauGAN обрабатывает схематичные рисунки в режиме реального времени. Для этого требуется всего несколько секунд.
Как пользоваться
Чтобы начать генерацию изображения, достаточно нарисовать замкнутую линию, напоминающую необходимый объект, и залить ее похожим цветом. Например, если необходимо добавить на картинку озеро, нужно изобразить овал с неровными краями и покрасить его в синий цвет. Таким же образом создаются скалы, облака, леса и прочие детали пейзажа.
Пример работы нейросети
В редакторе можно «помочь» программе, указав желаемое время года или суток. Редактор добавит в итоговую картинку особенности, увеличивающие сходство с фото: например, для зимнего арта небо получится серым и мрачным, а на деревьях не будет генерироваться листва.
Поясняя принцип работы GauGAN, разработчики сравнивают ее с «умной» раскраской. По замыслу создателей нейросети, наиболее полезной она станет для художников, архитекторов, ландшафтных дизайнеров и других специалистов, которым важно быстро делать наброски изображений.
Главный недостаток программы – на некоторых изображениях заметны границы между объектами. Разработчики обещают в будущих версиях избавиться от этого эффекта.
См. также
Российский разработчик создал неофициальную версию Clubhouse для Android
26.02.2021 1728 VKuser24342747 0
Масштабное обновление Trello: пять новых видов досок и интеграция с Google Docs
25.02.2021 2736 user1015646 0
Видеоигра на базе нейросетевого генератора текстов стала бизнес-консультантом
25.02.2021 1677 VKuser24342747 1
В ближайшие годы возрастет потребность в персонале центров обработки данных
24.02.2021 1909 SKravchenko 0
Rustоманы из Долины: Google, Microsoft, Huawei, Mozilla и AWS основали фонд поддержки языка программирования
16.02.2021 1589 user1015646 0
Украинская команда FireWay одержала победу в хакатоне NASA Space Apps Challenge 2020
05.02.2021 1951 SKravchenko 2
Microsoft участвует в разработке цифрового паспорта вакцинации от Covid-19
02.02.2021 1740 capitan 3
Что нового в Chrome 88: проверка надежности паролей и поддержка профилей
01.02.2021 2206 user1015646 0
280 символов для науки: Twitter откроет доступ ученым к архиву твитов
29.01.2021 1473 VKuser24342747 1