Возврат к списку

Нейросеть Nvidia создает картины по грубым зарисовкам

26.03.2019     

Nvidia разработала технологию, превращающую схематические наброски в фотореалистичные изображения. Она упростит работу художников и аниматоров.

Будущее графики

Компания-производитель видеокарт Nvidia презентовала на GPU Technology Conference 2019 нейросеть GauGAN, названную так в честь художника Поля Гогена. Она превращает грубый нарисованный набросок в полноценное изображение. Пользователь отмечает контуры необходимых объектов в специальном графическом редакторе и получает реалистичную картину. 

Пока система умеет генерировать только пейзажи. Для обучения нейросети инженеры Nvidia использовали более миллиона изображений Flickr. Благодаря этому программа автоматически дорисовывает необходимые детали: отражения деревьев в воде, погодные условия и т.д.

В дальнейшем приложение научится работать с городской архитектурой и портретами людей. В свободном доступе программы пока нет, и планов по ее релизу Nvidia также не озвучила. Однако на презентации компании опробовать GauGAN мог любой желающий.

 

Принцип работы нейросети

 

Умный редактор

Вместе с нейросетью Nvidia представила сам графический редактор, где нейросеть по грубым наброскам создает реалистичные изображения. Пользоваться инструментом не сложнее, чем стандартным Paint. В нем есть три инструмента: заливка, перо и карандаш. Цвета и текстуры художник выбирает на палитре. 

GauGAN обрабатывает схематичные рисунки в режиме реального времени. Для этого требуется всего несколько секунд.

Как пользоваться

Чтобы начать генерацию изображения, достаточно нарисовать замкнутую линию, напоминающую необходимый объект, и залить ее похожим цветом. Например, если необходимо добавить на картинку озеро, нужно изобразить овал с неровными краями и покрасить его в синий цвет. Таким же образом создаются скалы, облака, леса и прочие детали пейзажа.

 

Пример работы нейросети

 

В редакторе можно «помочь» программе, указав желаемое время года или суток. Редактор добавит в итоговую картинку особенности, увеличивающие сходство с фото: например, для зимнего арта небо получится серым и мрачным, а на деревьях не будет генерироваться листва.

Поясняя принцип работы GauGAN, разработчики сравнивают ее с «умной» раскраской. По замыслу создателей нейросети, наиболее полезной она станет для художников, архитекторов, ландшафтных дизайнеров и других специалистов, которым важно быстро делать наброски изображений.

Главный недостаток программы – на некоторых изображениях заметны границы между объектами. Разработчики обещают в будущих версиях избавиться от этого эффекта.


Автор:
Александр Вашкевич Аналитик


Комментарии
Избранное Подписка Сортировка: Древо
1. s_vidyakin 26.03.19 12:11 Сейчас в теме
В дальнейшем приложение научится работать с городской архитектурой и портретами людей

Так, значит можно будет создавать кино просто накидав фабулу на полстранички - про генерацию сценариев еще в прошлом году была новость, как ИИ снял фильм, проанализировав структуру существующих.
Будут искуственные пейзажи, здания и люди - вложил текст, подождал день рендеринга и готово.
9. Darklight 19 26.03.19 15:49 Сейчас в теме
(1)Вероятно когда-нибудь такое будет - здесь нет ничего невозможного! Но пока на выходе - унылое гав...
3. zhuntovda 26.03.19 12:52 Сейчас в теме
Круто, очень круто. Серьезная работа!
4. VmvLer 26.03.19 13:10 Сейчас в теме
это станет востребовано уже используется в масштабных игровых проектах.

Каким бы не были красивыми прорисовки локаций в виртуальных вселенных, но прям бесит
когда сел пошпилить и где-то встрял. Ну че, лезешь на ютуб и слышишь там шепелявым фальцетом
рецеп прохождения локации - после этого пропадает эффект уникальности и интерес к игре.

И вот когда с помощью данной технологии виртуальные миры станут по настоящему уникальны и
будут генерироваться для каждого пользователя персонально - вот тогда можно будет рассчитывать
только на себя. Это будет совершенно новый вид бизнеса без ...шепелявого фальцета.
Затем подтянутся тв и дополненная реальность.
8. Darklight 19 26.03.19 15:48 Сейчас в теме
(4)Да - для каждого пользователя сгенерируют его персональную судьбу - но не факт что она приведёт главному финалу и тем более к хэпиэнду, и вообще не факт что будет суждено продвинутться дальше "третьей локации второго уровня" - такова она природа случайности - кому-то даёт флешрояль, а у кого-то одни шестёрки на руках (ну не самый плохой вариант кстати).
Ziggurat; +1 Ответить
5. user856012 10 26.03.19 13:30 Сейчас в теме
Интересно, а если нейросети эскиз денежной купюры предъявить - прорисует?

Или, как в классике: "Это все от таланта зависит. Вот у меня есть друг, тоже ученый. У него три класса образования, а он за полчаса десятку так нарисует - от настоящей не отличишь"
6. s_vidyakin 26.03.19 13:48 Сейчас в теме
Затем подтянутся тв и дополненная реальность.
И здравствуй киберпанк!
7. Darklight 19 26.03.19 15:43 Сейчас в теме
Почему меня это не впечатляет?

Во-первых, это не картины - а фотографии!

Во-вторых, это больше похоже на продвинутый фотоморфинг по цветной маске, чем на рисование. Бесспорно - как плагин для фотошопа - очень не плохо. Но что же он делает реально то? С виду просто подыскивает подходящие объекты в своей БД фотографий и морфит их на нарисованный контур.

В общем, вроде ещё не первое апреля, а уже смеяться над такой разработкой хочется! Может это вообще всё постановочный фейк - всё заранее уже подобрано - для показухи нужно просто более менее аккуратно очертить границы - и готовые изображения в них будут вписаны!

ну, или я прост не понимаю все сложности и крутости данного революционного метода в живописи!
Оставьте свое сообщение

См. также