Нейросеть Nvidia создает картины по грубым зарисовкам

26.03.2019     

Nvidia разработала технологию, превращающую схематические наброски в фотореалистичные изображения. Она упростит работу художников и аниматоров.

Будущее графики

Компания-производитель видеокарт Nvidia презентовала на GPU Technology Conference 2019 нейросеть GauGAN, названную так в честь художника Поля Гогена. Она превращает грубый нарисованный набросок в полноценное изображение. Пользователь отмечает контуры необходимых объектов в специальном графическом редакторе и получает реалистичную картину. 

Пока система умеет генерировать только пейзажи. Для обучения нейросети инженеры Nvidia использовали более миллиона изображений Flickr. Благодаря этому программа автоматически дорисовывает необходимые детали: отражения деревьев в воде, погодные условия и т.д.

В дальнейшем приложение научится работать с городской архитектурой и портретами людей. В свободном доступе программы пока нет, и планов по ее релизу Nvidia также не озвучила. Однако на презентации компании опробовать GauGAN мог любой желающий.

 

Принцип работы нейросети

 

Умный редактор

Вместе с нейросетью Nvidia представила сам графический редактор, где нейросеть по грубым наброскам создает реалистичные изображения. Пользоваться инструментом не сложнее, чем стандартным Paint. В нем есть три инструмента: заливка, перо и карандаш. Цвета и текстуры художник выбирает на палитре. 

GauGAN обрабатывает схематичные рисунки в режиме реального времени. Для этого требуется всего несколько секунд.

Как пользоваться

Чтобы начать генерацию изображения, достаточно нарисовать замкнутую линию, напоминающую необходимый объект, и залить ее похожим цветом. Например, если необходимо добавить на картинку озеро, нужно изобразить овал с неровными краями и покрасить его в синий цвет. Таким же образом создаются скалы, облака, леса и прочие детали пейзажа.

 

Пример работы нейросети

 

В редакторе можно «помочь» программе, указав желаемое время года или суток. Редактор добавит в итоговую картинку особенности, увеличивающие сходство с фото: например, для зимнего арта небо получится серым и мрачным, а на деревьях не будет генерироваться листва.

Поясняя принцип работы GauGAN, разработчики сравнивают ее с «умной» раскраской. По замыслу создателей нейросети, наиболее полезной она станет для художников, архитекторов, ландшафтных дизайнеров и других специалистов, которым важно быстро делать наброски изображений.

Главный недостаток программы – на некоторых изображениях заметны границы между объектами. Разработчики обещают в будущих версиях избавиться от этого эффекта.


Автор:
Александр Вашкевич Аналитик


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. s_vidyakin 26.03.19 12:11 Сейчас в теме
В дальнейшем приложение научится работать с городской архитектурой и портретами людей

Так, значит можно будет создавать кино просто накидав фабулу на полстранички - про генерацию сценариев еще в прошлом году была новость, как ИИ снял фильм, проанализировав структуру существующих.
Будут искуственные пейзажи, здания и люди - вложил текст, подождал день рендеринга и готово.
9. Darklight 22 26.03.19 15:49 Сейчас в теме
(1)Вероятно когда-нибудь такое будет - здесь нет ничего невозможного! Но пока на выходе - унылое гав...
3. zhuntovda 26.03.19 12:52 Сейчас в теме
Круто, очень круто. Серьезная работа!
4. VmvLer 26.03.19 13:10 Сейчас в теме
это станет востребовано уже используется в масштабных игровых проектах.

Каким бы не были красивыми прорисовки локаций в виртуальных вселенных, но прям бесит
когда сел пошпилить и где-то встрял. Ну че, лезешь на ютуб и слышишь там шепелявым фальцетом
рецеп прохождения локации - после этого пропадает эффект уникальности и интерес к игре.

И вот когда с помощью данной технологии виртуальные миры станут по настоящему уникальны и
будут генерироваться для каждого пользователя персонально - вот тогда можно будет рассчитывать
только на себя. Это будет совершенно новый вид бизнеса без ...шепелявого фальцета.
Затем подтянутся тв и дополненная реальность.
8. Darklight 22 26.03.19 15:48 Сейчас в теме
(4)Да - для каждого пользователя сгенерируют его персональную судьбу - но не факт что она приведёт главному финалу и тем более к хэпиэнду, и вообще не факт что будет суждено продвинутться дальше "третьей локации второго уровня" - такова она природа случайности - кому-то даёт флешрояль, а у кого-то одни шестёрки на руках (ну не самый плохой вариант кстати).
Ziggurat; +1 Ответить
5. user856012 12 26.03.19 13:30 Сейчас в теме
Интересно, а если нейросети эскиз денежной купюры предъявить - прорисует?

Или, как в классике: "Это все от таланта зависит. Вот у меня есть друг, тоже ученый. У него три класса образования, а он за полчаса десятку так нарисует - от настоящей не отличишь"
6. s_vidyakin 26.03.19 13:48 Сейчас в теме
Затем подтянутся тв и дополненная реальность.
И здравствуй киберпанк!
7. Darklight 22 26.03.19 15:43 Сейчас в теме
Почему меня это не впечатляет?

Во-первых, это не картины - а фотографии!

Во-вторых, это больше похоже на продвинутый фотоморфинг по цветной маске, чем на рисование. Бесспорно - как плагин для фотошопа - очень не плохо. Но что же он делает реально то? С виду просто подыскивает подходящие объекты в своей БД фотографий и морфит их на нарисованный контур.

В общем, вроде ещё не первое апреля, а уже смеяться над такой разработкой хочется! Может это вообще всё постановочный фейк - всё заранее уже подобрано - для показухи нужно просто более менее аккуратно очертить границы - и готовые изображения в них будут вписаны!

ну, или я прост не понимаю все сложности и крутости данного революционного метода в живописи!
Оставьте свое сообщение

См. также

Число загрузок мобильных приложений обновило рекорд

Новость Аналитика ИТ-новость Мобильные приложения

Пользователи стали устанавливать больше мобильных приложений, а количество загрузок достигло рекорда. Кроме того, увеличилось и время использования приложений, выяснили аналитики агентства App Annie.

вчера в 14:11    157    user1015646    0       

Роспечать предложила создать сервисы для поиска фейков и анализа контента

Новость Искусственный интеллект ИТ-новость Новости компаний

Роспечать предложила использовать искусственный интеллект для распознавания поддельных новостей. Каким образом нейросеть будет определять дипфейки, эксперты не знают.

вчера в 11:30    160    VKuser24342747    2       

Microsoft заблокировала возможность деинсталляции Edge из Windows 10

Новость Windows Интернет ИТ-новость Новости компаний

Microsoft официально подтвердила, что пользователи не смогут деинсталлировать новый браузер Edge после обновления Windows 10.

13.08.2020    392    SKravchenko    0       

Создан новый язык программирования Armada для работы с параллельными вычислениями

Новость ИТ-новость Языки программирования

Группа исследователей опубликовала новый язык программирования Armada. Язык предназначен для формальной проверки высокопроизводительных параллельных программ.

12.08.2020    1057    SKravchenko    8       

Энтузиаст запустил в Minecraft компьютер на Windows 95

Новость ОС Windows Видеоигры ИТ-новость

Разработчик delta2force представил мод VM Computers для популярной игры-песочницы Minecraft. Он позволяет добавить в игру виртуальный компьютер и запустить на нем Windows 95.

12.08.2020    495    user1015646    2       

Выпущен ПК весом 83 грамма с поддержкой нескольких десктопных ОС

Новость Гаджеты ИТ-новость Микроэлектроника

Компания XCY выпустила миниатюрный компьютер Mini PC Stick, по размеру напоминающий флешку, помещающуюся в ладони. В качестве ОС на него можно установить Windows 10 или Linux.

11.08.2020    858    user-programmist    10       

Сбербанк создаст криптовалюту, привязанную к рублю

Новость Банки Блокчейн ИТ-новость Новости компаний

Сбербанк выпустит собственную криптовалюту Sbercoin – стейблкоин, курс которого будет привязан к рублю. Он упростит внутренние транзакции и не противоречит закону о цифровых финансовых активах (ЦФА).

11.08.2020    549    user1015646    7       

Windows 10 сможет запускать приложения с Android-смартфонов

Новость Windows Android Infostart Software Partners Маркет Новости компаний

5 августа 2020 года Microsoft объявила о новшествах, которые появятся в Insider Preview Build 20185. Одной из самых интересных функций стало дальнейшее развитие службы «Ваш телефон».

07.08.2020    881    capitan    4       

Программист из Slack превратил MacOS 8 в кроссплатформенное приложение

Новость ОС Mac OS ИТ-новость

Разработчик создал приложение, позволяющее запустить MacOS 8 на современных компьютерах как обычное приложение. Для этого не понадобится даже предварительно устанавливать эмулятор.

06.08.2020    731    VKuser24342747    0       

МТС получил первую в России лицензию на развитие сети 5G

Новость ИТ-новость Новости компаний Телекоммуникации

Роскомнадзор предоставил МТС лицензию на строительство сети 5G по всей территории России — в 83 из 85 субъектов. Срок действия лицензии - до лета 2025 года. Для развития сети были выданы частоты от 24,25 до 24,65 ГГц.

05.08.2020    733    user-programmist    1       

Работа с большими данными во всем мире должна регулироваться профстандартом

Новость Искусственный интеллект ИТ-новость

Британское компьютерное общество (BCS) вместе с Королевским статистическим обществом (RSS) и Королевской инженерной академией (RAEng) начали работу по созданию профстандартов в отрасли больших данных (BigData).

05.08.2020    617    SKravchenko    3       

GitHub представил дорожную карту развития сервиса

Новость GitHub ИТ-новость

GitHub будет лучше знакомить разработчиков с грядущими обновлениями сервиса при помощи публичных дорожных карт. Пользователи смогут влиять на выполнение запланированных улучшений и помогать им продвигаться вперед по карте.

05.08.2020    624    VKuser24342747    0       

IEEE опубликовал свежий рейтинг языков программирования

Новость ИТ-новость Языки программирования

Институт инженеров электротехники и электроники IEEE Spectrum недавно опубликовал свой рейтинг языков программирования за 2020 год. Как и в последние несколько лет Python снова лидирует, но есть и несколько сюрпризов.

04.08.2020    854    SKravchenko    1       

Facebook запускает конкурента Zoom

Новость ИТ-новость Мессенджеры Новости компаний

23 июля Facebook объявил, что расширяет возможности Messenger Rooms и Facebook Live, – теперь пользователи могут организовывать онлайн-совещания с участием до 50 человек.

03.08.2020    663    SKravchenko    0       

Виртуальные фанаты заполнят пустые стадионы

Новость Искусственный интеллект ИТ-новость Телекоммуникации

Из-за пандемии COVID-19 сто двадцатый сезон в истории главной лиги бейсбола США пройдет с пустыми стадионами. Но Fox Sports для своих трансляций будет заполнять трибуны виртуальными фанатами с цифровой визуализацией.

31.07.2020    714    SKravchenko    2       

Начался выпуск российских материнских плат для ARM-процессоров «Байкал»

Новость Импортозамещение ИТ-новость Микроэлектроника

Первую российскую материнскую плату для нового ARM-процессора Baikal-M представили компании «Байкал электроникс», «Эдельвейс» и «Базальт СПО». Ориентировочная стоимость платы – 50 тыс. рублей.

30.07.2020    822    user1015646    3       

Банки оценили переход на отечественное ПО в сотни миллиардов рублей

Новость Банки ИТ-новость Цифровая экономика

Российские банки пересчитали планируемые расходы на внедрение отечественных программ. Затраты финансовых учреждений могут составить до 150 млрд рублей.

30.07.2020    606    VKuser24342747    0       

Молодые сотрудники используют больше разных приложений для работы

Новость Автоматизация Аналитика ИТ-новость

Исследование, проведенное консалтинговой фирмой Creative Strategies по изучению сотрудничества, показало значительные различия в стиле и подходе к работе у разных возрастных групп.

29.07.2020    892    SKravchenko    0       

Microsoft представила утилиту для мониторинга процессов в Linux

Новость Linux ИТ-новость Новости компаний

Компания Microsoft выпустила утилиту ProcMon (Process Monitor) для Linux. Программное обеспечение распространяется под открытой лицензией MIT. Ранее ProcMon была доступна только для Windows.

29.07.2020    783    user1015646    2       

Google сделает Android Go обязательной на устройствах с ОЗУ меньше 2 ГБ

Новость Google ИТ-новость Мобильные приложения

С октября 2020 года на все новые Android-устройства, имеющие объем ОЗУ 2 ГБ и менее, Google заставит устанавливать Android Go – модифицированную версию Android для устройств начального уровня.

28.07.2020    1679    SKravchenko    0       

Google Cloud представил новые средства безопасности

Новость Google Безопасность ИТ-новость

Облачная платформа Google Cloud разработала новые инструменты для обеспечения безопасности. Они ориентированы на крупные коммерческие компании, банки и государственные учреждения.

28.07.2020    756    user1015646    0       

ПК на Windows могут перейти на ARM-процессоры

Новость Windows Mac OS ИТ-новость Микроэлектроника

22 июня Apple объявила о переходе Mac на процессоры собственного производства на базе архитектуры ARM. Первые системы появятся к концу года, начав двухлетний переходный период.

24.07.2020    1942    SKravchenko    1       

Разработчики GitHub представили GCM Core – инструмент универсальной аутентификации для Git-серверов

Новость GitHub ИТ-новость

Git Credential Manager Core – это кроссплатформенный инструмент, который может стать альтернативой традиционной HTTPS- или SSH-аутентификации для Git-серверов. Планируется, что в будущем он заменит существующие утилиты аутентификации для Windows, macOS и Linux.

24.07.2020    1193    user1015646    1       

Google выпустила большое обновление Chrome

Новость Google Безопасность Интернет Интерфейсы ИТ-новость

14 июля Google выпустила стабильную версию браузера Chrome 84 Desktop для Windows, Mac и Linux. Новый Chrome получил поддержку Web OTP API, ярлыки PWA и умеет блокировать навязчивые уведомления.

23.07.2020    1810    SKravchenko    0       

GitHub разместил пленочный архив открытого кода в арктическом хранилище

Новость GitHub ИТ-новость

GitHub завершил масштабный перенос архива открытого исходного кода в хранилище Arctic World Archive. Данные будут храниться в виде фотоснимков на пленочных накопителях.

22.07.2020    1206    VKuser24342747    2