Nvidia продемонстрировала технологию, которая способна автоматически генерировать 3D-окружение. Для этого необходимо только снять видеоролик, и система смоделирует пространство из него в цифровом виде.
Нейросетевой моделлер
Компания Nvidia, один из крупнейших производителей видеокарт, опубликовала результаты собственного исследования, посвященного искусственному интеллекту. Работа основана на базе уникального проекта предприятия – нейросети, умеющей создавать точные трехмерные копии объектов из видеозаписей.
Система анализирует ролик и обрабатывает его, после чего без вмешательства человека генерирует полноценное 3D-окружение, полностью аналогичное представленному на видео. Программа уже умеет распознавать и моделировать городские здания, автомобили и деревья.
В чем польза
Представители Nvidia отметили, что проект может значительно упростить создание цифровых трехмерных миров. Сейчас каждый объект приходится рисовать вручную. Разработка компании поможет ускорить процесс и повысить качество создаваемого окружения.
Наибольшую пользу нейросеть принесет в производстве кинофильмов и видеоигр, архитектуре, автомобильной промышленности. К примеру, она позволяет генерировать интерактивное пространство, полностью повторяющее реальную местность. Авторы проекта отмечают, что видят не только научное, но и практическое применение для своей разработки. Кроме упрощения работы моделлеров и художников, программа может использоваться в сферах робототехники и автоматизации для усовершенствования систем, основанных на машинном зрении.
«Nvidia изобретает новые способы генерации интерактивной графики вот уже 25 лет, и это первый раз, когда мы можем сделать это с помощью нейросети. Нейросети, в частности генеративные модели, изменят то, как мы создаем графику», – прокомментировал результаты исследования Брайан Катанзаро, вице-президент Nvidia по глубокому машинному обучению.
Наглядная демонстрация
Для презентации своей разработки авторы исследования сделали небольшую видеоигру на базе движка Unreal Engine 4, демонстрирующую результаты работы нейросети. Пользователю предлагается прокатиться на машине по виртуальному городу, все пространство которого сгенерировано автоматически, без какого-либо редактирования со стороны человека. Система смоделировала не только полигональные сетки объектов, но и подобрала для них соответствующие текстуры, а также проработала освещение и его изменение по ходу движения игрока.
Все модели, создаваемые нейросетью, сохраняются в стандартном для трехмерной графики формате и могут быть изменены в 3D-редакторах. Это расширяет потенциал применения технологии.
