Нейросеть научили создавать изображения по текстовому описанию

19.01.2021      12049

Разработчики компании OpenAI представили нейронную сеть DALL-E. Она анализирует англоязычный текст и создает изображения на его основе. 

В духе великого испанца

Создатели назвали нейросеть в честь испанского художника Сальвадора Дали и робота WALL-E из мультфильма Pixar. 

DALL-E успешно справится даже со странными запросами. Вот так, например, выглядит кресло в форме авокадо:

 

 

А так – улитка в виде арфы:

 

Как работает нейросеть

В основу DALL-Е легла архитектура нейросети GPT-3, которая создает тексты на основе заданных параметров. Эта сеть неделю выдавала себя за человека, генерируя посты для блога. 

DALL-E – расширение GPT-3 – задействует 12 млрд параметров. Она умеет анализировать текстовые запросы, находить в них объекты и смыслы, составлять изображения, пользуясь базой основных картинок. 

Формально на вход поступает 1280 токенов: 256 содержат текст, 1024 – фрагменты изображения. Затем нейросеть по авторегрессионной модели создает новые картинки. 

Основные навыки

DALL-Е может создавать картины с одним или несколькими объектами, передавать объем и перспективу, восстанавливать фото по его части. При создании фото она учитывает местные особенности: например, национальной еды или пейзажей. 

Нейросеть добавляет надписи в различных стилях на дорожные знаки или рекламные таблички. 

Кроме того, DALL-E умеет достраивать недостающие фрагменты изображений. Например, для решения задачи на уровень IQ. 

 

 

Разработчики подчеркнули: DALL-Е понимает сложные фразы и способна генерировать абстракции. В результате создаются объекты, которых не существует в реальном мире – речь идет именно о генерации, а не о наилучшей поисковой выдаче. 

В OpenAI отметили, что в будущем собираются применять DALL-E и подобные ей нейросети для решения мировых проблем. Например, прогнозировать востребованность профессий, как будут развиваться производства и экономика в целом.


Автор:
Обозреватель


См. также

Новость Дата-центры Искусственный интеллект ИТ-Новость

Развитие искусственного интеллекта и цифровых сервисов в России стало причиной роста потребности в мощных центрах обработки данных. Эксперты прогнозируют, что дефицит ЦОД, который уже наблюдается сегодня, в ближайшие годы будет только усиливаться.

18.07.2024    214    AnastasiaKl    0       

1

Новость ИТ-Новость

В сентябре 2024 года видеоигры в России начнут маркировать – пока на добровольной основе. Геймерам будут сообщать о семи видах чувствительного (неприятного) контента в игре.

17.07.2024    265    user1915669    0       

1

Новость Законодательство ИТ-Новость

Депутаты Госдумы работают над законопроектом по ужесточению контроля за электросамокатами. Среди мер: обязательная регистрация СИМ (средств индивидуальной мобильности) и разработка системы отслеживания их перемещений.

10.07.2024    499    AnastasiaKl    2       

1

Новость Искусственный интеллект ИТ-Новость

В 2024 году «Сколково» выделит пилотным проектам в сфере искусственного интеллекта гранты на общую сумму 554 млн рублей. В результате отбора финансирование получат проекты с применением ИИ в областях производства, операционной деятельности и в работе предоставляемых сервисов.

12.04.2024    1028    AnastasiaKl    3       

3

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    851    VKuser24342747    2       

1

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    641    VKuser24342747    0       

2

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    791    VKuser24342747    2       

1

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    1025    VKuser24342747    2       

3
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Оставьте свое сообщение