«Сбер» представил нейросеть для генерации картинок по описанию

11.11.2021      21954

Сервис ruDALL-E способен генерировать изображения с нуля по текстовому описанию на русском языке. Авторы полагают, что модель будет полезна для создания рекламного, архитектурного и промышленного дизайна.

Как работает

Нейросеть обучена одновременно на двух типах данных: иллюстрациях и текстовых материалах. Благодаря этому она способна генерировать неограниченное количество новых изображений по описанию, введенному пользователем. Опробовать результат машинного обучения можно на официальном сайте сервиса ruDALL-E.

Создание картинки проходит в три этапа. Сперва нейросеть обрабатывает введенный текст и генерирует определенное число иллюстраций. После этого алгоритм отбирает из получившихся вариантов наиболее удачные и подходящие под описание. На финальной стадии программа улучшает качество отобранного изображения, увеличивает его в размере и демонстрирует пользователю.

 

Примеры генерации нейросети по описанию «Ежик в тумане»

 

Подробности разработки

В разработке ruDALL-E принимали участие команды SberDevices, Sber AI и SberCloud. Разработчики на базе публикации OpenAI воспроизвели код и смогли запустить обучение нейросети на платформе ML Space, которая работает на мощностях суперкомпьютера «Кристофари».

В итоге проект «Сбера» стал самой большой моделью такого рода в мире, которая способна работать с русскими описаниями. Процесс обучения занял 24 тысячи GPU-часов, за это время программа обработала массив данных из 120 миллионов пар «текст-изображение».

По словам Давида Рафаловского, исполнительного вице-президента «Сбербанка» и руководителя блока «Технологии», проект ruDALL-E – настоящий прорыв для русскоязычной индустрии. Еще два года назад постановку подобной задачи было невозможно вообразить.

Результат генерации по запросу «1С программист»

 

Открытые модели

Сейчас у разработчиков готовы две модели разного размера, которые получили имена двух известных российских художников-абстракционистов – Василия Кандинского и Казимира Малевича:

  • ruDALL-E Kandinsky (XXL), содержащая 12 миллиардов параметров;
  • ruDALL-E Malevich (XL) с 1,3 миллиардов параметров.

Модель XL уже можно бесплатно скачать с Github и использовать. Также в open source «Сбер» выложил еще несколько своих разработок, связанных с генерацией изображений:

Также команда разработчиков рассказала о масштабах проделанной работы. Модель ruDALL-E Kandinsky прошла обучение в 37 дней на базе оборудования с 512 GPU TESLA V100, а после дообучалась 11 дней на 128 GPU TESLA V100. Всего подготовка модели заняла 20 352 GPU-дней. Для подготовки ruDALL-E Malevich потребовалось 8 дней и устройства с 128 GPU TESLA V100, а потом еще 15 дней на 192 GPU TESLA V100, что в сумме составило 3 904 GPU-дня.

 

Результат генерации по запросу «Инфостарт»


Автор:
Аналитик


Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Obertone 76 11.11.21 13:01 Сейчас в теме
Неизвестно, как эта технология будет полезна для создания рекламного, архитектурного и промышленного дизайна, а вот то, что качество этого дизайна и его реализаций может снизиться, нельзя исключить.

К тому же, как гласит один комментарий в статье о фальш-лицах,
"все эти "достижения" (распознавание лиц, фокусы с нейросетями) однажды будут запрещены международной конвенцией так же, как запрещены сейчас химическое оружие, кассетные боеприпасы и экспансивные пули. Когда-то это все тоже было достижением инженерии и вызывало восторг в определенных кругах. Вопрос только в том, понадобится ли для этого глобальный катаклизм".
2. starik-2005 3046 11.11.21 13:40 Сейчас в теме
Пенсионеры - что с них взять.
3. SergeyTerentyev 11.11.21 14:00 Сейчас в теме
Такой бред мне нагенерила
Obertone; +1 Ответить
4. info1i 226 11.11.21 21:16 Сейчас в теме
Прогресс, конечно велик!
Но решение еще сырое.
Описание:
"Светлый день, солнце светит ярко. Дом большой и крепкий, возле дома сад весь в зеленой траве. В саду длинные ряды деревьев: яблони, сливы, абрикосы, груши, персики, черешни, вишни.
Все деревья полны плодами.
"
Вот результат:
Прикрепленные файлы:
dpershin; +1 Ответить
5. papami 56 11.11.21 23:17 Сейчас в теме
Кот в сапогах
Прикрепленные файлы:
6. Tejmur 16.11.21 21:50 Сейчас в теме


Угадайте, что я написал?
7. Obertone 76 17.11.21 07:59 Сейчас в теме
(6) Всадник без головы? Конь апакелипсиз ("приехавшей мамы")? Гуигнгнм? :)
8. Obertone 76 17.11.21 09:51 Сейчас в теме
(6) Ещё один вариант ответа: роболошадь. :)
9. Tejmur 17.11.21 13:51 Сейчас в теме
(8) почти ) Это конь в пальто :)
10. Obertone 76 17.11.21 15:41 Сейчас в теме
(9) Глядя на картинку, подумаешь больше о пальто из коня на вешалке,
чем о коне в пальто. Или о лошади, которая поедает пальто и галстук (вообразите, что будет, если таковая окажется в жизни).

Вот если бы нейросети стали применять для отделения голоса от фоновой музыки....
Куда более практичная задача, нежели генерация картинок. А визуально можно вообразить и самому лучше картиночной нейросети.
11. for_sale 974 05.12.21 22:13 Сейчас в теме
(6) Глядя на эту картинку, словно слышу "УБЕЙТЕ МЕНЯ!!!"
Оставьте свое сообщение

См. также

«Сколково» объявил отбор перспективных ИИ-проектов для получения грантов

Новость Искусственный интеллект ИТ-Новость

В 2024 году «Сколково» выделит пилотным проектам в сфере искусственного интеллекта гранты на общую сумму 554 млн рублей. В результате отбора финансирование получат проекты с применением ИИ в областях производства, операционной деятельности и в работе предоставляемых сервисов.

12.04.2024    728    AnastasiaKl    3       

3

В программу подготовки спортивных программистов вошли бег и скорость печати

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    776    VKuser24342747    2       

1

Росстандарт утвердил протокол LoRaWAN для интернета вещей

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    555    VKuser24342747    0       

2

Новый закон откладывает на год вступление в силу изменений в порядок регистрации на сайтах

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    716    VKuser24342747    2       

1

Вышло крупное обновление для Android Studio

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    911    VKuser24342747    2       

3

GitHub опубликовал результаты ежегодного исследования проектов с открытым исходным кодом

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    575    VKuser24342747    1       

2

Некоммерческие проекты смогут получить бесплатный доступ к GigaChat API

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    724    VKuser24342747    2       

3

Состоялся релиз свободной среды разработки Geany 2.0

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    761    VKuser24342747    0       

1

Минцифры подготовило критерии по выбору оператора реестра провайдеров хостинга

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило проект постановления, которое утверждает требования к организации, претендующей на статус оператора реестра провайдеров хостинга.

25.10.2023    415    VKuser24342747    0       

1

Минцифры составило алгоритм действий для компаний, у которых не работает VPN

Новость Минцифры ИТ-Новость

Минцифры подготовило разъяснения для российских организаций, у которых возникли перебои в работе VPN-сервисов для клиентов и сотрудников из-за блокировки запрещенных ресурсов Роскомнадзором.

24.10.2023    699    VKuser24342747    0       

0

«Сбер» объявила о доступности SberLinux OS Server для российских компаний

Новость Импортозамещение ИТ-Новость

«СберТех», дочерняя компания «Сбера», объявила о предоставлении доступа к собственной серверной операционной системе SberLinux OS Server российским компаниям. ОС включена в реестр отечественного ПО.

20.10.2023    972    VKuser24342747    0       

2

Минцифры внесло изменения в проект правил идентификации клиентов веб-хостингов

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило изменения в пакет документов, которые устанавливают новые требования для провайдеров хостинга. Ведомство расширило перечень допустимых методов идентификации клиентов.

18.10.2023    504    VKuser24342747    0       

1

Google выпустила финальную версию Android 14

Новость Android Google ИТ-Новость

Google выпустила новую версию мобильной ОС Android 14. Изменения затронули настройки внешнего вида и безопасности. Были расширены возможности камеры и инструментов для хранения данных.

12.10.2023    774    VKuser24342747    0       

1

Яндекс объявил об открытии исходного кода DataLens

Новость Аналитика ИТ-Новость Яндекс

BI-система Yandex DataLens теперь развивается в опенсорс. Код продукта выложен для всех на GitHub. Любой желающий сможет развернуть DataLens на своем железе и доработать его под свои сценарии применения.

03.10.2023    1543    ЕленаЧерепнева    1       

6

Роскомнадзор создаст реестр хостинг-провайдеров

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило несколько проектов постановлений, которые утверждают правила ведения реестра поставщиков хостинг-услуг, а также новые требования к провайдерам.

02.10.2023    647    VKuser24342747    0       

1

«СберТех» представил репозиторий GitVerse с ИИ-помощником для написания кода

Новость Импортозамещение ИТ-Новость Программист

«СберТех» начал прием заявок на тестирование веб-сервиса для публикации ИТ-проектов GitVerse. Платформа подходит для разработки программ с открытым и закрытым кодом.

26.09.2023    900    VKuser24342747    2       

1

ИП и юрлица смогут использовать смартфон для создания и замены электронной подписи

Новость ИТ-Новость ФНС Цифровая подпись

ФНС внесла изменения в правила оформления электронной подписи руководителя организации и ИП. Станет возможным продлевать ее и записывать при помощи мобильного устройства.

18.09.2023    475    VKuser24342747    1       

1

Журнал IEEE Spectrum опубликовал рейтинг популярности языков программирования

Новость ИТ-Новость Языки программирования

Журнал Института инженеров электротехники и электроники IEEE Spectrum подготовил рейтинг самых популярных языков программирования в 2023 году. Статистика разделена на три категории.

01.09.2023    1397    VKuser24342747    4       

2

В бета-версии Microsoft 365 появилась поддержка языка Python для Excel

Новость ИТ-Новость Языки программирования

С помощью библиотек и средств визуализации Python можно будет манипулировать данными Excel, а затем использовать полученные результаты в формулах, диаграммах и сводных таблицах.

28.08.2023    769    VKuser24342747    0       

2

Специалисты Калифорнийского университета установили, что боты справляются с CAPTCHA лучше, чем люди

Новость ИТ-Новость

Международная группа исследователей изучила эффективность тестов CAPTCHA. Ученые пришли к выводу, что технология больше мешает людям, потому что боты научились с ней справляться.

24.08.2023    1240    VKuser24342747    23       

2

Google Chrome начнет поддерживать квантово-устойчивые алгоритмы шифрования

Новость Google Безопасность ИТ-Новость

В версии Google Chrome 116 появится поддержка алгоритмов шифрования, устойчивых к попыткам дешифрации при помощи квантовых вычислений. Технология объединяет преимущества классической и инновационной криптографии.

24.08.2023    517    VKuser24342747    0       

1

В реестр российского ПО включен первый комплекс обработки больших данных

Новость Импортозамещение Минцифры ИТ-Новость Реестр ПО

Минцифры внесло в реестр отечественного ПО программно-аппаратный комплекс «Скала-Р», предназначенный для обработки больших данных. Это первый комплекс с таким функционалом, включенный в перечень.

22.08.2023    510    VKuser24342747    0       

1

Microsoft внедрила новые функции в GitHub Copilot и анонсировала Windows Copilot

Новость GitHub Искусственный интеллект

ИИ-помощник для разработчиков GitHub Copilot теперь не только в реальном времени анализирует код, предлагает варианты для его улучшения и помогает найти решение проблем в разработке, но и  показывает ссылки на репозитории, из которых взят код. 

17.08.2023    1248    VKuser24342747    0       

1

В JetBrains разработали ИИ-помощника для аналитиков данных

Новость Аналитика Искусственный интеллект

JetBrains представила нейросеть Ask AI для онлайн-блокнота Datalore. Виртуальный ассистент способен генерировать код на нескольких языках, предлагать доработки и упрощать процесс аналитики данных. 

16.08.2023    737    VKuser24342747    0       

1

Исследование: ChatGPT дает неправильный ответ на половину вопросов о программировании

Новость Искусственный интеллект ИТ-Новость

Чат-бот OpenAI ошибается в 52% случаев, когда отвечает на вопросы по программированию. Однако делает это так убедительно, что пользователи не замечают ошибки. 

14.08.2023    1182    VKuser24342747    5       

3