OpenAI показала результат работы программы GLIDE, которая способна внести изменения в готовое изображение по описанию с сохранением стиля и экспозиции. Также нейросеть может создавать уникальные картинки.
Как работает технология
Исследователи из OpenAI использовали для обучения нейросети 3,5 млрд параметров, при тестировании применяли классификатор CLIP, а также тестировали автономно. Второй подход показал более высокую эффективность и позволял создать выборку более высокого качества.
Также разработчики использовать диффузионные модели, чтобы добиться изменения конкретного участка изображения. Благодаря технологии нейросеть искажает исходную картинку, постепенно добавляя в нее гауссовский шум, а затем обращает этот процесс вспять, дорисовывая необходимые детали. Аналогичным образом работает ИИ от Google, который увеличивает разрешение.
Изменение изображения занимает несколько секунд. Во время работы алгоритм учитывает тени и отражения. Также нейросеть способна работать не только с фотографиями, но и авторскими иллюстрациями. В этом случае она будет пытаться адаптироваться к художественному стилю картины.
Результаты работы нейросети
Кроме того, GLIDE способна генерировать новые фотореалистичные изображения, объединять концепции правильным образом и осуществлять художественную визуализацию. По словам авторов проекта, программа выдает более предпочтительные образцы на 87% чаще, чем предыдущая разработка OpenAI для создания картинок с помощью ИИ DALL-E.
Особенности проекта
Результат генерации GLIDE зачастую практически не уступает работе человека, хорошо владеющего инструментами Photoshop. Нейросеть способна успешно обрабатывать достаточно сложные запросы вроде «повесить картину Ван Гога на стену», однако плохо справляется со странными и нетипичными описаниями, такими как «автомобиль с треугольными колесами».
Результаты исследования разработчиков доступны на научном портале arXiv.org. Исходный код сокращенной модели опубликован на GitHub и доступен для свободного тестирования.
Ранее свою нейросеть для генерации изображений под названием ruDALL-E представил «Сбер». Ключевое отличие российской разработки от иностранного аналога – возможность создавать картинки по описанию на русском языке, в то время как проект OpenAI работает только с английскими словами.