В Google научились увеличивать изображения в 16 раз с восстановлением деталей

09.09.2021      15333

Раньше увеличить видео с камер наблюдения в десятки раз получалось только у героев фильмов. Но теперь такая возможность существует и в реальной жизни – инженеры Google разработали прорывную технологию масштабирования изображений.

Из одного пикселя – шестнадцать

Исследователи команды Brain Team опубликовали статью «Создание высокоточных изображений с использованием диффузных моделей» в блоге Google AI, который посвящен разработкам в сфере искусственного интеллекта.

Концепцию диффузных моделей впервые предложили в 2015 году. До недавнего времени они уступали глубоким генеративным моделям, но сейчас специалисты представили впечатляющие результаты применения новых подходов.

Brain Team создала модели машинного обучения и натренировала их превращать фотографии с низким разрешением в максимально детализированные изображения. Исследователи использовали сразу несколько технологий. Например, в диффузных моделях SR3 сверхвысокое разрешение достигается посредством повторного уточнения.

 

 

Модель SR3 обучается процессу искажения изображений, при котором к оригинальной картинке низкого разрешения постепенно добавляется шум (пиксели случайных цветов, расположенные в произвольных местах). В какой-то момент на фото останется только чистый шум – все оригинальные пиксели замещаются.

Если модель понимает, как это произошло, то она с высокой точностью сможет реализовать обратную процедуру – убрать шум с изображения, а также повысить его разрешение. Результат работы технологии:

 

 

Специалисты обнаружили, что SR3 хорошо работает при масштабировании портретов и естественных изображений. При 8-кратном увеличении лиц коэффициент смешения модели достигает 50%: это значит, что в половине случаев оригинальное фото высокого разрешения не отличить от увеличенного. Существующие методы обеспечивают сходные результаты лишь в 34% случаев.

Исследователи улучшили SR3 и получили CDM – условно-классовую диффузную модель. Фактически это целый каскад моделей машинного обучения: первая генерирует данные с низким разрешением, а каждая следующая постепенно его повышает.

CDM обучили на выборке фотографий сети ImageNet. В наборе примеров можно увидеть, как каскадно масштабируются изображения: от картинки 32×32 пикселя до 64×64 пикселей, а затем до 256x256 пикселей. Снимок размером 64×64 пикселя может быть увеличен до 256×256 пикселей, а затем до 1024×1024 пикселей.

 

 

Потенциал решения

Технология поможет улучшить качество самых разных изображений – от старых кинолент до звонков по видеосвязи, от исторических фото прошлых веков до результатов медицинских исследований.

В Google признали, что модели порой ошибаются и неверно воспроизводят детали. Например, на восстановленном изображении высокого разрешения может не оказаться тонкой оправы очков или других изящных деталей – и как раз за счет этого человек поймет, что фото не оригинальное. Но результаты, представленные в репозиториях моделей, открывают широкие возможности для масштабирования фото и видео и дальнейшего развития технологий машинного обучения.

Репозиторий SR3
Репозиторий CDM


Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. vipetrov2 10.09.21 07:17 Сейчас в теме
Это по сути дорисовывание, а не увеличение. Для улучшения качества старых фильмов это очень хорошо. А вот для профессиональной деятельность это все баловство, например, для расследования увидеть на фото плохого качества из 10х10 пикселей лицо не выйдет.
Фотокамеры смартфонов уже давно этим занимаются, там реальные оптические камеры на 3-5М пикселей, а дают изображения на 16М пикселей, в итоге лица у всех, как из пластилина. Кому то нравится, прыщей, морщин не видно, но это уже не фотография, а художественный рисунок.
user790708; +1 Ответить
2. Xershi 1473 10.09.21 08:59 Сейчас в теме
(1) так название метода об этом и говорит.
В целом отличный инструмент.
3. dka80 20 10.09.21 13:43 Сейчас в теме
(1)
реальные оптические камеры на 3-5М пикселей, а дают изображения на 16М пикселей

это так, но не совсем так. Действительно, реальных пикселей там примерно в 2,33 раза меньше, чем заявлено. Но это связано с тем, что один реальный пиксель обрабатывается тремя цветовыми пикселями. На хабре была хорошая статья про это.
Оставьте свое сообщение

См. также

В программу подготовки спортивных программистов вошли бег и скорость печати

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    596    VKuser24342747    2       

1

Росстандарт утвердил протокол LoRaWAN для интернета вещей

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    389    VKuser24342747    0       

2

Новый закон откладывает на год вступление в силу изменений в порядок регистрации на сайтах

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    584    VKuser24342747    2       

1

Вышло крупное обновление для Android Studio

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    684    VKuser24342747    2       

3

GitHub опубликовал результаты ежегодного исследования проектов с открытым исходным кодом

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    466    VKuser24342747    1       

2

Некоммерческие проекты смогут получить бесплатный доступ к GigaChat API

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    566    VKuser24342747    2       

3

Состоялся релиз свободной среды разработки Geany 2.0

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    677    VKuser24342747    0       

1

Минцифры подготовило критерии по выбору оператора реестра провайдеров хостинга

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило проект постановления, которое утверждает требования к организации, претендующей на статус оператора реестра провайдеров хостинга.

25.10.2023    338    VKuser24342747    0       

1

Минцифры составило алгоритм действий для компаний, у которых не работает VPN

Новость Минцифры ИТ-Новость

Минцифры подготовило разъяснения для российских организаций, у которых возникли перебои в работе VPN-сервисов для клиентов и сотрудников из-за блокировки запрещенных ресурсов Роскомнадзором.

24.10.2023    595    VKuser24342747    0       

0

«Сбер» объявила о доступности SberLinux OS Server для российских компаний

Новость Импортозамещение ИТ-Новость

«СберТех», дочерняя компания «Сбера», объявила о предоставлении доступа к собственной серверной операционной системе SberLinux OS Server российским компаниям. ОС включена в реестр отечественного ПО.

20.10.2023    779    VKuser24342747    0       

2

Минцифры внесло изменения в проект правил идентификации клиентов веб-хостингов

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило изменения в пакет документов, которые устанавливают новые требования для провайдеров хостинга. Ведомство расширило перечень допустимых методов идентификации клиентов.

18.10.2023    434    VKuser24342747    0       

1

Google выпустила финальную версию Android 14

Новость Android Google ИТ-Новость

Google выпустила новую версию мобильной ОС Android 14. Изменения затронули настройки внешнего вида и безопасности. Были расширены возможности камеры и инструментов для хранения данных.

12.10.2023    644    VKuser24342747    0       

1

Яндекс объявил об открытии исходного кода DataLens

Новость Аналитика ИТ-Новость Яндекс

BI-система Yandex DataLens теперь развивается в опенсорс. Код продукта выложен для всех на GitHub. Любой желающий сможет развернуть DataLens на своем железе и доработать его под свои сценарии применения.

03.10.2023    1325    ЕленаЧерепнева    1       

6

Роскомнадзор создаст реестр хостинг-провайдеров

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило несколько проектов постановлений, которые утверждают правила ведения реестра поставщиков хостинг-услуг, а также новые требования к провайдерам.

02.10.2023    536    VKuser24342747    0       

1

«СберТех» представил репозиторий GitVerse с ИИ-помощником для написания кода

Новость Импортозамещение ИТ-Новость Программист

«СберТех» начал прием заявок на тестирование веб-сервиса для публикации ИТ-проектов GitVerse. Платформа подходит для разработки программ с открытым и закрытым кодом.

26.09.2023    739    VKuser24342747    2       

1

ИП и юрлица смогут использовать смартфон для создания и замены электронной подписи

Новость ИТ-Новость ФНС Цифровая подпись

ФНС внесла изменения в правила оформления электронной подписи руководителя организации и ИП. Станет возможным продлевать ее и записывать при помощи мобильного устройства.

18.09.2023    396    VKuser24342747    1       

1

Журнал IEEE Spectrum опубликовал рейтинг популярности языков программирования

Новость ИТ-Новость Языки программирования

Журнал Института инженеров электротехники и электроники IEEE Spectrum подготовил рейтинг самых популярных языков программирования в 2023 году. Статистика разделена на три категории.

01.09.2023    1230    VKuser24342747    4       

2

В бета-версии Microsoft 365 появилась поддержка языка Python для Excel

Новость ИТ-Новость Языки программирования

С помощью библиотек и средств визуализации Python можно будет манипулировать данными Excel, а затем использовать полученные результаты в формулах, диаграммах и сводных таблицах.

28.08.2023    631    VKuser24342747    0       

2

Специалисты Калифорнийского университета установили, что боты справляются с CAPTCHA лучше, чем люди

Новость ИТ-Новость

Международная группа исследователей изучила эффективность тестов CAPTCHA. Ученые пришли к выводу, что технология больше мешает людям, потому что боты научились с ней справляться.

24.08.2023    1110    VKuser24342747    23       

2

Google Chrome начнет поддерживать квантово-устойчивые алгоритмы шифрования

Новость Google Безопасность ИТ-Новость

В версии Google Chrome 116 появится поддержка алгоритмов шифрования, устойчивых к попыткам дешифрации при помощи квантовых вычислений. Технология объединяет преимущества классической и инновационной криптографии.

24.08.2023    449    VKuser24342747    0       

1

В реестр российского ПО включен первый комплекс обработки больших данных

Новость Импортозамещение Минцифры ИТ-Новость Реестр ПО

Минцифры внесло в реестр отечественного ПО программно-аппаратный комплекс «Скала-Р», предназначенный для обработки больших данных. Это первый комплекс с таким функционалом, включенный в перечень.

22.08.2023    442    VKuser24342747    0       

1

Microsoft внедрила новые функции в GitHub Copilot и анонсировала Windows Copilot

Новость GitHub Искусственный интеллект

ИИ-помощник для разработчиков GitHub Copilot теперь не только в реальном времени анализирует код, предлагает варианты для его улучшения и помогает найти решение проблем в разработке, но и  показывает ссылки на репозитории, из которых взят код. 

17.08.2023    1122    VKuser24342747    0       

1

В JetBrains разработали ИИ-помощника для аналитиков данных

Новость Аналитика Искусственный интеллект

JetBrains представила нейросеть Ask AI для онлайн-блокнота Datalore. Виртуальный ассистент способен генерировать код на нескольких языках, предлагать доработки и упрощать процесс аналитики данных. 

16.08.2023    624    VKuser24342747    0       

1

Исследование: ChatGPT дает неправильный ответ на половину вопросов о программировании

Новость Искусственный интеллект ИТ-Новость

Чат-бот OpenAI ошибается в 52% случаев, когда отвечает на вопросы по программированию. Однако делает это так убедительно, что пользователи не замечают ошибки. 

14.08.2023    951    VKuser24342747    5       

3

Минцифры проведет эксперимент по цифровизации «жизненного цикла» госслужащего

Новость Минцифры ИТ-Новость

Минцифры подготовило постановление о проведении эксперимента по внедрению ИТ в управление «жизненным циклом» госслужащего. Ведомство намерено автоматизировать все этапы работы сотрудников госструктур.

04.08.2023    533    VKuser24342747    0       

2