Раньше увеличить видео с камер наблюдения в десятки раз получалось только у героев фильмов. Но теперь такая возможность существует и в реальной жизни – инженеры Google разработали прорывную технологию масштабирования изображений.
Из одного пикселя – шестнадцать
Исследователи команды Brain Team опубликовали статью «Создание высокоточных изображений с использованием диффузных моделей» в блоге Google AI, который посвящен разработкам в сфере искусственного интеллекта.
Концепцию диффузных моделей впервые предложили в 2015 году. До недавнего времени они уступали глубоким генеративным моделям, но сейчас специалисты представили впечатляющие результаты применения новых подходов.
Brain Team создала модели машинного обучения и натренировала их превращать фотографии с низким разрешением в максимально детализированные изображения. Исследователи использовали сразу несколько технологий. Например, в диффузных моделях SR3 сверхвысокое разрешение достигается посредством повторного уточнения.
Модель SR3 обучается процессу искажения изображений, при котором к оригинальной картинке низкого разрешения постепенно добавляется шум (пиксели случайных цветов, расположенные в произвольных местах). В какой-то момент на фото останется только чистый шум – все оригинальные пиксели замещаются.
Если модель понимает, как это произошло, то она с высокой точностью сможет реализовать обратную процедуру – убрать шум с изображения, а также повысить его разрешение. Результат работы технологии:
Специалисты обнаружили, что SR3 хорошо работает при масштабировании портретов и естественных изображений. При 8-кратном увеличении лиц коэффициент смешения модели достигает 50%: это значит, что в половине случаев оригинальное фото высокого разрешения не отличить от увеличенного. Существующие методы обеспечивают сходные результаты лишь в 34% случаев.
Исследователи улучшили SR3 и получили CDM – условно-классовую диффузную модель. Фактически это целый каскад моделей машинного обучения: первая генерирует данные с низким разрешением, а каждая следующая постепенно его повышает.
CDM обучили на выборке фотографий сети ImageNet. В наборе примеров можно увидеть, как каскадно масштабируются изображения: от картинки 32×32 пикселя до 64×64 пикселей, а затем до 256x256 пикселей. Снимок размером 64×64 пикселя может быть увеличен до 256×256 пикселей, а затем до 1024×1024 пикселей.
Потенциал решения
Технология поможет улучшить качество самых разных изображений – от старых кинолент до звонков по видеосвязи, от исторических фото прошлых веков до результатов медицинских исследований.
В Google признали, что модели порой ошибаются и неверно воспроизводят детали. Например, на восстановленном изображении высокого разрешения может не оказаться тонкой оправы очков или других изящных деталей – и как раз за счет этого человек поймет, что фото не оригинальное. Но результаты, представленные в репозиториях моделей, открывают широкие возможности для масштабирования фото и видео и дальнейшего развития технологий машинного обучения.