Искусственный интеллект научился улучшать качество фотографий

03.11.2017

Исследователи из Института интеллектуальных систем Макса Планка в Германии разработали систему EnhanceNet-PAT, которая способна улучшать качество снимков, имеющих низкое разрешение. Об этом сообщает издание The Next Web.

Используемые в настоящее время программы для редактирования изображений при редактировании расплывчатых изображений пытаются реконструировать изображение за счет выстраивания вокруг одного пикселя других схожих элементов, однако это не устраняет проблему расплывчатости изображения.

Созданный же искусственный интеллект работает на основе машинного обучения и нацелен на точный синтез новых структур. Для его обучения инженеры используют базу с несколькими миллионами изображений с низким разрешением. Система работает над улучшением снимка, представляя как должен выглядеть исходный материал, а затем в нее загружают оригинальный снимок с высоким разрешением. Алгоритм учится на своих ошибках путем сравнения результатов своей работы с оригиналом.

Хотя пока система не научилась полностью восстанавливать утерянное качество оригинального изображения, ее результаты уже выглядят многообещающе.

Редактировать

Комментарии

Избранное Подписка

1. KroVladS 9 03.11.17 13:34 Сейчас в теме

Можно будет автоматом делать HD-текстуры к старым играм :)
Как применить в 1с непонятно.

Ответить

3. nomadon 343 03.11.17 14:26 Сейчас в теме

(1) ну как - как, битые ссылки восстанавливать с помощью ИИ, ну и как писалось ранее - РАУЗ )))

2. s22 20 03.11.17 13:51 Сейчас в теме

Суперрезолюшен давно сделан на нейронных сетях.
Текстуры лучше не сделаешь так как с высокой вероятностью он тренирован на фотографиях и соотвественно не способен нормально работать на рисованных изображениях.

4. MaxS 1407 03.11.17 14:42 Сейчас в теме

Процесс фотосъёмки смартфоном можно будет усовершенствовать. Снимаем видео, слегка перемещаясь вправо и влево, выдержки автоматически меняются для охвата теней и света, информация отправляется в облако, обрабатывается, фото с проработкой всех деталей сохраняется.

5. protexprotex 158 03.11.17 14:48 Сейчас в теме

Скорее всего тут используется особенная структура нейросети - называется автоэнкодер - трехслойная - первый и третий слои равны по размеру друг другу - средний слой меньше по размеру (или больше для разреженных автоэнкодеров). Это давно уже все есть. В интернете куча публикаций на эту тему.

6. s22 20 03.11.17 15:11 Сейчас в теме

(5) более вероятно U-net, во всяком случае ее раньше часто применяли для этого
автоэнкодер тут не поможет

7. protexprotex 158 03.11.17 16:02 Сейчас в теме

(6)

U-net

Что такое U-net и почему автоэнкодер не поможет? Объясните, пжл. У меня автоэнкодер применительно к данным задачам, во всяком случае, всегда помогал - и работает очень хорошо. А почему тут не пойдет - не понял Вашу мысль...

8. s22 20 03.11.17 17:26 Сейчас в теме

Автоэнкодер сжимает данные во внутреннем слое расширяя в 3й. Т.е. качество теряется, но остаются важные элементы, изображение станет более смазанным.

Вообще для изображений применяют CNN покрайней мере на большей части сети.

9. protexprotex 158 03.11.17 18:20 Сейчас в теме

(8)
1) Я же написал в посте - РАЗРЕЖЕННЫЙ автоэнкодер.
2) Если Вы обучите автоэнкодер на достаточно большой выборке, то при предъявлении смазанного изображения получите уже более четкое. Обучающая выборка должна состоять из пар - смазанное - четкое. И таких пар возьмите около миллиона - и получите "чудо" - сеть картинки смазанные которых не было в обучающей выборке станут после предъявления сети уже не смазанные.

10. s22 20 03.11.17 19:30 Сейчас в теме

(9) он просто запомнит комбинации, такова особенность разреженного энкодера.
давайте конкретные параметры вашей сети.

11. PerlAmutor 33 05.11.17 10:49 Сейчас в теме

Возможно ли применить подобные технологии для восстановления качества звука при передаче голоса, скажем, по рации? Т.е. обучить НС на основе многих тысяч часов аудио записей разговоров по телефону или радиостанций. Правда неясно откуда взять оригинальные записи с микрофонов. С другой стороны можно взять записи речевых радио, теле эфиров, сериалов, прогнать через конкретные модели каналов связи, чтобы получить искаженные их варианты, а затем скормить нейронной сети.

Другой вариант использования технологии - оцифровка старых книг, видео хроник. Еще интересно, возможно ли обучить нейронную сеть восстанавливать цвета изображений обучая её на паре кадров - цветное/черно-белое?

12. s22 20 05.11.17 12:41 Сейчас в теме

(11)

цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.
GAN способен восстанавливать звук по примерам.

13. PerlAmutor 33 05.11.17 13:30 Сейчас в теме

(12)

цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.

"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"

Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.

14. s22 20 07.11.17 14:45 Сейчас в теме

(13)

цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.

"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"

Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.

Там была проблема что поэкранно все нормально, но на одном кадре машина синяя, а на соседнем красная.
Как я понял с этим много возились.

15. roman77 70 07.11.17 15:34 Сейчас в теме

(11)

Возможно ли применить подобные технологии для восстановления качества звука при передаче голоса, скажем, по рации?

Невозможно так как это не "восстановление" и не "реставрация", а "домысливание". Одно дело картинку для выкладывания в соцсеть дорисовать и совсем другое дело домысливать команду авиадиспечера. Цена ошибки несопоставимая.