Искусственный интеллект научился улучшать качество фотографий

03.11.2017

Исследователи из Института интеллектуальных систем Макса Планка в Германии разработали систему EnhanceNet-PAT, которая способна улучшать качество снимков, имеющих низкое разрешение. Об этом сообщает издание The Next Web.

Используемые в настоящее время программы для редактирования изображений при редактировании расплывчатых изображений пытаются реконструировать изображение за счет выстраивания вокруг одного пикселя других схожих элементов, однако это не устраняет проблему расплывчатости изображения.

Созданный же искусственный интеллект работает на основе машинного обучения и нацелен на точный синтез новых структур. Для его обучения инженеры используют базу с несколькими миллионами изображений с низким разрешением. Система работает над улучшением снимка, представляя как должен выглядеть исходный материал, а затем в нее загружают оригинальный снимок с высоким разрешением. Алгоритм учится на своих ошибках путем сравнения результатов своей работы с оригиналом.

Хотя пока система не научилась полностью восстанавливать утерянное качество оригинального изображения, ее результаты уже выглядят многообещающе.

Комментарии

Сохранить

1. Vladimir K (KroVladS) 03.11.17 13:34 Сейчас в теме

Можно будет автоматом делать HD-текстуры к старым играм :)
Как применить в 1с непонятно.

3. Денис Харченко (nomadon) 207 03.11.17 14:26 Сейчас в теме

(1) ну как - как, битые ссылки восстанавливать с помощью ИИ, ну и как писалось ранее - РАУЗ )))

2. sergey makarov (s22) 20 03.11.17 13:51 Сейчас в теме

Суперрезолюшен давно сделан на нейронных сетях.
Текстуры лучше не сделаешь так как с высокой вероятностью он тренирован на фотографиях и соотвественно не способен нормально работать на рисованных изображениях.

4. Максим Сухов (MaxS) 1038 03.11.17 14:42 Сейчас в теме

Процесс фотосъёмки смартфоном можно будет усовершенствовать. Снимаем видео, слегка перемещаясь вправо и влево, выдержки автоматически меняются для охвата теней и света, информация отправляется в облако, обрабатывается, фото с проработкой всех деталей сохраняется.

5. Сергей Смирнов (protexprotex) 166 03.11.17 14:48 Сейчас в теме

Скорее всего тут используется особенная структура нейросети - называется автоэнкодер - трехслойная - первый и третий слои равны по размеру друг другу - средний слой меньше по размеру (или больше для разреженных автоэнкодеров). Это давно уже все есть. В интернете куча публикаций на эту тему.

6. sergey makarov (s22) 20 03.11.17 15:11 Сейчас в теме

(5) более вероятно U-net, во всяком случае ее раньше часто применяли для этого
автоэнкодер тут не поможет

7. Сергей Смирнов (protexprotex) 166 03.11.17 16:02 Сейчас в теме

(6)

U-net

Что такое U-net и почему автоэнкодер не поможет? Объясните, пжл. У меня автоэнкодер применительно к данным задачам, во всяком случае, всегда помогал - и работает очень хорошо. А почему тут не пойдет - не понял Вашу мысль...

8. sergey makarov (s22) 20 03.11.17 17:26 Сейчас в теме

Автоэнкодер сжимает данные во внутреннем слое расширяя в 3й. Т.е. качество теряется, но остаются важные элементы, изображение станет более смазанным.

Вообще для изображений применяют CNN покрайней мере на большей части сети.

9. Сергей Смирнов (protexprotex) 166 03.11.17 18:20 Сейчас в теме

(8)
1) Я же написал в посте - РАЗРЕЖЕННЫЙ автоэнкодер.
2) Если Вы обучите автоэнкодер на достаточно большой выборке, то при предъявлении смазанного изображения получите уже более четкое. Обучающая выборка должна состоять из пар - смазанное - четкое. И таких пар возьмите около миллиона - и получите "чудо" - сеть картинки смазанные которых не было в обучающей выборке станут после предъявления сети уже не смазанные.

10. sergey makarov (s22) 20 03.11.17 19:30 Сейчас в теме

(9) он просто запомнит комбинации, такова особенность разреженного энкодера.
давайте конкретные параметры вашей сети.

11. PerlAmutor IC (PerlAmutor) 26 05.11.17 10:49 Сейчас в теме

Возможно ли применить подобные технологии для восстановления качества звука при передаче голоса, скажем, по рации? Т.е. обучить НС на основе многих тысяч часов аудио записей разговоров по телефону или радиостанций. Правда неясно откуда взять оригинальные записи с микрофонов. С другой стороны можно взять записи речевых радио, теле эфиров, сериалов, прогнать через конкретные модели каналов связи, чтобы получить искаженные их варианты, а затем скормить нейронной сети.

Другой вариант использования технологии - оцифровка старых книг, видео хроник. Еще интересно, возможно ли обучить нейронную сеть восстанавливать цвета изображений обучая её на паре кадров - цветное/черно-белое?

12. sergey makarov (s22) 20 05.11.17 12:41 Сейчас в теме

(11)

цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.
GAN способен восстанавливать звук по примерам.

13. PerlAmutor IC (PerlAmutor) 26 05.11.17 13:30 Сейчас в теме

(12)

цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.

"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"

Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.

14. sergey makarov (s22) 20 07.11.17 14:45 Сейчас в теме

(13)

цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.

"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"

Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.

Там была проблема что поэкранно все нормально, но на одном кадре машина синяя, а на соседнем красная.
Как я понял с этим много возились.

15. Роман Петелин (roman77) 52 07.11.17 15:34 Сейчас в теме

(11)

Возможно ли применить подобные технологии для восстановления качества звука при передаче голоса, скажем, по рации?

Невозможно так как это не "восстановление" и не "реставрация", а "домысливание". Одно дело картинку для выкладывания в соцсеть дорисовать и совсем другое дело домысливать команду авиадиспечера. Цена ошибки несопоставимая.