Искусственный интеллект научился улучшать качество фотографий
Исследователи из Института интеллектуальных систем Макса Планка в Германии разработали систему EnhanceNet-PAT, которая способна улучшать качество снимков, имеющих низкое разрешение. Об этом сообщает издание The Next Web.
Используемые в настоящее время программы для редактирования изображений при редактировании расплывчатых изображений пытаются реконструировать изображение за счет выстраивания вокруг одного пикселя других схожих элементов, однако это не устраняет проблему расплывчатости изображения.
Созданный же искусственный интеллект работает на основе машинного обучения и нацелен на точный синтез новых структур. Для его обучения инженеры используют базу с несколькими миллионами изображений с низким разрешением. Система работает над улучшением снимка, представляя как должен выглядеть исходный материал, а затем в нее загружают оригинальный снимок с высоким разрешением. Алгоритм учится на своих ошибках путем сравнения результатов своей работы с оригиналом.
Хотя пока система не научилась полностью восстанавливать утерянное качество оригинального изображения, ее результаты уже выглядят многообещающе.
Используемые в настоящее время программы для редактирования изображений при редактировании расплывчатых изображений пытаются реконструировать изображение за счет выстраивания вокруг одного пикселя других схожих элементов, однако это не устраняет проблему расплывчатости изображения.
Созданный же искусственный интеллект работает на основе машинного обучения и нацелен на точный синтез новых структур. Для его обучения инженеры используют базу с несколькими миллионами изображений с низким разрешением. Система работает над улучшением снимка, представляя как должен выглядеть исходный материал, а затем в нее загружают оригинальный снимок с высоким разрешением. Алгоритм учится на своих ошибках путем сравнения результатов своей работы с оригиналом.
Хотя пока система не научилась полностью восстанавливать утерянное качество оригинального изображения, ее результаты уже выглядят многообещающе.
Комментарии
Избранное
Подписка
Сортировка:
Древо
Процесс фотосъёмки смартфоном можно будет усовершенствовать. Снимаем видео, слегка перемещаясь вправо и влево, выдержки автоматически меняются для охвата теней и света, информация отправляется в облако, обрабатывается, фото с проработкой всех деталей сохраняется.
Скорее всего тут используется особенная структура нейросети - называется автоэнкодер - трехслойная - первый и третий слои равны по размеру друг другу - средний слой меньше по размеру (или больше для разреженных автоэнкодеров). Это давно уже все есть. В интернете куча публикаций на эту тему.
Автоэнкодер сжимает данные во внутреннем слое расширяя в 3й. Т.е. качество теряется, но остаются важные элементы, изображение станет более смазанным.
Вообще для изображений применяют CNN покрайней мере на большей части сети.
Вообще для изображений применяют CNN покрайней мере на большей части сети.
(8)
1) Я же написал в посте - РАЗРЕЖЕННЫЙ автоэнкодер.
2) Если Вы обучите автоэнкодер на достаточно большой выборке, то при предъявлении смазанного изображения получите уже более четкое. Обучающая выборка должна состоять из пар - смазанное - четкое. И таких пар возьмите около миллиона - и получите "чудо" - сеть картинки смазанные которых не было в обучающей выборке станут после предъявления сети уже не смазанные.
1) Я же написал в посте - РАЗРЕЖЕННЫЙ автоэнкодер.
2) Если Вы обучите автоэнкодер на достаточно большой выборке, то при предъявлении смазанного изображения получите уже более четкое. Обучающая выборка должна состоять из пар - смазанное - четкое. И таких пар возьмите около миллиона - и получите "чудо" - сеть картинки смазанные которых не было в обучающей выборке станут после предъявления сети уже не смазанные.
Возможно ли применить подобные технологии для восстановления качества звука при передаче голоса, скажем, по рации? Т.е. обучить НС на основе многих тысяч часов аудио записей разговоров по телефону или радиостанций. Правда неясно откуда взять оригинальные записи с микрофонов. С другой стороны можно взять записи речевых радио, теле эфиров, сериалов, прогнать через конкретные модели каналов связи, чтобы получить искаженные их варианты, а затем скормить нейронной сети.
Другой вариант использования технологии - оцифровка старых книг, видео хроник. Еще интересно, возможно ли обучить нейронную сеть восстанавливать цвета изображений обучая её на паре кадров - цветное/черно-белое?
Другой вариант использования технологии - оцифровка старых книг, видео хроник. Еще интересно, возможно ли обучить нейронную сеть восстанавливать цвета изображений обучая её на паре кадров - цветное/черно-белое?
(11)
цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.
GAN способен восстанавливать звук по примерам.
Возможно ли применить подобные технологии для восстановления качества звука при передаче голоса, скажем, по рации? Т.е. обучить НС на основе многих тысяч часов аудио записей разговоров по телефону или радиостанций. Правда неясно откуда взять оригинальные записи с микрофонов. С другой стороны можно взять записи речевых радио, теле эфиров, сериалов, прогнать через конкретные модели каналов связи, чтобы получить искаженные их варианты, а затем скормить нейронной сети.
Другой вариант использования технологии - оцифровка старых книг, видео хроник. Еще интересно, возможно ли обучить нейронную сеть восстанавливать цвета изображений обучая её на паре кадров - цветное/черно-белое?
Другой вариант использования технологии - оцифровка старых книг, видео хроник. Еще интересно, возможно ли обучить нейронную сеть восстанавливать цвета изображений обучая её на паре кадров - цветное/черно-белое?
цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.
GAN способен восстанавливать звук по примерам.
(12)
"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"
Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.
цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.
"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"
Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.
(13)
Там была проблема что поэкранно все нормально, но на одном кадре машина синяя, а на соседнем красная.
Как я понял с этим много возились.
цветное/черно-белое - добавили цыет в 17 мгновений весны. Уже года 2 как пройденая задача.
"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"
Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.
"Несмотря на технические достижения, огромную часть работы по колоризации картины пришлось делать вручную"
Нигде не нашел информации о том, что фильм нейросети раскрашивали. Ну да не суть.
Там была проблема что поэкранно все нормально, но на одном кадре машина синяя, а на соседнем красная.
Как я понял с этим много возились.
(11)
Невозможно так как это не "восстановление" и не "реставрация", а "домысливание". Одно дело картинку для выкладывания в соцсеть дорисовать и совсем другое дело домысливать команду авиадиспечера. Цена ошибки несопоставимая.
Возможно ли применить подобные технологии для восстановления качества звука при передаче голоса, скажем, по рации?
Невозможно так как это не "восстановление" и не "реставрация", а "домысливание". Одно дело картинку для выкладывания в соцсеть дорисовать и совсем другое дело домысливать команду авиадиспечера. Цена ошибки несопоставимая.