Израильские ученые разработали нейросети для поваров и археологов

Нейросети демонстрируют очередные достижения. В январе системы на базе машинного обучения научились «готовить» еду по рецептам и помогать археологам восстанавливать историю.
Выглядит аппетитно
Разработчики из университета в Тель-Авиве представили нейросеть, которая умеет генерировать изображение готового блюда по набору ингредиентов, необходимых для его приготовления. Повар может примерно оценить, что произойдет, если отойти от классического способа готовки – изменение хотя бы одного продукта в составе приводит к тому, что картинка будет отличаться от предыдущего варианта приготовления.
Исходный код нейросети доступен на GitHub под свободной лицензией, что позволяет без проблем использовать его для коммерческих целей.
Как нейросеть «готовит»
Для генерации рисунка по описанию блюда используется генеративно-состязательная сеть (GAN), которая обучается благодаря сопоставлению созданных образов с правильными изображениями. Такая система хорошо работает с текстовыми описаниями: программа способна принять в качестве входящих данных десятки строк.
За основу израильские ученые взяли результаты другого научного исследования: в нем было собрано примерно 800 тыс. изображений блюд со списком ингредиентов для каждого. Нейросеть, обработав эту информацию, научилась самостоятельно генерировать внешний вид готовой еды из разных продуктов.
Сгенерированные нейросетью блюда
Главная проблема программы – неудачный выбор исходных данных. В исследовании были представлены лишь небольшие иллюстрации блюд размером 256×256 пикселей, которые при этом зачастую были плохого качества и с неправильным освещением. Из-за этого нейросеть гораздо лучше «рисует» еду из кашеобразных продуктов (крупы, макарон, салатов), а вот с созданием картинок более сложной формы (например, гамбургеров) у искусственного интеллекта есть проблемы.
В будущем ученые планируют обучить программу по более качественным иллюстрациям блюд.
На раскопки с нейросетью
Одна из проблем, с которой приходится сталкиваться археологам – сбор фрагментов находок в цельную композицию. Исследователь, занимающийся подобной работой, может тратить от пары дней до нескольких лет на воссоздание исходного внешнего вида артефакта.
Решить проблему снова помогли израильские ученые: на этот раз из Хайфского университета и института Технион. Совместными усилиями они создали нейросеть, которая способна самостоятельно складывать «паззлы» из обнаруженных обломков фресок, витражей, мозаик и других исторических изображений.
Разработка базируется на уже существующей программе, которая умеет собирать изображение из кусочков обычных картинок-головоломок. Она появилась еще в 1964 году и тогда умела обрабатывать не более 9 фрагментов. Современная версия может сложить паззл из тысяч деталей. Для определения правильного порядка элементов система находит близкие по цвету фрагменты и соединяет их. Израильские ученые взяли эту программу за основу.
Сложные мозаики
Создание специализированной археологической нейросети осложнялось тем, что исторические артефакты зачастую находятся в плохом состоянии: они выцвели, края их обломков затронуты эрозией и не всегда точно совпадают друг с другом. Кроме того, в отличие от обычных головоломок, в археологических «паззлах» нет заранее известного общего числа кусочков.
«Мы предлагаем новый алгоритм, который может справиться со всеми этими сложностями. Технология базируется на различных идеях. Во-первых, мы предлагаем виртуально восстановить каждый из найденных фрагментов. Это нивелирует проблему разрушенных краев. Во-вторых, мы используем метод обратной вероятности составного преобразования», – поясняют свою разработку исследователи.
Система в первую очередь дает ответ на вопрос «Как наилучшим образом сложить археологический паззл?». Получить ответ помогают различные критерии: расстояние между элементами, совпадение цветов, схожесть очертаний краев, размер фрагментов, сочетание элементов рисунка и т.п.
Технология уже прошла полевые испытания: нейросеть смогла успешно сложить в единое изображение фрагменты фресок из различных церквей мира.
См. также
Энтузиасты создали для популярного эмулятора патч с поддержкой процессоров «Эльбрус»
01.03.2021 1963 VKuser24342747 0
Российский разработчик создал неофициальную версию Clubhouse для Android
26.02.2021 2281 VKuser24342747 0
Масштабное обновление Trello: пять новых видов досок и интеграция с Google Docs
25.02.2021 4087 user1015646 0
Видеоигра на базе нейросетевого генератора текстов стала бизнес-консультантом
25.02.2021 2296 VKuser24342747 1
В ближайшие годы возрастет потребность в персонале центров обработки данных
24.02.2021 2220 SKravchenko 0
Rustоманы из Долины: Google, Microsoft, Huawei, Mozilla и AWS основали фонд поддержки языка программирования
16.02.2021 1668 user1015646 0
Украинская команда FireWay одержала победу в хакатоне NASA Space Apps Challenge 2020
05.02.2021 2056 SKravchenko 2
Microsoft участвует в разработке цифрового паспорта вакцинации от Covid-19
02.02.2021 1866 capitan 3
Что нового в Chrome 88: проверка надежности паролей и поддержка профилей
01.02.2021 2316 user1015646 0
280 символов для науки: Twitter откроет доступ ученым к архиву твитов
29.01.2021 1571 VKuser24342747 1