Израильские ученые разработали нейросети для поваров и археологов

Нейросети демонстрируют очередные достижения. В январе системы на базе машинного обучения научились «готовить» еду по рецептам и помогать археологам восстанавливать историю.

Выглядит аппетитно

Разработчики из университета в Тель-Авиве представили нейросеть, которая умеет генерировать изображение готового блюда по набору ингредиентов, необходимых для его приготовления. Повар может примерно оценить, что произойдет, если отойти от классического способа готовки – изменение хотя бы одного продукта в составе приводит к тому, что картинка будет отличаться от предыдущего варианта приготовления.

Исходный код нейросети доступен на GitHub под свободной лицензией, что позволяет без проблем использовать его для коммерческих целей.

Как нейросеть «готовит»

Для генерации рисунка по описанию блюда используется генеративно-состязательная сеть (GAN), которая обучается благодаря сопоставлению созданных образов с правильными изображениями. Такая система хорошо работает с текстовыми описаниями: программа способна принять в качестве входящих данных десятки строк.  

За основу израильские ученые взяли результаты другого научного исследования: в нем было собрано примерно 800 тыс. изображений блюд со списком ингредиентов для каждого. Нейросеть, обработав эту информацию, научилась самостоятельно генерировать внешний вид готовой еды из разных продуктов.

Сгенерированные нейросетью блюда

Главная проблема программы – неудачный выбор исходных данных. В исследовании были представлены лишь небольшие иллюстрации блюд размером 256×256 пикселей, которые при этом зачастую были плохого качества и с неправильным освещением. Из-за этого нейросеть гораздо лучше «рисует» еду из кашеобразных продуктов (крупы, макарон, салатов), а вот с созданием картинок более сложной формы (например, гамбургеров) у искусственного интеллекта есть проблемы.

В будущем ученые планируют обучить программу по более качественным иллюстрациям блюд.

На раскопки с нейросетью  

Одна из проблем, с которой приходится сталкиваться археологам – сбор фрагментов находок в цельную композицию. Исследователь, занимающийся подобной работой, может тратить от пары дней до нескольких лет на воссоздание исходного внешнего вида артефакта.  

Решить проблему снова помогли израильские ученые: на этот раз из Хайфского университета и института Технион. Совместными усилиями они создали нейросеть, которая способна самостоятельно складывать «паззлы» из обнаруженных обломков фресок, витражей, мозаик и других исторических изображений.

Разработка базируется на уже существующей программе, которая умеет собирать изображение из кусочков обычных картинок-головоломок. Она появилась еще в 1964 году и тогда умела обрабатывать не более 9 фрагментов. Современная версия может сложить паззл из тысяч деталей. Для определения правильного порядка элементов система находит близкие по цвету фрагменты и соединяет их. Израильские ученые взяли эту программу за основу.

Сложные мозаики

Создание специализированной археологической нейросети осложнялось тем, что исторические артефакты зачастую находятся в плохом состоянии: они выцвели, края их обломков затронуты эрозией и не всегда точно совпадают друг с другом. Кроме того, в отличие от обычных головоломок, в археологических «паззлах» нет заранее известного общего числа кусочков.

«Мы предлагаем новый алгоритм, который может справиться со всеми этими сложностями. Технология базируется на различных идеях. Во-первых, мы предлагаем виртуально восстановить каждый из найденных фрагментов. Это нивелирует проблему разрушенных краев. Во-вторых, мы используем метод обратной вероятности составного преобразования», – поясняют свою разработку исследователи.

Система в первую очередь дает ответ на вопрос «Как наилучшим образом сложить археологический паззл?». Получить ответ помогают различные критерии: расстояние между элементами, совпадение цветов, схожесть очертаний краев, размер фрагментов, сочетание элементов рисунка и т.п.

Технология уже прошла полевые испытания: нейросеть смогла успешно сложить в единое изображение фрагменты фресок из различных церквей мира.