В FloydHub создали нейросеть-верстальщика сайтов по изображению

Исследователи из FloydHub представили нейросеть для верстки интерфейсов с открытым исходным кодом. Нейронная сеть работает на основе инструмента pix2code, который автоматически генерирует пользовательские интерфейсы с помощью машинного обучения.

Алгоритм по созданию интерфейсов включает три этапа:

• Пользователь загружает в систему изображение дизайна, которое нужно использовать как образец;
• Нейросеть автоматически конвертирует картинки в HTML-разметку;
• Система выдает пользователю готовый макет сайта.

Как сообщается в официальном блоге FloydHub, для обучения нейросети разработчики загружали в модель изображения вместе с набором соответствующих HTML-тегов. На основе этих материалов алгоритм выявлял зависимости и учился предсказывать необходимые конструкции для разметки. Все выявленные закономерности нейросеть собирала в базу данных, которая в дальнейшем помогала системе ориентироваться в новых входных данных.
 
Эксперимент показал, что для верстки простого шаблонного макета нейронной сети требуется около 550 итераций. 

Инструкцию по запуску нейросети разработчики опубликовали на GitHub.