Социальная сеть разработала новый способ хранения данных, используемых для машинного обучения. Благодаря методу нейросеть сможет периодически избавляться от ненужных сведений.
Цель исследования
Изобретение Facebook под названием Expire-Span предназначено для более экономной обработки данных. Способ хранения предполагает присваивание каждому фрагменту информации срок годности в зависимости от значимости сведений для конкретной модели. Нейросеть будет со временем «забывать» отмеченные данные.
Исследователи компании объясняют, что искусственный интеллект самостоятельно не способен определить, какие сведения являются ключевыми, а какие – второстепенными. Из-за этого система обрабатывает их неэффективно, тратя одинаковое количество ресурсов на каждый фрагмент данных. Новая методика решает эту проблему, оптимизируя вычислительные ресурсы, затраченные на сортировку, хранение и обработку информации.
Кроме того, возрастет результативность работы нейросетей – они смогут дольше сохранять важные сведения и выдавать более точный итог в процессе обучения.
Как устроена технология
Каждый раз, когда нейросеть получает новый фрагмент данных, Expire-Span прогнозирует и назначает степень полезности информации в определенном контексте. Чем выше система установит приоритет, тем дольше ИИ будет сохранять сведения, т.к. им присваивается длительный срок годности. При загрузке дополнительных фрагментов разработка Facebook проводит переоценку всех данных в контексте новой информации, всегда поддерживая актуальность обрабатываемых переменных.
Чтобы проиллюстрировать метод Expire-Span, исследователи приводят в качестве примера работу системы с текстовым массивом данных. В зависимости от заданных в начале условий нейросеть может получить задачу прогнозировать слова на основе введенных символов. Благодаря разделению значимости информации ИИ будет запоминать только редкие слова: имена, географические названия и т.д. В изначальный массив не будет попадать часто употребимая лексика, такая как предлоги, союзы, местоимения.
При этом система сможет по-прежнему помнить, насколько часто каждое конкретное слово встречается в тексте, чтобы проводить корректные вычисления и правильно прогнозировать. Забыто будет лишь многократное повторение высказываний.
Перспективы технологии
Исследователи Facebook отмечают, что сейчас разработка находится на ранней стадии и не готова к публичному использованию. В планах у программистов создать для искусственного интеллекта аналог человеческой памяти, которая позволит хранить и обрабатывать данные гораздо быстрее, чем позволяют существующие технологии.