Ничего лишнего: Facebook научил нейросеть забывать устаревшие данные

25.05.2021      14290

Социальная сеть разработала новый способ хранения данных, используемых для машинного обучения. Благодаря методу нейросеть сможет периодически избавляться от ненужных сведений.

Цель исследования

Изобретение Facebook под названием Expire-Span предназначено для более экономной обработки данных. Способ хранения предполагает присваивание каждому фрагменту информации срок годности в зависимости от значимости сведений для конкретной модели. Нейросеть будет со временем «забывать» отмеченные данные.

Исследователи компании объясняют, что искусственный интеллект самостоятельно не способен определить, какие сведения являются ключевыми, а какие – второстепенными. Из-за этого система обрабатывает их неэффективно, тратя одинаковое количество ресурсов на каждый фрагмент данных. Новая методика решает эту проблему, оптимизируя вычислительные ресурсы, затраченные на сортировку, хранение и обработку информации.

Кроме того, возрастет результативность работы нейросетей – они смогут дольше сохранять важные сведения и выдавать более точный итог в процессе обучения.

Как устроена технология

Каждый раз, когда нейросеть получает новый фрагмент данных, Expire-Span прогнозирует и назначает степень полезности информации в определенном контексте. Чем выше система установит приоритет, тем дольше ИИ будет сохранять сведения, т.к. им присваивается длительный срок годности. При загрузке дополнительных фрагментов разработка Facebook проводит переоценку всех данных в контексте новой информации, всегда поддерживая актуальность обрабатываемых переменных.

Чтобы проиллюстрировать метод Expire-Span, исследователи приводят в качестве примера работу системы с текстовым массивом данных. В зависимости от заданных в начале условий нейросеть может получить задачу прогнозировать слова на основе введенных символов. Благодаря разделению значимости информации ИИ будет запоминать только редкие слова: имена, географические названия и т.д. В изначальный массив не будет попадать часто употребимая лексика, такая как предлоги, союзы, местоимения.

При этом система сможет по-прежнему помнить, насколько часто каждое конкретное слово встречается в тексте, чтобы проводить корректные вычисления и правильно прогнозировать. Забыто будет лишь многократное повторение высказываний.

Перспективы технологии

Исследователи Facebook отмечают, что сейчас разработка находится на ранней стадии и не готова к публичному использованию. В планах у программистов создать для искусственного интеллекта аналог человеческой памяти, которая позволит хранить и обрабатывать данные гораздо быстрее, чем позволяют существующие технологии.


Автор:
Аналитик


См. также

Новость Искусственный интеллект ИТ-Новость

В 2024 году «Сколково» выделит пилотным проектам в сфере искусственного интеллекта гранты на общую сумму 554 млн рублей. В результате отбора финансирование получат проекты с применением ИИ в областях производства, операционной деятельности и в работе предоставляемых сервисов.

12.04.2024    862    AnastasiaKl    3       

3

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    815    VKuser24342747    2       

1

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    598    VKuser24342747    0       

2

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    758    VKuser24342747    2       

1

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    962    VKuser24342747    2       

3

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    609    VKuser24342747    1       

2

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    771    VKuser24342747    2       

3

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    792    VKuser24342747    0       

1
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Оставьте свое сообщение