Британская компания DeepMind представила новую разработку в сфере искусственного интеллекта. Система MuZero успешно обыгрывает опытных спортсменов и геймеров, даже не зная правил игры.
База для разработки
DeepMind, которая вместе с Google входит в холдинг Alphabet, считается одним из лидеров в сфере разработки систем искусственного интеллекта. Несколько лет назад DeepMind представила систему, которая смогла победить чемпиона по игре в японские шашки го. Решение не раз выигрывало у профессионалов в шахматы и в японскую стратегическую игру сёги.
Разработчики DeepMind научили ИИ проходить компьютерные игры, выпущенные Atari (для них создана специальная платформа для машинного обучения), а также Quake и StarCraft. Но во всех этих случаях в систему вводили четкие правила игры и использовали методики обучения с положительным подкреплением.
Новый этап
Главное отличие свежей разработки MuZero – в том, что эта система изначально не знает правил игры. При этом она демонстрирует столь же высокие результаты, что и предшественники, а часто даже превосходит их – и в го, и в шахматах, и в компьютерных играх.
В основу системы легли технологии упреждающего поиска. MuZero оценивает реакции и действия оппонента-человека, чтобы определить количество возможных ходов. В большинстве сложных игр число вариантов крайне велико, поэтому система выделяет самые актуальные и наиболее вероятные маневры.
MuZero моделирует три элемента среды, которые имеют решающее значение для планирования:
- Значение: насколько хороша текущая позиция?
- Политика: какое действие лучше всего предпринять?
- Награда: насколько хорошим было последнее действие?
На каждом шаге MuZero выполняет поиск по дереву методом Монте-Карло. Система оперирует информацией о текущем и предыдущем состояниях, а также об исходе последнего действия. На основе этой информации предсказывает возможные исходы следующего шага и выбирает действие, которое в долгосрочной перспективе приведет к наилучшему результату. Это помогает MuZero избегать неудачных путей развития событий и запоминать успешные шаги.
Старший исследователь DeepMind Дэвид Сильвер отметил: «Впервые у нас действительно есть система, способная вывести собственное понимание того, как устроен мир, и использовать это понимание для выполнения такого сложного упреждающего планирования, которое вы могли наблюдать при игре в шахматы. … [MuZero] может начать с нуля и методом проб и ошибок открыть правила мира, а также использовать эти правила для достижения сверхчеловеческой производительности».
Варианты использования
MuZero обладает огромным потенциалом в решении практических задач. Например, она сможет улучшить показатели сжатия видео – а это для Google, которая занимается поддержкой крупнейшего в мире видеохостинга YouTube, крайне важно. Специалисты уже достигли 5% повышения качества сжатия и не собираются на этом останавливаться.
Лаборатория Сильвера также запустила исследования в области программирования роботов и разработки архитектуры новых белковых соединений. Это потенциально поможет заменять людей на любых производствах и создавать персонализированные лекарства.
Обратная сторона медали
Профессор информатики Саутгемптонского университета и члена Совета Англии по искусственному интеллекту Венди Холл отметила: решения DeepMind создаются на благо общества. Но разработчики не всегда могут предугадать, где именно будут применяться технологии.
В прошлом году исследователи компании опубликовали ранние работы по MuZero. Американские ВВС использовали эти материалы для разработки системы искусственного интеллекта, которая могла бы запускать ракеты с самолета-разведчика U-2 по указанным целям.
Дэвид Сильвер признался, что разделяет эти опасения, и высказался против применения искусственного интеллекта в любом летальном оружии. Он выразил сожаление, что в деле запрета подобных разработок пока нет особого прогресса.
Сильвер также добавил, что DeepMind и её сооснователи подписали Клятву о смертельном автономном оружии. В документе говорится, что смертоносные технологии всегда должны оставаться под контролем человека, а не алгоритмов на основе искусственного интеллекта.