Искусственный интеллект научился обыгрывать людей, не зная правил игры

20.01.2021     

Британская компания DeepMind представила новую разработку в сфере искусственного интеллекта. Система MuZero успешно обыгрывает опытных спортсменов и геймеров, даже не зная правил игры.

База для разработки

DeepMind, которая вместе с Google входит в холдинг Alphabet, считается одним из лидеров в сфере разработки систем искусственного интеллекта. Несколько лет назад DeepMind представила систему, которая смогла победить чемпиона по игре в японские шашки го. Решение не раз выигрывало у профессионалов в шахматы и в японскую стратегическую игру сёги. 

 

 

Разработчики DeepMind научили ИИ проходить компьютерные игры, выпущенные Atari (для них создана специальная платформа для машинного обучения), а также Quake и StarCraft. Но во всех этих случаях в систему вводили четкие правила игры и использовали методики обучения с положительным подкреплением.

Новый этап

Главное отличие свежей разработки MuZero – в том, что эта система изначально не знает правил игры. При этом она демонстрирует столь же высокие результаты, что и предшественники, а часто даже превосходит их – и в го, и в шахматах, и в компьютерных играх.

 

 

В основу системы легли технологии упреждающего поиска. MuZero оценивает реакции и действия оппонента-человека, чтобы определить количество возможных ходов. В большинстве сложных игр число вариантов крайне велико, поэтому система выделяет самые актуальные и наиболее вероятные маневры. 

MuZero моделирует три элемента среды, которые имеют решающее значение для планирования:

  • Значение: насколько хороша текущая позиция?
  • Политика: какое действие лучше всего предпринять?
  • Награда: насколько хорошим было последнее действие?

На каждом шаге MuZero выполняет поиск по дереву методом Монте-Карло. Система оперирует информацией о текущем и предыдущем состояниях, а также об исходе последнего действия. На основе этой информации предсказывает возможные исходы следующего шага и выбирает действие, которое в долгосрочной перспективе приведет к наилучшему результату. Это помогает MuZero избегать неудачных путей развития событий и запоминать успешные шаги. 

Старший исследователь DeepMind Дэвид Сильвер отметил: «Впервые у нас действительно есть система, способная вывести собственное понимание того, как устроен мир, и использовать это понимание для выполнения такого сложного упреждающего планирования, которое вы могли наблюдать при игре в шахматы. … [MuZero] может начать с нуля и методом проб и ошибок открыть правила мира, а также использовать эти правила для достижения сверхчеловеческой производительности».

Варианты использования

MuZero обладает огромным потенциалом в решении практических задач. Например, она сможет улучшить показатели сжатия видео – а это для Google, которая занимается поддержкой крупнейшего в мире видеохостинга YouTube, крайне важно. Специалисты уже достигли 5% повышения качества сжатия и не собираются на этом останавливаться. 

Лаборатория Сильвера также запустила исследования в области программирования роботов и разработки архитектуры новых белковых соединений. Это потенциально поможет заменять людей на любых производствах и создавать персонализированные лекарства. 

Обратная сторона медали

Профессор информатики Саутгемптонского университета и члена Совета Англии по искусственному интеллекту Венди Холл отметила: решения DeepMind создаются на благо общества. Но разработчики не всегда могут предугадать, где именно будут применяться технологии. 

В прошлом году исследователи компании опубликовали ранние работы по MuZero. Американские ВВС использовали эти материалы для разработки системы искусственного интеллекта, которая могла бы запускать ракеты с самолета-разведчика U-2 по указанным целям.

Дэвид Сильвер признался, что разделяет эти опасения, и высказался против применения искусственного интеллекта в любом летальном оружии. Он выразил сожаление, что в деле запрета подобных разработок пока нет особого прогресса. 

Сильвер также добавил, что DeepMind и её сооснователи подписали Клятву о смертельном автономном оружии. В документе говорится, что смертоносные технологии всегда должны оставаться под контролем человека, а не алгоритмов на основе искусственного интеллекта.

Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Sikh 20.01.21 14:06 Сейчас в теме
Ну в играх с конечным набором правил это возможно и сработает. Но уже скажем управление автомобилем это игра с бесконечным набором правил, потому что предсказать и предусмотреть все возможные ситуации на дороге просто невозможно. Нужно постоянно адаптироваться. И тут искусственный интеллект не поможет. Любая принципиально новая ситуация и машина будет вставать в позу "А че так можно было?". Потом что делать, если ваш оппонент нарушает правила? Откуда машина об этом узнает? Вот в шашки есть просто шашки, есть поддавки и вообще есть вышибалы, в какую игру в данный момент идет игра как машина отличит?
2. vipetrov2 21.01.21 08:23 Сейчас в теме
(1) Да, там очень много логических проблем. Но главная это экономическая, энергопотребление таких систем мегаваттами измеряется и стоит очень дорого. А в свете остановки роста производительности процессоров, эта задача вообще не решаема в ближайшие десятиления.
Оставьте свое сообщение

См. также

Полностью цифровые медкарты: первые впечатления от эксперимента

Новость ИТ-новость Цифровая экономика

В России начался эксперимент по переводу медицинских карт пациентов в электронный вид. От бумажных документов полностью отказались в двух детских поликлиниках Москвы.

сегодня в 13:30    2604    VKuser24342747    2       

Минцифры начнет подготовку кадров для цифровой экономики

Новость ИТ-новость Минкомсвязь Цифровая экономика

Минцифры совместно с «Университетом Иннополис» объединила сотни российских учебных заведений в консорциум, который подготовит кадры для цифровой экономики.

сегодня в 11:37    2580    VKuser24342747    2       

GitHub начал поддерживать использование ключей безопасности SSH

Новость git GitHub Безопасность ИТ-новость

Пользователи GitHub смогут подтверждать вход в аккаунт при помощи портативных устройств, которые используют протокол FIDO2. Репозиторий предлагает всем разработчикам перейти на такой метод аутентификации.

сегодня в 09:59    2751    VKuser24342747    0       

Топ языков программирования с самым большим сообществом разработчиков

Новость Аналитика ИТ-новость Языки программирования

Аналитики британской фирмы SlashData, изучающей сообщества разработчиков, выпустили ежегодный отчёт State of the Developer Nation, в котором описывают аудиторию 14 популярных языков программирования.

07.05.2021    2481    SKravchenko    7       

Кроссплатформенный эмулятор запустил старые Windows-программы в браузере

Новость Интернет ИТ-новость

Разработан бесплатный эмулятор для запуска классических приложений Windows на большинстве популярных операционных систем. Программа также доступна в качестве веб-версии с ограниченным числом приложений.

05.05.2021    3006    VKuser24342747    0       

Apple обязала разработчиков использовать новый фреймворк AppTrackingTransparency

Новость iOS ИТ-новость Мобильные приложения

Компания Apple выпустила серию обновлений для разработчиков приложений. Требования, связанные с переходом на iOS 14.5, предполагают использование фреймворка AppTrackingTransparency для повышения прозрачности сбора пользовательских данных.

05.05.2021    1829    user1015646    0       

Теперь в Docker и в Linux: расширилась поддержка процессоров Apple M1

Новость Linux ИТ-новость

Ядро Linux получило начальную поддержку процессоров M1 производства Apple. Инструмент для развертывания и работы с контейнерами Docker также научился работать с ними.

04.05.2021    2944    user1015646    0       

Ctrl+C, Ctrl+V: эксперты подсчитали, насколько часто разработчики копируют чужой код

Новость Аналитика ИТ-новость Языки программирования

Популярный форум для разработчиков Stack Overflow в течение двух недель собирал статистику нажатий Ctrl+C или Command+C при копировании кода и других ответов. Но то, что задумывалось как первоапрельская шутка, стало в итоге серьёзным исследованием.

04.05.2021    1890    user1015646    0       

Олдскульный Yayagram: разработчик создал для бабушки гаджет для общения в Telegram

Новость ИТ-новость Мессенджеры

Когда интернет еще не изобрели, абонентов соединяли телефонистки, переключая кабели в нужные гнезда. Разработчик Мануэль Лусио Далло вдохновился этим примером и создал для своей 96-летней бабушки гаджет для общения с родными в Telegram.

30.04.2021    3922    user1015646    3       

Квантовая сеть между Москвой и Петербургом заработает во втором квартале 2021 года

Новость ИТ-новость Телекоммуникации

«Транстелеком», дочерняя компания РЖД, завершила строительство квантовой сети между Москвой и Санкт-Петербургом. После запуска проект можно будет использовать для защищенного обмена данными.

30.04.2021    3029    VKuser24342747    0       

Chrome 90 позволит делиться ссылками на фрагмент текста

Новость Интернет ИТ-новость

Google представила новую функцию для Chrome 90, которая позволит создавать ссылку на выделенную часть текста на странице в браузере.

30.04.2021    2133    SKravchenko    2       

Минцифры требует обеспечить возможность удаления предустановленных российских приложений

Новость Законодательство Импортозамещение ИТ-новость Минкомсвязь Мобильные приложения

Минцифры готовит поправки к закону об обязательной предустановке ПО, которые обяжут производителей устройств обеспечить возможность полностью удалить программы.

28.04.2021    2929    VKuser24342747    1       

Ubuntu 21.04 обеспечит интегрированную поддержку Microsoft SQL Server и Active Directory

Новость Ubuntu MS SQL ИТ-новость

Компания Canonical представила Ubuntu 21.04, которая получила название «Hirsute Hippo». Релиз содержит интеграцию с Microsoft Active Directory, SDK для разработки приложений Flutter и поддерживает локальную работу Microsoft SQL Server.

28.04.2021    3758    capitan    1       

Доступна тестовая версия дистрибутива Linux, внешне похожего на Windows 10X

Новость Linux ИТ-новость

Команда разработчиков операционной системы Zorin OS представила бета-версию Zorin OS 16. Ирландский дистрибутив Linux объединяет Flatpak, Snap Store и репозиторий Ubuntu. Он имитирует внешний вид Windows 10X, сохраняя при этом функциональность Linux.

27.04.2021    4197    SKravchenko    1       

«Яндекс» представил веб-приложение для работы с текстом и таблицами

Новость ИТ-новость Новости компаний Облачные технологии Яндекс

«Яндекс» запустил сервис «Документы» для создания и редактирования текстовых файлов, таблиц и презентаций в облаке. Услуга входит в состав набора офисных решений «Яндекс 360».

27.04.2021    5088    VKuser24342747    2       

Искусственный интеллект научился находить проблемы в коде

Новость Искусственный интеллект ИТ-новость

Исследователи из МТИ разработали систему глубокого машинного обучения для поиска проблем в коде ПО. Она станет основой инструментов автоматического анализа, которые помогут найти и устранить слабые места в IDE для создания программ.

27.04.2021    3893    user1015646    3       

Microsoft разрешит сторонние платежные системы в своем магазине

Новость Windows ИТ-новость Новости компаний Онлайн-торговля

Microsoft готовит перезапуск собственного магазина приложений Microsoft Store. Релиз будет представлен вместе со следующим крупным обновлением Windows и сделает требования для программ в маркетплейсе мягче.

26.04.2021    2164    VKuser24342747    0       

В Windows 10 появилась поддержка Linux-приложений с графическим интерфейсом

Новость Windows Linux ИТ-новость

Microsoft добавит возможность запускать в Windows 10 приложения для Linux с графическим интерфейсом. Опробовать новую функцию можно уже сейчас, используя тестовую сборку ОС.

26.04.2021    4714    VKuser24342747    2       

Linux Shell научился превращать естественный язык в команды

Новость Linux Искусственный интеллект ИТ-новость

Энтузиаст обучил нейросеть OpenAI распознавать вводимые пользователем фразы в Linux Shell и превращать их в bash-команды. Похожее расширение также появилось и для игрового движка Unity3D.

23.04.2021    3363    VKuser24342747    0       

Visual Studio 2022 получит возможность использовать более 4 ГБ памяти

Новость ИТ-новость Новости компаний Языки программирования

Microsoft рассказала о главных обновлениях в новой Visual Studio 2022. Опробовать предварительную версию среду разработки от американского ИТ-гиганта можно будет уже в этом году.

23.04.2021    2540    VKuser24342747    3       

Да здравствует Logica: Google представил новый язык программирования

Новость Google ИТ-новость Языки программирования

Компания Google разработала новый язык для логического программирования – Logica. В его основе – наработки запущенного ранее проекта Yedalog и языка Datalog для программирования декларативной логики.

21.04.2021    4344    user1015646    8       

Российские компании создадут космический дата-центр на орбите

Новость Дата-центры ИТ-новость Новости компаний

Компании RuVDS и Orbital Express договорились принять участие в совместном проекте по запуску орбитального центра обработки данных. Сервер в открытый космос будет доставлен на отечественной ракете «Союз».

20.04.2021    2941    VKuser24342747    0       

Бизнес отделяет ИТ-структуры ради налоговых льгот

Новость ИТ-новость Налоги Новости компаний

С 1 января 2021 года в РФ вступил в силу налоговый маневр, который обеспечивает льготы для ИТ-отрасли. Чтобы воспользоваться ими, крупные корпорации стали переформатировать свои ИТ-подразделения в отдельные компании.

20.04.2021    2011    user1015646    0       

Михаил Мишустин предложил создать стартап-школы при российских вузах

Новость ИТ-новость Стартапы Цифровая экономика

Премьер-министр Михаил Мишустин посетил Московский авиационный институт. Отвечая на вопрос одного из студентов, председатель правительства заявил о необходимости создания школ стартапов.

19.04.2021    2516    VKuser24342747    4       

В сервис для управления проектами Asana добавили русский язык

Новость ИТ-новость Управление проектами

Облачный сервис для управления задачами и проектами обзавелся русскоязычным интерфейсом. Также разработчики представили версии на китайском, голландском и польском языках.

19.04.2021    2997    user1015646    0