Подразделение Google DeepMind обучило ИИ играть в Quake лучше людей

21.06.2019      14720

Подразделение Google DeepMind поделилось успехами в разработке ботов, способных играть в Quake III Arena. ИИ научился играть на уровне человека и стал практически непобедим.

Погоня за флагом

Quake III Arena Capture the Flag – трехмерная многопользовательская игра от первого лица и сложная мультиагентная среда. Агент – программный компонент, решающий определенные задачи. Мультиагентные среды для решения сложной задачи используют системы, состоящие из множества взаимодействующих агентов.

На основе Quake III Arena Capture the Flag проводилось обучение ИИ с подкреплением. Боты взаимодействуют с товарищами по команде и демонстрируют высокую производительность.

Исследователи создали парк игроков искусственного интеллекта, которые освоили режим Quake III Capture the Flag, сыграв 450 тыс. матчей, используя технологию обучения DeepMind на случайно сгенерированных картах.

Сложность задачи

Сложность обучения бота-геймера заключается в том, что отдельные агенты должны действовать независимо, но при этом взаимодействовать с другими.

Исследователи выделили три принципа обучения ИИ для решения такой задачи:

  • вместо того, чтобы обучать одного агента, ученые работали с группой, которая учится, играя друг с другом;
  • каждый агент изучает собственный сигнал вознаграждения. Обучение с подкреплением на внутренних поощрениях используется, чтобы выработать совместную тактику;
  • агенты работают в двух временных масштабах – быстром и медленном – чтобы развить способность использовать память и генерировать согласованные последовательности действий.

Схема архитектуры For The Win объединяет повторяющиеся нейронные сети в быстрых и медленных временных масштабах, включает в себя модуль общей памяти и изучает преобразование игровых очков во внутреннее вознаграждение.

 

Схема архитектуры For The Win

 

Точки на графике ниже – шаблоны поведенческих реакций, которые изучают боты. Точки окрашиваются в соответствии с ситуацией, и цветные кластеры указывают, как агенты представляют себе ключевые фрагменты игрового аспекта. Чем ближе две точки находятся в пространстве, тем более организованно и согласованно поведение игровых ботов.

 

График показывает, как агенты представляют себе игровой мир

 

Механика игры

Две команды соревнуются на карте, чтобы захватить флаг противника и защитить собственный. Команда, захватившая наибольшее количество флагов в течение пяти минут, одерживает победу.

Об игре у ботов была та же информация, что и у людей. Всем предоставили изображение игровой локации на экране и информацию о выигрыше. Боты выучили стратегию и научились работать в команде, так что смогли последовательно побеждать противников-людей.

Турнир

Исследователи провели турнир, в котором участвовали 40 людей-игроков. Они случайным образом объединялись с ИИ в одну команду или выступали в качестве противников. Команда профессиональных тестеров противостояла ботам двадцать часов подряд, но победить смогла только в 25% случаев.

Боты научились играть так хорошо, что команда из человека и бота смогла победить команду из двух ботов только в 21% случаев. Карты составлялись случайным образом, но боты научились запоминать расположение объектов, что и способствовало успеху.

Чтобы уравнять шансы с людьми, исследователи ограничили скорость реакции ботов до человеческого уровня, но боты все равно превзошли людей-игроков в 79% случаев. При этом ИИ изучает поведение игроков: следование за товарищами по команде и походы на базу противника.

 

Три примера автоматически обнаруженного поведения, которое демонстрируют обученные агенты

 

Другие достижения ИИ от Google

Ранее Google создал другой непобедимый ИИ. В декабре 2017 года AlphaZero и шахматный движок Stockfish сыграли 100 партий в шахматы. Искусственный интеллект Google победил в 28 партиях, 72 партии закончились ничьей. В 2018 году нейросеть-геймер от Google впервые разгромила человека в стратегии StarCraft II

Победы в играх – не главные цели разработки искусственного интеллекта. Шахматы и аркады – это тестовые площадки, от которых корпорация переходит к серьезным проектам. Задача ИИ в будущем – замена человеческого труда и выполнение исследований, недоступных человеческому разуму. Например, Google презентовал ИИ, который поможет диагностировать офтальмологические болезни

Подробнее о разработке


Автор:
Сергей Кравченко Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Дата
3. GreenDragon 23.06.19 22:20 Сейчас в теме
(2) смотришь на ботов в WoT и закрадываются сомнения...
2. 3vs 21.06.19 17:20 Сейчас в теме
Да, видимо скоро робот София скажет "кожаные ублюдки, вам не место на этой планете"...
1. ResAndDev 21.06.19 17:14 Сейчас в теме
"Убить всех человеков! Слава роботам!" ("Футурама")
vakham; arakelyan; D_e_X_T_e_R; SKravchenko; +4 Ответить
Оставьте свое сообщение

См. также

Windows 11 начала отговаривать пользователей от установки Google Chrome

Новость Windows Интернет ИТ-новость

В Windows 11 появилось предупреждение при установке Google Chrome, в котором сообщается, что этот браузер старше Microsoft Edge и компания не доверяет ему.

сегодня в 13:10    5262    VKuser24342747    0       

Российская компания создала смартфон для ОС «Касперского»

Новость ОС Безопасность Импортозамещение ИТ-новость Мобильные приложения Новости компаний

Компания «Аквариус» представила устройство Aquarius CMP NS M11, которое полностью совместимо с Kaspersky OS. К концу года организация готова произвести 3 тыс. экземпляров телефона.

сегодня в 13:00    4805    VKuser24342747    3       

Российская ОС «Аврора» получила крупное обновление до версии 4.0

Новость ОС ИТ-новость Мобильные приложения Новости компаний

Компания «Открытая мобильная платформа» выпустила мобильную операционную систему «Аврора» 4.0. Релиз включает более 300 улучшений, из них 40 – важные нововведения.

03.12.2021    7704    VKuser24342747    6       

Российские банки запустили систему переводов без номера телефона и карты

Новость Банки Безопасность ИТ-новость

Новая технология позволяет клиентам банков переводить деньги на ближайшие устройства при помощи Bluetooth и AirDrop без указания реквизитов карты или счета, а также телефонного номера.

02.12.2021    5418    VKuser24342747    3       

Сотрудники Минцифры протестируют сервисы VK для госслужащих

Новость ИТ-новость Минкомсвязь Цифровая экономика

Компания VK разработала набор приложений для автоматизации работы госслужащих. Первыми получат возможность опробовать мессенджер, файлообменник, почту и другие сервисы чиновники из Минцифры.

02.12.2021    6901    VKuser24342747    0       

Лаборатория Касперского представила бесплатную ОС

Новость ОС Безопасность ИТ-новость Новости компаний

«Лаборатория Касперского» выпустила собственную операционную систему. На базе KasperskyOS можно создать решения, которые защищены от многих видов кибератак.

01.12.2021    6278    user1015646    2       

«Яндекс» представил сервис для сканирования документов

Новость ИТ-новость Новости компаний Яндекс

В приложениях «Яндекс.Почта» и «Яндекс.Диск» появился новый сервис «Сканер». Он при помощи искусственного интеллекта обрабатывает фотографию документа, улучшает ее качество и выдает в результате «отсканированный» файл.

01.12.2021    7167    VKuser24342747    1       

OpenAI открывает доступ к API GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний

Компания OpenAI предоставила доступ к API (прикладному программному интерфейсу) алгоритмов обработки естественного языка GPT-3. Это открывает новые возможности для экспериментов с умными системами, которые могут имитировать человеческие возможности – например, писать стихи или отвечать на вопросы.

29.11.2021    5357    user1015646    0       

Компания JetBrains представила легковесный редактор Fleet

Новость ИТ-новость Новости компаний

Разработчики нового продукта пообещали своим пользователям поддержку инструментов коллективной разработки, удаленный доступ к проектам, а также возможность трансформации редактора в полноценную IDE.

29.11.2021    5653    ЕленаЧерепнева    8       

Разработчики Astra Linux создали аналог Microsoft Active Directory

Новость Linux Безопасность Импортозамещение ИТ-новость Новости компаний

Группа компаний «Астра» представила службу ALD Pro, которая замещает в российской ОС Astra Linux решение Microsoft Active Directory. Поддержку этой функции от системы часто требуют госзаказчики.

29.11.2021    8495    VKuser24342747    1       

Специальный алгоритм очистит данные переписи населения

Новость Искусственный интеллект ИТ-новость

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

26.11.2021    7311    VKuser24342747    0       

В офисах Google появились универсальные роботы

Новость Автоматизация ИТ-новость Новости компаний

Офисы Google в Маунтин Вью, штат Калифорния, теперь станут гораздо чище. К уборке привлекли универсальных роботов, разработанных X Company, которая, как и поисковый гигант, входит в состав холдинга Alphabet.

25.11.2021    6655    user1015646    2       

Вышло крупное обновление для TypeScript с автодополнением кода

Новость ИТ-новость Языки программирования

Команда разработки TypeScript представила версию языка под номером 4.5. В ней улучшена производительность технологии, расширены возможности автодополнения и упрощено переподключение библиотек.

24.11.2021    11119    VKuser24342747    4       

GitHub назвал три ключевых тренда в разработке за 2021 год

Новость GitHub Аналитика ИТ-новость

GitHub провел традиционное ежегодное исследование Octoverse, чтобы определить основные направления развития ИТ-индустрии. В 2021 году актуальными стали вопросы быстрого написания кода и подготовки документации.

24.11.2021    11326    VKuser24342747    0       

Рособрнадзор прекратит использовать Windows при проведении ЕГЭ

Новость Импортозамещение ИТ-новость

Единый государственный экзамен к концу 2024 года будет проходить без использования ОС Windows во всех местах, где можно сдать тестирование. Вместо нее будет установлена российская система.

23.11.2021    7420    VKuser24342747    5       

Google выпустил версию браузера Chrome 96

Новость Интернет ИТ-новость Новости компаний

Новая актуальная версия Google Chrome 96 получила расширение инструментов для веб-разработчиков и экспериментальные функции в мобильной версии.

23.11.2021    7648    VKuser24342747    1       

Через Госуслуги компании подтвердили 13,3 млн корпоративных SIM-карт

Новость Безопасность ИТ-новость Телекоммуникации

Министерство цифрового развития сообщило, что компании соблюдают новые требования закона «О связи» и уже зарегистрировали на портале госуслуг 13,3 млн рабочих SIM-карт.

22.11.2021    8840    VKuser24342747    1       

Visual Studio 2022 и .NET 6: что нового

Новость ИТ-новость Новости компаний Языки программирования

Microsoft выпустила свежий релиз одной из самых популярных сред разработки. Вместе с Visual Studio 2022 представили обновленную платформу .NET 6.

22.11.2021    10897    user1015646    0       

Программист разработал поисковую систему без слежки за пользователями

Новость Безопасность Интернет ИТ-новость

Бывший разработчик из компании Salesforce Ричард Сокер открыл публичный доступ к своему поисковому сервису You. В нем нет никаких трекеров личных данных и рекламных материалов.

18.11.2021    7140    VKuser24342747    3       

«Сбер» обучил нейросеть ruGPT-3 генерировать программный код

Новость Искусственный интеллект ИТ-новость Новости компаний

Новая функция самой большой генеративной AI-модели для русского языка получила название JARVIS. Сейчас сервис способен работать с языками программирования Java, Python и JavaScript.

18.11.2021    6969    VKuser24342747    2       

Университет Иннополис создал уникальный российский индустриальный блокчейн

Новость Блокчейн ИТ-новость

В России разработан блокчейн InnoChain, который предназначен для использования в закрытых сетях. С его помощью можно подписывать договоры и планировать объемы продаж.

17.11.2021    7685    VKuser24342747    0       

В Dropbox появились «автоматизированные папки» и новая система тегов

Новость ИТ-новость Облачные технологии

Dropbox добавил в свой облачный сервис функции, которые позволят автоматизировать работу с общими папками и файлами. К ним относятся автоматизированные папки, автоматизированная панель инструментов, соглашения об именах и многофайловая организация.

17.11.2021    7328    SKravchenko    1       

Microsoft выпустит платформу Defender for Business

Новость ИТ-новость Новости компаний

Microsoft Defender for Business станет частью комплексного решения Microsoft 365 Business Premium, которое объединяет Microsoft Teams и Office 365 с основными инструментами безопасности для малого и среднего бизнеса.

16.11.2021    4957    SKravchenko    0       

Adobe Photoshop и Illustrator стали доступны онлайн

Новость

У популярных графических редакторов появились веб-версии. Они позволяют редактировать фото, не устанавливая требовательные к ресурсам приложения на компьютер или смартфон, и включают достаточно широкий набор инструментов.

11.11.2021    6197    user1015646    0       

Что нового в SQL Server 2022

Новость СУБД MS SQL ИТ-новость Новости компаний

Microsoft на ежегодной конференции Microsoft Ignite анонсировала предварительную версию SQL Server 2022 – теперь СУБД включает интеграцию с базой Azure SQL, службой аналитики Azure Synapse Analytics и платформой управления данными Azure Purview.

11.11.2021    11660    SKravchenko    0