Подразделение Google DeepMind обучило ИИ играть в Quake лучше людей

21.06.2019     

Подразделение Google DeepMind поделилось успехами в разработке ботов, способных играть в Quake III Arena. ИИ научился играть на уровне человека и стал практически непобедим.

Погоня за флагом

Quake III Arena Capture the Flag – трехмерная многопользовательская игра от первого лица и сложная мультиагентная среда. Агент – программный компонент, решающий определенные задачи. Мультиагентные среды для решения сложной задачи используют системы, состоящие из множества взаимодействующих агентов.

На основе Quake III Arena Capture the Flag проводилось обучение ИИ с подкреплением. Боты взаимодействуют с товарищами по команде и демонстрируют высокую производительность.

Исследователи создали парк игроков искусственного интеллекта, которые освоили режим Quake III Capture the Flag, сыграв 450 тыс. матчей, используя технологию обучения DeepMind на случайно сгенерированных картах.

Сложность задачи

Сложность обучения бота-геймера заключается в том, что отдельные агенты должны действовать независимо, но при этом взаимодействовать с другими.

Исследователи выделили три принципа обучения ИИ для решения такой задачи:

  • вместо того, чтобы обучать одного агента, ученые работали с группой, которая учится, играя друг с другом;
  • каждый агент изучает собственный сигнал вознаграждения. Обучение с подкреплением на внутренних поощрениях используется, чтобы выработать совместную тактику;
  • агенты работают в двух временных масштабах – быстром и медленном – чтобы развить способность использовать память и генерировать согласованные последовательности действий.

Схема архитектуры For The Win объединяет повторяющиеся нейронные сети в быстрых и медленных временных масштабах, включает в себя модуль общей памяти и изучает преобразование игровых очков во внутреннее вознаграждение.

 

Схема архитектуры For The Win

 

Точки на графике ниже – шаблоны поведенческих реакций, которые изучают боты. Точки окрашиваются в соответствии с ситуацией, и цветные кластеры указывают, как агенты представляют себе ключевые фрагменты игрового аспекта. Чем ближе две точки находятся в пространстве, тем более организованно и согласованно поведение игровых ботов.

 

График показывает, как агенты представляют себе игровой мир

 

Механика игры

Две команды соревнуются на карте, чтобы захватить флаг противника и защитить собственный. Команда, захватившая наибольшее количество флагов в течение пяти минут, одерживает победу.

Об игре у ботов была та же информация, что и у людей. Всем предоставили изображение игровой локации на экране и информацию о выигрыше. Боты выучили стратегию и научились работать в команде, так что смогли последовательно побеждать противников-людей.

Турнир

Исследователи провели турнир, в котором участвовали 40 людей-игроков. Они случайным образом объединялись с ИИ в одну команду или выступали в качестве противников. Команда профессиональных тестеров противостояла ботам двадцать часов подряд, но победить смогла только в 25% случаев.

Боты научились играть так хорошо, что команда из человека и бота смогла победить команду из двух ботов только в 21% случаев. Карты составлялись случайным образом, но боты научились запоминать расположение объектов, что и способствовало успеху.

Чтобы уравнять шансы с людьми, исследователи ограничили скорость реакции ботов до человеческого уровня, но боты все равно превзошли людей-игроков в 79% случаев. При этом ИИ изучает поведение игроков: следование за товарищами по команде и походы на базу противника.

 

Три примера автоматически обнаруженного поведения, которое демонстрируют обученные агенты

 

Другие достижения ИИ от Google

Ранее Google создал другой непобедимый ИИ. В декабре 2017 года AlphaZero и шахматный движок Stockfish сыграли 100 партий в шахматы. Искусственный интеллект Google победил в 28 партиях, 72 партии закончились ничьей. В 2018 году нейросеть-геймер от Google впервые разгромила человека в стратегии StarCraft II

Победы в играх – не главные цели разработки искусственного интеллекта. Шахматы и аркады – это тестовые площадки, от которых корпорация переходит к серьезным проектам. Задача ИИ в будущем – замена человеческого труда и выполнение исследований, недоступных человеческому разуму. Например, Google презентовал ИИ, который поможет диагностировать офтальмологические болезни

Подробнее о разработке


Автор:
Сергей Кравченко Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. ResAndDev 21.06.19 17:14 Сейчас в теме
"Убить всех человеков! Слава роботам!" ("Футурама")
vakham; arakelyan; D_e_X_T_e_R; SKravchenko; +4 Ответить
2. 3vs 21.06.19 17:20 Сейчас в теме
Да, видимо скоро робот София скажет "кожаные ублюдки, вам не место на этой планете"...
arakelyan; +1 Ответить
3. GreenDragon 23.06.19 22:20 Сейчас в теме
(2) смотришь на ботов в WoT и закрадываются сомнения...
Оставьте свое сообщение

См. также

JetBrains открыла ранний доступ к новой IDE для Data Science

Новость ИТ-новость Новости компаний

7 сентября JetBrains разместила в своем блоге статью с информацией о том, что новая IDE DataSpell, которая с марта 2021 года находилась в закрытом тестировании по программе раннего доступа (EAP), становится доступной для всех желающих.

вчера в 17:06    5186    capitan    1       

Microsoft предлагает отказаться от паролей в пользу сервиса Authentication

Новость Безопасность Интернет ИТ-новость Новости компаний

Microsoft видит проблему в стандартных паролях, которые зачастую повторяются и имеют низкую надежность. В компании убеждены, что альтернативные способы аутентификации более безопасны.

вчера в 15:23    1543    VKuser24342747    1       

Правительство утвердило разработку российского аналога GitHub

Новость ИТ-новость Цифровая экономика

Премьер-министр Михаил Мишустин на форуме Kazan Digital Week анонсировал создание отечественного репозитория, аналогичного GitHub. Проект реализуется в рамках второго пакета поддержки ИТ.

22.09.2021    6053    VKuser24342747    17       

Microsoft присоединилась к Open Infrastructure Foundation для развития облаков

Новость ИТ-новость Новости компаний Облачные технологии

Microsoft стала платиновым членом организации Open Infrastructure Foundation. Компания будет представлять интересы своих телекоммуникационных клиентов в OpenStack.

15.09.2021    3744    VKuser24342747    0       

Microsoft разрешит устанавливать Windows 11 на старые компьютеры

Новость Windows ИТ-новость Новости компаний

Microsoft пересмотрела правила установки Windows 11, которые не позволяли использовать ОС на компьютерах, не соответствующих системным требованиям. Для инсталляции придется создать загрузочный диск.

14.09.2021    2939    VKuser24342747    0       

Оплата лицом заработает на всех станциях метро Москвы

Новость Искусственный интеллект ИТ-новость Цифровая экономика

В столичном метрополитене внедряют систему FacePay. С 15 октября оплатить проезд можно будет, не доставая смартфон, карту или жетоны из кармана.

14.09.2021    2454    user1015646    2       

«Яндекс» представил технологию автоматического перевода любых видео на русский язык

Новость ИТ-новость Яндекс

«Яндекс» сделал функцию автоматического закадрового перевода иностранных роликов доступной для почти любых видео в интернете. Функция встроена в фирменный браузер компании.

13.09.2021    2524    VKuser24342747    4       

Исследователи синтезировали выразительную устную речь

Новость Искусственный интеллект ИТ-новость

Синтетическое воспроизведение речи от голосовых помощников и автопереводчиков не передает эмоций и интонаций. Специалисты NVIDIA разработали систему искусственного интеллекта, которая решает эту проблему: ее речь сложно отличить от естественной.

10.09.2021    9135    user1015646    0       

GitHub выпустил веб-редактор кода: возможности, о которых вы могли не знать

Новость GitHub Автоматизация Интернет ИТ-новость

Начинающим программистам часто сложно настроить среду разработки и установить весь необходимый софт. Для них, а также для специалистов, которые работают в распределенных командах, GitHub запустил новый сервис github.dev.

10.09.2021    5445    user1015646    0       

Раскрыта дата релиза Windows 11

Новость Windows ИТ-новость Новости компаний

Microsoft официально объявила, когда станет доступна новая версия самой популярной десктопной ОС. Обновиться с Windows 10 до Windows 11 можно будет уже 5 октября 2021 года.

09.09.2021    9922    user1015646    0       

В Google научились увеличивать изображения в 16 раз с восстановлением деталей

Новость Искусственный интеллект ИТ-новость

Раньше увеличить видео с камер наблюдения в десятки раз получалось только у героев фильмов. Но теперь такая возможность существует и в реальной жизни – инженеры Google разработали прорывную технологию масштабирования изображений.

09.09.2021    4368    user1015646    3       

Эксперты подготовили рекомендации по использованию кириллицы в доменах и почте

Новость Интернет ИТ-новость

Рабочая группа представила стандарты внедрения, обработки, хранения, валидации и адаптации кириллических символов для программ, поддерживающих доменные имена и email-адреса.

07.09.2021    2924    VKuser24342747    0       

Госструктуры перейдут на российские системы видеоконференций

Новость Импортозамещение ИТ-новость Облачные технологии

Российских чиновников переводят на использование отечественного сервиса видеоконференций. Будут внедрять систему TrueConf на базе ОС Astra Linux и процессоров Baikal-M от «Байкал Электроникс».

03.09.2021    3247    user1015646    0       

Минэкономики раскритиковало требования к обновлению оборудования для суверенного Рунета

Новость Импортозамещение Интернет ИТ-новость Телекоммуникации

Минэкономики пришло к выводу, что требования Минцифры затормозят развитие связи в России. По мнению специалистов ведомства, возможным последствием может стать ухудшение интернет-услуг провайдеров.

03.09.2021    2676    VKuser24342747    0       

Разработчики назвали любимые языки программирования

Новость ИТ-новость Языки программирования

Крупнейший форум для разработчиков Stack Overflow составил рейтинг любимых языков программирования. Первую строчку списка занял молодой, но перспективный Rust.

02.09.2021    5302    user1015646    3       

Петербургские ученые обучили нейросеть находить вредоносных ботов в соцсетях

Новость Безопасность Искусственный интеллект ИТ-новость Соцсети

Сотрудники Санкт-Петербургского федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) создали решение для поиска ботов, размещающих спам и дезинформацию на любом языке.

02.09.2021    2348    VKuser24342747    1       

Windows Server исключается из эксперимента по поставке обновлений Microsoft WaaS

Новость Windows ИТ-новость Новости компаний Облачные технологии

По результатам четырехлетнего эксперимента Windows as a Service Microsoft решила, что больше не будет обновлять Windows Server несколько раз в год. Для серверной ОС было решено вернуться к практике обновления каждые 2-3 года.

01.09.2021    5461    SKravchenko    0       

Microsoft добавила в Power BI инструменты аналитики для Angular-приложений

Новость Аналитика ИТ-новость

Microsoft представила новый компонент для создания веб-сервисов аналитики данных. Он позволит интегрировать функции Power BI в Angular-приложения.

31.08.2021    3361    user1015646    0       

Windows 11 лишится нескольких функций предыдущей версии системы

Новость Windows ИТ-новость

Microsoft в бета-версии Windows 11 изменила привычные функции. Из ОС исчезло отображение секунд на часах и возможность быстро добавлять события в календарь, а кнопка «Пуск» переместилась в центр панели задач.

31.08.2021    4983    VKuser24342747    6       

GitHub в версии утилиты CLI 2.0 добавил поддержку расширений

Новость GitHub ИТ-новость Новости компаний

Разработчики GitHub представили вторую версию утилиты для управления проектами при помощи командной строки CLI. Приложение поддерживает несколько стандартных расширений и создание собственных.

27.08.2021    6519    VKuser24342747    0       

Круглая дата: ядру Linux исполнилось 30 лет

Новость Linux ИТ-новость Новости компаний

Ядро Linux отмечает юбилей. О создании новой ОС 21-летний Линус Торвальдс объявил 25 августа 1991 года.

27.08.2021    4814    user1015646    2       

Искусственный интеллект научился распознавать изображения лучше человека

Новость Искусственный интеллект ИТ-новость

Алгоритм компьютерного зрения впервые превзошел человека. В экспериментах людям и системе искусственного интеллекта предлагали определить, что изображено на фото, и ответить на вопросы. Результат ИИ оказался выше, чем у человека.

26.08.2021    3741    user1015646    5       

Facebook представил криптобиблиотеку для разработчиков – Winterfell

Новость ИТ-новость Новости компаний

Специалисты Facebook выпустили новую библиотеку Winterfell. Проект с открытым исходным кодом может генерировать доказательство вычислительной целостности STARK.

24.08.2021    4943    user1015646    3       

В GitHub добавлена поддержка цитирования из репозиториев

Новость GitHub ИТ-новость

GitHub позволил использовать файл CITATION.cff, в котором можно указать, как правильно ссылаться на содержимое репозитория при написании академических публикаций.

24.08.2021    5110    VKuser24342747    0       

GitHub официально представил новую версию «Обсуждений»

Новость GitHub ИТ-новость

GitHub заявил о завершении бета-тестирования обновленной версии раздела Discussions. Релизный вариант площадки для обсуждений репозиториев разрабатывался почти год при активном участии сообщества.

23.08.2021    3362    VKuser24342747    0