Ученые из Google Brain научили искусственный интеллект «отращивать» ноги

24.10.2018      9420

В ходе серии экспериментов исследователи Google Brain научили искусственный интеллект менять свое строение для решения поставленных задач: например, «отращивать» ноги для преодоления препятствий.

Google Brain – исследовательский проект Google по изучению искусственного интеллекта на основе глубокого обучения.

Обучение вместо эволюции

Чаще всего цель обучения ИИ состоит в том, чтобы изучить политику манипулирования виртуальным агентом, конструкция которого фиксирована и редко подходит для выполнения конкретной задачи. Но разработчики утверждают, что агент может не только улучшить свою структуру, но и облегчить процесс обучения при этом.

Ходок из многоугольника с парой ног путешествовал в среде OpenAI Gym. Ландшафт при этом генерировался случайно. Боту нужно было пройти по этой местности, меняя толщину и размер ног для успешного выполнения задания.

Процесс обучения был аналогичен методу проб и ошибок, за исключением того, что боты вознаграждаются за хорошие стратегии и их реализации. Решения, принятые в таких условиях, оказываются нестандартными и предсказуемыми для человека.

 

 

Вооружившись способностью изменять конфигурацию тела агента, Дэвид Ха из Google Brain с коллегами решил изучить, как побудить бота бросить вызов себе, вознаграждая его за сложные решения. Например, перенос одной и той же полезной нагрузки с использованием меньших ног может привести к более высокой награде, чем в случае с длинными ногами. 

За основу исследования программисты взяли принцип, согласно которому эволюция формирует общую структуру тела конкретного вида, но организм также может изменяться и адаптироваться к окружающей среде в течение жизни.

А я милого узнаю по походке

Эксперимент Google Brain не первый в своем роде. Аналогичные опыты проводила и компания Roboschool. У ее виртуальной среды есть собственный агент по имени Ant. Его тело поддерживают четыре ноги, и каждая из них состоит из трех частей, которые контролируются двумя моторными суставами.

 

Агент развивает более длинные и тонкие ноги, поддерживая одно и то же тело во время тренировки

 

На видео видно, как собственный дизайн тела агента отличается от оригинального: он учится развивать более длинные и тонкие ноги, параллельно изучая перенос тела через окружающую среду. При этом одна нога оказывается более крупной, обеспечивая большую стабильность. 

Возможность улучшать версию своего тела помогает агенту достичь большей производительности. Но с помощью подобных опытов можно решать и другие задачи, не всегда полезные для производительности. Например, агент сможет изучать дизайн, для воплощения которого требуется меньшее количество материалов, достигая при этом удовлетворительного качества работы. 

Результаты исследования

Программисты Google Brain пришли к выводу, что обучение агента с положительным подкреплением позволяет свести к минимуму вмешательство человека. Но повсеместно применять эту методику нельзя, ведь может случиться так, что требующего наименьших затрат решения не окажется, и робот не решит поставленную задачу без участия инженеров.

Использовать методику команда Google Brain предлагает для проектирования аэродинамических форм, испытаний материалов, создания роботов или улучшения компьютерной графики.


Автор:
Сергей Кравченко Обозреватель


Какие разработки Google в сфере ИИ вы считаете наиболее интересными?


Нейросеть для выявления заболеваний глаз (50%, 5 голосов)
50%
WaveNet – приближает созданную компьютером речь к естественному звучанию (50%, 5 голосов)
50%
Технология улучшения качества изображений (20%, 2 голосов)
20%
Инструмент для рисования AutoDraw (20%, 2 голосов)
20%
AlphaGo – нейронная сеть для игры в го (10%, 1 голосов)
10%
Другое (в комментарии) (0%, 0 голосов)
0%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. s22 19 24.10.18 13:28 Сейчас в теме
на конференции майла показывали реализацию wavenet. Звучит лучше диктора.
Оставьте свое сообщение

См. также

Российская ОС «Аврора» получила крупное обновление до версии 4.0

Новость ОС ИТ-новость Мобильные приложения Новости компаний

Компания «Открытая мобильная платформа» выпустила мобильную операционную систему «Аврора» 4.0. Релиз включает более 300 улучшений, из них 40 – важные нововведения.

03.12.2021    7433    VKuser24342747    2       

Российские банки запустили систему переводов без номера телефона и карты

Новость Банки Безопасность ИТ-новость

Новая технология позволяет клиентам банков переводить деньги на ближайшие устройства при помощи Bluetooth и AirDrop без указания реквизитов карты или счета, а также телефонного номера.

02.12.2021    5332    VKuser24342747    3       

Сотрудники Минцифры протестируют сервисы VK для госслужащих

Новость ИТ-новость Минкомсвязь Цифровая экономика

Компания VK разработала набор приложений для автоматизации работы госслужащих. Первыми получат возможность опробовать мессенджер, файлообменник, почту и другие сервисы чиновники из Минцифры.

02.12.2021    6788    VKuser24342747    0       

Лаборатория Касперского представила бесплатную ОС

Новость ОС Безопасность ИТ-новость Новости компаний

«Лаборатория Касперского» выпустила собственную операционную систему. На базе KasperskyOS можно создать решения, которые защищены от многих видов кибератак.

01.12.2021    6165    user1015646    2       

«Яндекс» представил сервис для сканирования документов

Новость ИТ-новость Новости компаний Яндекс

В приложениях «Яндекс.Почта» и «Яндекс.Диск» появился новый сервис «Сканер». Он при помощи искусственного интеллекта обрабатывает фотографию документа, улучшает ее качество и выдает в результате «отсканированный» файл.

01.12.2021    7047    VKuser24342747    1       

OpenAI открывает доступ к API GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний

Компания OpenAI предоставила доступ к API (прикладному программному интерфейсу) алгоритмов обработки естественного языка GPT-3. Это открывает новые возможности для экспериментов с умными системами, которые могут имитировать человеческие возможности – например, писать стихи или отвечать на вопросы.

29.11.2021    5262    user1015646    0       

Компания JetBrains представила легковесный редактор Fleet

Новость ИТ-новость Новости компаний

Разработчики нового продукта пообещали своим пользователям поддержку инструментов коллективной разработки, удаленный доступ к проектам, а также возможность трансформации редактора в полноценную IDE.

29.11.2021    5505    ЕленаЧерепнева    8       

Разработчики Astra Linux создали аналог Microsoft Active Directory

Новость Linux Безопасность Импортозамещение ИТ-новость Новости компаний

Группа компаний «Астра» представила службу ALD Pro, которая замещает в российской ОС Astra Linux решение Microsoft Active Directory. Поддержку этой функции от системы часто требуют госзаказчики.

29.11.2021    8252    VKuser24342747    1       

Специальный алгоритм очистит данные переписи населения

Новость Искусственный интеллект ИТ-новость

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

26.11.2021    6969    VKuser24342747    0       

В офисах Google появились универсальные роботы

Новость Автоматизация ИТ-новость Новости компаний

Офисы Google в Маунтин Вью, штат Калифорния, теперь станут гораздо чище. К уборке привлекли универсальных роботов, разработанных X Company, которая, как и поисковый гигант, входит в состав холдинга Alphabet.

25.11.2021    6402    user1015646    2       

Вышло крупное обновление для TypeScript с автодополнением кода

Новость ИТ-новость Языки программирования

Команда разработки TypeScript представила версию языка под номером 4.5. В ней улучшена производительность технологии, расширены возможности автодополнения и упрощено переподключение библиотек.

24.11.2021    10461    VKuser24342747    4       

GitHub назвал три ключевых тренда в разработке за 2021 год

Новость GitHub Аналитика ИТ-новость

GitHub провел традиционное ежегодное исследование Octoverse, чтобы определить основные направления развития ИТ-индустрии. В 2021 году актуальными стали вопросы быстрого написания кода и подготовки документации.

24.11.2021    10708    VKuser24342747    0       

Рособрнадзор прекратит использовать Windows при проведении ЕГЭ

Новость Импортозамещение ИТ-новость

Единый государственный экзамен к концу 2024 года будет проходить без использования ОС Windows во всех местах, где можно сдать тестирование. Вместо нее будет установлена российская система.

23.11.2021    7104    VKuser24342747    5       

Google выпустил версию браузера Chrome 96

Новость Интернет ИТ-новость Новости компаний

Новая актуальная версия Google Chrome 96 получила расширение инструментов для веб-разработчиков и экспериментальные функции в мобильной версии.

23.11.2021    7414    VKuser24342747    1       

Через Госуслуги компании подтвердили 13,3 млн корпоративных SIM-карт

Новость Безопасность ИТ-новость Телекоммуникации

Министерство цифрового развития сообщило, что компании соблюдают новые требования закона «О связи» и уже зарегистрировали на портале госуслуг 13,3 млн рабочих SIM-карт.

22.11.2021    8474    VKuser24342747    1       

Visual Studio 2022 и .NET 6: что нового

Новость ИТ-новость Новости компаний Языки программирования

Microsoft выпустила свежий релиз одной из самых популярных сред разработки. Вместе с Visual Studio 2022 представили обновленную платформу .NET 6.

22.11.2021    10538    user1015646    0       

Программист разработал поисковую систему без слежки за пользователями

Новость Безопасность Интернет ИТ-новость

Бывший разработчик из компании Salesforce Ричард Сокер открыл публичный доступ к своему поисковому сервису You. В нем нет никаких трекеров личных данных и рекламных материалов.

18.11.2021    6957    VKuser24342747    3       

«Сбер» обучил нейросеть ruGPT-3 генерировать программный код

Новость Искусственный интеллект ИТ-новость Новости компаний

Новая функция самой большой генеративной AI-модели для русского языка получила название JARVIS. Сейчас сервис способен работать с языками программирования Java, Python и JavaScript.

18.11.2021    6818    VKuser24342747    2       

Университет Иннополис создал уникальный российский индустриальный блокчейн

Новость Блокчейн ИТ-новость

В России разработан блокчейн InnoChain, который предназначен для использования в закрытых сетях. С его помощью можно подписывать договоры и планировать объемы продаж.

17.11.2021    7500    VKuser24342747    0       

В Dropbox появились «автоматизированные папки» и новая система тегов

Новость ИТ-новость Облачные технологии

Dropbox добавил в свой облачный сервис функции, которые позволят автоматизировать работу с общими папками и файлами. К ним относятся автоматизированные папки, автоматизированная панель инструментов, соглашения об именах и многофайловая организация.

17.11.2021    7125    SKravchenko    1       

Microsoft выпустит платформу Defender for Business

Новость ИТ-новость Новости компаний

Microsoft Defender for Business станет частью комплексного решения Microsoft 365 Business Premium, которое объединяет Microsoft Teams и Office 365 с основными инструментами безопасности для малого и среднего бизнеса.

16.11.2021    4787    SKravchenko    0       

Adobe Photoshop и Illustrator стали доступны онлайн

Новость

У популярных графических редакторов появились веб-версии. Они позволяют редактировать фото, не устанавливая требовательные к ресурсам приложения на компьютер или смартфон, и включают достаточно широкий набор инструментов.

11.11.2021    6033    user1015646    0       

Что нового в SQL Server 2022

Новость СУБД MS SQL ИТ-новость Новости компаний

Microsoft на ежегодной конференции Microsoft Ignite анонсировала предварительную версию SQL Server 2022 – теперь СУБД включает интеграцию с базой Azure SQL, службой аналитики Azure Synapse Analytics и платформой управления данными Azure Purview.

11.11.2021    11162    SKravchenko    0       

«Сбер» представил нейросеть для генерации картинок по описанию

Новость Искусственный интеллект ИТ-новость

Сервис ruDALL-E способен генерировать изображения с нуля по текстовому описанию на русском языке. Авторы полагают, что модель будет полезна для создания рекламного, архитектурного и промышленного дизайна.

11.11.2021    7284    VKuser24342747    11       

Правительство собирается определить главный российский процессор

Новость Импортозамещение ИТ-новость

Минцифры и Минпромторг намерены выбрать приоритетную российскую микропроцессорную платформу. Разработчики отечественного ПО будут обязаны поддерживать ее.

10.11.2021    6880    VKuser24342747    4