Разработка без кодинга: Microsoft анонсировала передовые инструменты для машинного обучения

07.05.2019      11848

Корпорация Microsoft представила инструменты, которые позволят разработчикам создать модель машинного обучения, не написав ни строчки кода. Инструментов два: среда разработки Azure Automated Machine Learning и визуальный интерфейс для Azure Machine Learning.

Автоматическое машинное обучение

Автоматизированное машинное обучение Automated Machine Learning (AutoML) позволяет ученым, аналитикам и разработчикам создавать эффективные модели машинного обучения с высокой степенью масштабирования. Достаточно указать источник данных и проблему, которую необходимо решить: классификация, регрессия или прогнозирование. 

Среда AutoML построена на базе облачной платформы Azure. Система получила лаконичный интерфейс. После старта работы с моделью решение самостоятельно выберет и запустит множество алгоритмов и технологий оптимизации, чтобы получить наиболее точный и вероятный результат.


Интерфейс Azure Automated Machine Learning

 

Если вы не доверяете автоматизированной системе или хотите проверить разные гипотезы, настроить систему можно и вручную. «Ручное управление» позволяет использовать инструмент любителям и специалистам в области машинного обучения.

Визуальный интерфейс

Microsoft представила визуальный интерфейс для среды Azure Machine Learning. Azure Machine Learning – облачное решение, позволяющее строить и использовать сложные модели машинного обучения в простой и наглядной форме.

Возможности нового интерфейса сравнимы с функциональностью Azure ML Studio. Этот инструмент для создания, тестирования и развертывания решений машинного обучения поддерживает функцию перетаскивания объектов. Теперь создавать и обучать модели, перетаскивая готовые блоки на нужное место, можно и в Azure Machine Learning.


Визуальный интерфейс Azure Machine Learning

 

Визуальный интерфейс Azure Machine Learning снижает зашумленность данных, улучшает показатели модели в процессе обучения и тестирует различные алгоритмы, чтобы встроить лучшие из них в готовый продукт.


Перечень всех экспериментов, где можно проанализировать результаты обучения и подобрать лучший вариант

 

Больше информации о новых продуктах с поддержкой  Azure Machine Learning разработчики предоставят на конференции Microsoft Build 2019. Она стартовала 6 мая в Сиэтле и продлится три дня.

Подробнее об Azure Automated Machine Learning


Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. s22 19 07.05.19 10:00 Сейчас в теме
В реальности все это сложнее и менее удобно чем питон.

Красивее.
6. TODD22 18 07.05.19 11:08 Сейчас в теме
(1)
В реальности все это сложнее и менее удобно чем питон.

В реальности сбор, очистка, подготовка данных это 95% работы... вот эту бы часть автоматизировали...
7. VmvLer 07.05.19 12:05 Сейчас в теме
(6) Для этого корпорации используют беднейшие страны где нанимают армии операторов для
сбора, очистки, подготовки данных и передачи этих данных алгоритмам машинного обучения.
Фактически эти операторы выполняют ввод данных.
8. s22 19 07.05.19 13:06 Сейчас в теме
(7) В беднейших народ надо еще научить ввод данных.
9. TODD22 18 07.05.19 13:07 Сейчас в теме
(7)
Фактически эти операторы выполняют ввод данных.

Оператор и ввод данных это дорого(даже в беднейших странах) и к тому же очень не качественно.
12. Darklight 27 07.05.19 13:31 Сейчас в теме
(6)В руководстве они рассматривают пример - там очистка идёт скриптами на питоне - то есть - эффективнее писать скрипты для очистки, чем доверять это дело "неграм"
14. starik-2005 2524 07.05.19 13:47 Сейчас в теме
(6) сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет). От чего чистить? От критических значений? Так это кластерный анализ и без нас сможет сделать ,собрав что-то в пределах ограничений и убрав экстремальные значения. Подготовка данных к чему? К анализу? Так это все через определение исходных полей делается . Вот есть у вас продажи - они построены из простых данных: период, товар, цена/сумма/стоимость/профит. Машинное обучение просто получает поля и строит зависимость одних полей от других для прогноза. Для кластеризации даже
то не нужно - нужен просто поток данных в разрезе тех самых полей, а на выходе будет некий градиент из от "хорошо" до "плохо" (ну или по-иному как).

Все машинное обучение сводится к поиску в куче данных тенденций и зависимостей. Прогнав учебную выборку через алгоритм на выходе можно получить связь чего-то с чем-то с неким коэффициентом "правдивости", после этого можно передать уже часть данных, по которым алгоритм найдет недостающие, и на выходе будет прогноз, включающий в себя пришедшие данные и добавленные в них предположения. Дальше с этим можно работать. Например, у вас есть товар и некая кривая спроса, зависящая от совокупности данных, часть из которых есть в системе и может дать некоторый прогноз для построения кривой спроса в перспективе В итоге вы можете спрогнозировтаь спрос и оптимизировать логистику. И готовить тут как-то специально и собирать как-то специально данные нет необходимости - они есть в системе. А вот если на рынок вышел еще один продукт с аналогичными характеристиками, то прогноз полетит к чертям, т.к. часть спроса уйдет на этот аналогичный продукт, но, конечно, не сразу - постепенно по мере продвижения информации о нем в среде потребителей продукта. Но тенденцию снижения спроса можно заметить и принять меры (выяснить, что за продукт появился, изменить по нему логистическую схему, провести рекламную кампанию, ...т.е. принять нужные управленческие решения, чтобы снизить оборотные расходы и кассовый разрыв из-за затаривания склада)
16. TODD22 18 07.05.19 13:50 Сейчас в теме
(14)
сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет).

Это если они там у вас есть в вашей ИС. А если их там нет, то их нужно с начало собрать и обработать. Например из кучи различных источников в интернете.
К тому же обработка то же процесс не простой...
Вот есть у вас данные с пропущенными значениями возникает закономерный вопрос удалить все наблюдения с пропущенными значениями или же попытаться их заполнить какими то средними, медианными или иными значениями.
17. starik-2005 2524 07.05.19 13:54 Сейчас в теме
(16)
А если их там нет, то их нужно с начало собрать и обработать.
Нет систем, где есть все. И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны? Прогноз как раз и заключается в том, чтобы предположить, как будут развиваться события при наличии только части данных. И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Суть машинного обучения заключается в скармливании известных нам данных, чтобы получить неизвестные. При этом часто придется обучить алгоритм на данных с известным прогнозом (т.е. исторических данных).

Если же в нашей системе нет никаких данных вообще, то это не система - это хрень какая-то бухгалтерская для сдачи отчетности. На кой хрен она нужна - вопрос второй, конечно.
18. TODD22 18 07.05.19 13:58 Сейчас в теме
(17)
И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны?

Прогнозирование только частный случай.
И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Аналитик.
Если же в нашей системе нет никаких данных вообще

Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать, что бы система была.
19. starik-2005 2524 07.05.19 14:01 Сейчас в теме
(18)
Прогнозирование только частный случай.
А можно огласить весь список?

(18)
Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать
И как их надо "обработать"? Всегда интересовался.
21. TODD22 18 07.05.19 15:14 Сейчас в теме
(19)
А можно огласить весь список?

Так в гугле вроде всё есть....
Всегда интересовался.

Поискал в гугле и не нашёл?
22. starik-2005 2524 07.05.19 15:18 Сейчас в теме
(21) не нашел. Дадите сцылку? Вы же, как я понял, уже все нашли и узнали.
23. TODD22 18 07.05.19 15:22 Сейчас в теме
(22)Не могу дать сцылку, кроме ИС на работе остальные ресурсы заблокированы.
Но я уверен что если не поленитесь и загуглите то у вас всё получится.
24. TODD22 18 07.05.19 15:24 Сейчас в теме
(22)Но если коротко то:
Очистка, нормализация, преобразование, выделение признаков, уплотнение данных и это первая ссылка на википедию....
25. TODD22 18 07.05.19 15:27 Сейчас в теме
(22)https://m.habr.com/ru/company/intel/blog/414635/
Не поленился и загуглил с телефона. А так в каждом направлении свои приёмы и подходы.
26. starik-2005 2524 07.05.19 16:05 Сейчас в теме
(25) так вы это об изображениях говорите? Ну тогда да - очистить,нормализовать, дополнить и.... запустить обучение. Потом можно будет лица порнозвезд менять на лица сотрудниц из соседнего кабинета. А я почему-то думал, что мы тут о работе. Ну да ладно...
27. TODD22 18 07.05.19 16:09 Сейчас в теме
(26)
так вы это об изображениях говорите?

Нет я говорил что задачи сбора и предобработки данных довольно трудоёмкие...
А я почему-то думал, что мы тут о работе.

Надо меньше думать о работе.

Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
28. starik-2005 2524 08.05.19 17:26 Сейчас в теме
(27)
Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.
29. TODD22 18 08.05.19 18:20 Сейчас в теме
(28)
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.

С соц сетей с API не проблема. С сайтами сложнее. Зачем они нужны надо понимать до того как собираешь. А не после....
30. starik-2005 2524 08.05.19 19:54 Сейчас в теме
(29) иногда сначала лучше все собрать, кластеризовать, выявить зависимости, а потом уже можно целевые показатели собирать.
31. TODD22 18 08.05.19 20:44 Сейчас в теме
(30)
иногда сначала лучше все собрать

а потом уже можно целевые показатели собирать.

Так "все" уже и так содержат "целевые", надо их просто выделить что бы модель была более точной, обучение более быстрым....
32. starik-2005 2524 09.05.19 09:14 Сейчас в теме
(31) ну вот, понимаете что-то - уже не плохо)))

Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными. Дал ше собираете только зависимые и уже по ним прогнозы строите зависимостей. А можно - да - всегда все подряд собирать и не париться с корреляцией - просто скармливать нейросети. Но она связи в том же перцептроне между уровнем входного сигнала и результатом строит. Вот есть у ва на входе сто пикселей, изображающих единицу, и они вяжутся к единице, т.к. в обучающей выборке у вас тысяча единиц нарисованная разными художниками. И вот тогда образуется связь, которая отличает единицу от той же семерки. И с любыми другими данными то же самое - есть оюучающая выборка с совокупностью параметров на входе и, допустим, уровнем реакции пользователя или его пристрастие к чему-либо, указанное в обучающем наборе. После обучения система может делать предположения или прогнозы. Но все это с низким уровнем достоыерности, т.к. в срцсетях народ пытается себя с лучшей стороны показать. Поэтому попытка брать все показатели для прогноза или выявления скрытой информации обычно приводит к противоречивым результатам, т.к. пациент врет, система обучена плохо, много независимых показателей вносят шум. Так?
33. TODD22 18 09.05.19 11:54 Сейчас в теме
(32)
Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными.

Корреляция не обязательно означает что показатели связанны и на оборот....
просто скармливать нейросети.

Нейросеть один из инструментов иногда линейная регрессия показывает лучше результаты чем сложные нейросети. К тому же для некоторых областей применения не маловажную роль играет интерпретируемость модели, например для кредитного скоринга.
т.к. пациент врет

Не всегда врёт, бывает что "добросовестно заблуждается".
34. starik-2005 2524 09.05.19 21:02 Сейчас в теме
(33) а что означает корелляция?
11. Darklight 27 07.05.19 13:21 Сейчас в теме
(1)Оно построено на питоне
2. пользователь 07.05.19 10:14
Сообщение было скрыто модератором.
...
3. пользователь 07.05.19 10:15
Сообщение было скрыто модератором.
...
4. muskul 07.05.19 10:34 Сейчас в теме
1с судя по всему через что то подобное начало код и структуру писать.
AMS_Guskov_VL; kuzyara; +2 Ответить
5. VmvLer 07.05.19 10:40 Сейчас в теме
когда интернеты "окуклятся" в национальных границах такие темы логично помечать тегом
#ихнравы, чтобы не было мучительно больно за бесцельное изобретение своих костылей.
10. Darklight 27 07.05.19 13:15 Сейчас в теме
Когда ждать в 1С?
Или првильнее спросить когда к такому монстру прикрутят 1С платформу мелким плагинчиком?
13. user1202800 07.05.19 13:35 Сейчас в теме
Все это хорошо, куча рекламы MS Azure... а по факту при регистрации: "Мы вносим изменения в работу с клиентами, и подписки Azure сейчас недоступны в России.", причем ситуация эта еще с апреля, на официальный запрос отвечают ну типа еще несколько недель вопрос будет решаться, ну вы там пытайтесь время от времени.

На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
15. starik-2005 2524 07.05.19 13:50 Сейчас в теме
(13)
На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
Может они хотят, чтобы желающие за это время поставили питончик и поигрались с либами вручную? Все образование...
20. comol 4723 07.05.19 14:40 Сейчас в теме
Какие эти инструменты нафиг новые, если я его ещё пару месяцев назад во всю юзал...
35. user778014 8 10.05.19 02:08 Сейчас в теме
Если за дело взялись мелкомягкие то ждет эту программку такая же судьба как ie, edge, skype, silverlight, windows phone, powerapps, и т.д.
То есть судьба незавидная
Оставьте свое сообщение

См. также

OpenAI открывает доступ к API GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний

Компания OpenAI предоставила доступ к API (прикладному программному интерфейсу) алгоритмов обработки естественного языка GPT-3. Это открывает новые возможности для экспериментов с умными системами, которые могут имитировать человеческие возможности – например, писать стихи или отвечать на вопросы.

вчера в 17:22    3542    user1015646    0       

Компания JetBrains представила легковесный редактор Fleet

Новость ИТ-новость Новости компаний

Разработчики нового продукта пообещали своим пользователям поддержку инструментов коллективной разработки, удаленный доступ к проектам, а также возможность трансформации редактора в полноценную IDE.

вчера в 15:55    3644    ЕленаЧерепнева    7       

Разработчики Astra Linux создали аналог Microsoft Active Directory

Новость Linux Безопасность Импортозамещение ИТ-новость Новости компаний

Группа компаний «Астра» представила службу ALD Pro, которая замещает в российской ОС Astra Linux решение Microsoft Active Directory. Поддержку этой функции от системы часто требуют госзаказчики.

вчера в 13:57    4450    VKuser24342747    1       

Специальный алгоритм очистит данные переписи населения

Новость Искусственный интеллект ИТ-новость

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

26.11.2021    4745    VKuser24342747    0       

В офисах Google появились универсальные роботы

Новость Автоматизация ИТ-новость Новости компаний

Офисы Google в Маунтин Вью, штат Калифорния, теперь станут гораздо чище. К уборке привлекли универсальных роботов, разработанных X Company, которая, как и поисковый гигант, входит в состав холдинга Alphabet.

25.11.2021    4556    user1015646    2       

Вышло крупное обновление для TypeScript с автодополнением кода

Новость ИТ-новость Языки программирования

Команда разработки TypeScript представила версию языка под номером 4.5. В ней улучшена производительность технологии, расширены возможности автодополнения и упрощено переподключение библиотек.

24.11.2021    6820    VKuser24342747    4       

GitHub назвал три ключевых тренда в разработке за 2021 год

Новость GitHub Аналитика ИТ-новость

GitHub провел традиционное ежегодное исследование Octoverse, чтобы определить основные направления развития ИТ-индустрии. В 2021 году актуальными стали вопросы быстрого написания кода и подготовки документации.

24.11.2021    6651    VKuser24342747    0       

Рособрнадзор прекратит использовать Windows при проведении ЕГЭ

Новость Импортозамещение ИТ-новость

Единый государственный экзамен к концу 2024 года будет проходить без использования ОС Windows во всех местах, где можно сдать тестирование. Вместо нее будет установлена российская система.

23.11.2021    4845    VKuser24342747    5       

Google выпустил версию браузера Chrome 96

Новость Интернет ИТ-новость Новости компаний

Новая актуальная версия Google Chrome 96 получила расширение инструментов для веб-разработчиков и экспериментальные функции в мобильной версии.

23.11.2021    4328    VKuser24342747    1       

Через Госуслуги компании подтвердили 13,3 млн корпоративных SIM-карт

Новость Безопасность ИТ-новость Телекоммуникации

Министерство цифрового развития сообщило, что компании соблюдают новые требования закона «О связи» и уже зарегистрировали на портале госуслуг 13,3 млн рабочих SIM-карт.

22.11.2021    6708    VKuser24342747    1       

Visual Studio 2022 и .NET 6: что нового

Новость ИТ-новость Новости компаний Языки программирования

Microsoft выпустила свежий релиз одной из самых популярных сред разработки. Вместе с Visual Studio 2022 представили обновленную платформу .NET 6.

22.11.2021    6898    user1015646    0       

Программист разработал поисковую систему без слежки за пользователями

Новость Безопасность Интернет ИТ-новость

Бывший разработчик из компании Salesforce Ричард Сокер открыл публичный доступ к своему поисковому сервису You. В нем нет никаких трекеров личных данных и рекламных материалов.

18.11.2021    5018    VKuser24342747    3       

«Сбер» обучил нейросеть ruGPT-3 генерировать программный код

Новость Искусственный интеллект ИТ-новость Новости компаний

Новая функция самой большой генеративной AI-модели для русского языка получила название JARVIS. Сейчас сервис способен работать с языками программирования Java, Python и JavaScript.

18.11.2021    4904    VKuser24342747    2       

Университет Иннополис создал уникальный российский индустриальный блокчейн

Новость Блокчейн ИТ-новость

В России разработан блокчейн InnoChain, который предназначен для использования в закрытых сетях. С его помощью можно подписывать договоры и планировать объемы продаж.

17.11.2021    5858    VKuser24342747    0       

В Dropbox появились «автоматизированные папки» и новая система тегов

Новость ИТ-новость Облачные технологии

Dropbox добавил в свой облачный сервис функции, которые позволят автоматизировать работу с общими папками и файлами. К ним относятся автоматизированные папки, автоматизированная панель инструментов, соглашения об именах и многофайловая организация.

17.11.2021    4927    SKravchenko    1       

Microsoft выпустит платформу Defender for Business

Новость ИТ-новость Новости компаний

Microsoft Defender for Business станет частью комплексного решения Microsoft 365 Business Premium, которое объединяет Microsoft Teams и Office 365 с основными инструментами безопасности для малого и среднего бизнеса.

16.11.2021    3026    SKravchenko    0       

Adobe Photoshop и Illustrator стали доступны онлайн

Новость

У популярных графических редакторов появились веб-версии. Они позволяют редактировать фото, не устанавливая требовательные к ресурсам приложения на компьютер или смартфон, и включают достаточно широкий набор инструментов.

11.11.2021    4242    user1015646    0       

Что нового в SQL Server 2022

Новость СУБД MS SQL ИТ-новость Новости компаний

Microsoft на ежегодной конференции Microsoft Ignite анонсировала предварительную версию SQL Server 2022 – теперь СУБД включает интеграцию с базой Azure SQL, службой аналитики Azure Synapse Analytics и платформой управления данными Azure Purview.

11.11.2021    8894    SKravchenko    0       

«Сбер» представил нейросеть для генерации картинок по описанию

Новость Искусственный интеллект ИТ-новость

Сервис ruDALL-E способен генерировать изображения с нуля по текстовому описанию на русском языке. Авторы полагают, что модель будет полезна для создания рекламного, архитектурного и промышленного дизайна.

11.11.2021    5957    VKuser24342747    10       

Правительство собирается определить главный российский процессор

Новость Импортозамещение ИТ-новость

Минцифры и Минпромторг намерены выбрать приоритетную российскую микропроцессорную платформу. Разработчики отечественного ПО будут обязаны поддерживать ее.

10.11.2021    5598    VKuser24342747    4       

Первая стабильная версия Microsoft Edge стала доступна для Linux

Новость Linux Интернет ИТ-новость

В репозиториях Linux на портале Microsoft появилась стабильная версия браузера Edge. Пакет под названием microsoft-edge-stable_95 доступен для пользователей Ubuntu, Debian, Fedora и openSUSE.

10.11.2021    5504    VKuser24342747    0       

Microsoft выпустит версию Windows 11 для слабых компьютеров

Новость Windows ИТ-новость

Microsoft намерена представить ОС Windows 11 SE для устройств начального уровня. Для работы операционной системы будет достаточно ноутбука на базе процессора Intel Celeron.

08.11.2021    4468    VKuser24342747    3       

Нейросеть GitHub Copilot стала доступна в Neovim и разработках JetBrains

Новость GitHub Искусственный интеллект ИТ-новость

Ассистент программиста GitHub Copilot, генерирующий код при помощи ИИ, включен в последние версии редактора кода Neovim, а также в IDE IntelliJ и PyCharm от компании JetBrains.

08.11.2021    7556    VKuser24342747    1       

Правительство совместно с ИТ-компаниями подготовили кодекс этики в сфере ИИ

Новость Искусственный интеллект ИТ-новость

Правительство, «Сбер», «Яндекс», VK и другие российские компании подготовили документ, который содержит рекомендации для бизнеса по морально-этическим вопросам использования ИИ.

03.11.2021    5116    VKuser24342747    8       

Аналитики Gartner назвали 12 наиболее перспективных технологий в 2022 году

Новость Аналитика ИТ-новость

Компания Gartner составила список технологий и стратегий, которые уже будут применяться в 2022 году и окажут наиболее существенное влияние на бизнес-среду в ближайшие несколько лет.

03.11.2021    5764    VKuser24342747    2