Разработка без кодинга: Microsoft анонсировала передовые инструменты для машинного обучения

07.05.2019     

Корпорация Microsoft представила инструменты, которые позволят разработчикам создать модель машинного обучения, не написав ни строчки кода. Инструментов два: среда разработки Azure Automated Machine Learning и визуальный интерфейс для Azure Machine Learning.

Автоматическое машинное обучение

Автоматизированное машинное обучение Automated Machine Learning (AutoML) позволяет ученым, аналитикам и разработчикам создавать эффективные модели машинного обучения с высокой степенью масштабирования. Достаточно указать источник данных и проблему, которую необходимо решить: классификация, регрессия или прогнозирование. 

Среда AutoML построена на базе облачной платформы Azure. Система получила лаконичный интерфейс. После старта работы с моделью решение самостоятельно выберет и запустит множество алгоритмов и технологий оптимизации, чтобы получить наиболее точный и вероятный результат.


Интерфейс Azure Automated Machine Learning

 

Если вы не доверяете автоматизированной системе или хотите проверить разные гипотезы, настроить систему можно и вручную. «Ручное управление» позволяет использовать инструмент любителям и специалистам в области машинного обучения.

Визуальный интерфейс

Microsoft представила визуальный интерфейс для среды Azure Machine Learning. Azure Machine Learning – облачное решение, позволяющее строить и использовать сложные модели машинного обучения в простой и наглядной форме.

Возможности нового интерфейса сравнимы с функциональностью Azure ML Studio. Этот инструмент для создания, тестирования и развертывания решений машинного обучения поддерживает функцию перетаскивания объектов. Теперь создавать и обучать модели, перетаскивая готовые блоки на нужное место, можно и в Azure Machine Learning.


Визуальный интерфейс Azure Machine Learning

 

Визуальный интерфейс Azure Machine Learning снижает зашумленность данных, улучшает показатели модели в процессе обучения и тестирует различные алгоритмы, чтобы встроить лучшие из них в готовый продукт.


Перечень всех экспериментов, где можно проанализировать результаты обучения и подобрать лучший вариант

 

Больше информации о новых продуктах с поддержкой  Azure Machine Learning разработчики предоставят на конференции Microsoft Build 2019. Она стартовала 6 мая в Сиэтле и продлится три дня.

Подробнее об Azure Automated Machine Learning


Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. s22 19 07.05.19 10:00 Сейчас в теме
В реальности все это сложнее и менее удобно чем питон.

Красивее.
6. TODD22 18 07.05.19 11:08 Сейчас в теме
(1)
В реальности все это сложнее и менее удобно чем питон.

В реальности сбор, очистка, подготовка данных это 95% работы... вот эту бы часть автоматизировали...
7. VmvLer 07.05.19 12:05 Сейчас в теме
(6) Для этого корпорации используют беднейшие страны где нанимают армии операторов для
сбора, очистки, подготовки данных и передачи этих данных алгоритмам машинного обучения.
Фактически эти операторы выполняют ввод данных.
8. s22 19 07.05.19 13:06 Сейчас в теме
(7) В беднейших народ надо еще научить ввод данных.
9. TODD22 18 07.05.19 13:07 Сейчас в теме
(7)
Фактически эти операторы выполняют ввод данных.

Оператор и ввод данных это дорого(даже в беднейших странах) и к тому же очень не качественно.
12. Darklight 27 07.05.19 13:31 Сейчас в теме
(6)В руководстве они рассматривают пример - там очистка идёт скриптами на питоне - то есть - эффективнее писать скрипты для очистки, чем доверять это дело "неграм"
14. starik-2005 2257 07.05.19 13:47 Сейчас в теме
(6) сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет). От чего чистить? От критических значений? Так это кластерный анализ и без нас сможет сделать ,собрав что-то в пределах ограничений и убрав экстремальные значения. Подготовка данных к чему? К анализу? Так это все через определение исходных полей делается . Вот есть у вас продажи - они построены из простых данных: период, товар, цена/сумма/стоимость/профит. Машинное обучение просто получает поля и строит зависимость одних полей от других для прогноза. Для кластеризации даже
то не нужно - нужен просто поток данных в разрезе тех самых полей, а на выходе будет некий градиент из от "хорошо" до "плохо" (ну или по-иному как).

Все машинное обучение сводится к поиску в куче данных тенденций и зависимостей. Прогнав учебную выборку через алгоритм на выходе можно получить связь чего-то с чем-то с неким коэффициентом "правдивости", после этого можно передать уже часть данных, по которым алгоритм найдет недостающие, и на выходе будет прогноз, включающий в себя пришедшие данные и добавленные в них предположения. Дальше с этим можно работать. Например, у вас есть товар и некая кривая спроса, зависящая от совокупности данных, часть из которых есть в системе и может дать некоторый прогноз для построения кривой спроса в перспективе В итоге вы можете спрогнозировтаь спрос и оптимизировать логистику. И готовить тут как-то специально и собирать как-то специально данные нет необходимости - они есть в системе. А вот если на рынок вышел еще один продукт с аналогичными характеристиками, то прогноз полетит к чертям, т.к. часть спроса уйдет на этот аналогичный продукт, но, конечно, не сразу - постепенно по мере продвижения информации о нем в среде потребителей продукта. Но тенденцию снижения спроса можно заметить и принять меры (выяснить, что за продукт появился, изменить по нему логистическую схему, провести рекламную кампанию, ...т.е. принять нужные управленческие решения, чтобы снизить оборотные расходы и кассовый разрыв из-за затаривания склада)
16. TODD22 18 07.05.19 13:50 Сейчас в теме
(14)
сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет).

Это если они там у вас есть в вашей ИС. А если их там нет, то их нужно с начало собрать и обработать. Например из кучи различных источников в интернете.
К тому же обработка то же процесс не простой...
Вот есть у вас данные с пропущенными значениями возникает закономерный вопрос удалить все наблюдения с пропущенными значениями или же попытаться их заполнить какими то средними, медианными или иными значениями.
17. starik-2005 2257 07.05.19 13:54 Сейчас в теме
(16)
А если их там нет, то их нужно с начало собрать и обработать.
Нет систем, где есть все. И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны? Прогноз как раз и заключается в том, чтобы предположить, как будут развиваться события при наличии только части данных. И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Суть машинного обучения заключается в скармливании известных нам данных, чтобы получить неизвестные. При этом часто придется обучить алгоритм на данных с известным прогнозом (т.е. исторических данных).

Если же в нашей системе нет никаких данных вообще, то это не система - это хрень какая-то бухгалтерская для сдачи отчетности. На кой хрен она нужна - вопрос второй, конечно.
18. TODD22 18 07.05.19 13:58 Сейчас в теме
(17)
И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны?

Прогнозирование только частный случай.
И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Аналитик.
Если же в нашей системе нет никаких данных вообще

Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать, что бы система была.
19. starik-2005 2257 07.05.19 14:01 Сейчас в теме
(18)
Прогнозирование только частный случай.
А можно огласить весь список?

(18)
Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать
И как их надо "обработать"? Всегда интересовался.
21. TODD22 18 07.05.19 15:14 Сейчас в теме
(19)
А можно огласить весь список?

Так в гугле вроде всё есть....
Всегда интересовался.

Поискал в гугле и не нашёл?
22. starik-2005 2257 07.05.19 15:18 Сейчас в теме
(21) не нашел. Дадите сцылку? Вы же, как я понял, уже все нашли и узнали.
23. TODD22 18 07.05.19 15:22 Сейчас в теме
(22)Не могу дать сцылку, кроме ИС на работе остальные ресурсы заблокированы.
Но я уверен что если не поленитесь и загуглите то у вас всё получится.
24. TODD22 18 07.05.19 15:24 Сейчас в теме
(22)Но если коротко то:
Очистка, нормализация, преобразование, выделение признаков, уплотнение данных и это первая ссылка на википедию....
25. TODD22 18 07.05.19 15:27 Сейчас в теме
(22)https://m.habr.com/ru/company/intel/blog/414635/
Не поленился и загуглил с телефона. А так в каждом направлении свои приёмы и подходы.
26. starik-2005 2257 07.05.19 16:05 Сейчас в теме
(25) так вы это об изображениях говорите? Ну тогда да - очистить,нормализовать, дополнить и.... запустить обучение. Потом можно будет лица порнозвезд менять на лица сотрудниц из соседнего кабинета. А я почему-то думал, что мы тут о работе. Ну да ладно...
27. TODD22 18 07.05.19 16:09 Сейчас в теме
(26)
так вы это об изображениях говорите?

Нет я говорил что задачи сбора и предобработки данных довольно трудоёмкие...
А я почему-то думал, что мы тут о работе.

Надо меньше думать о работе.

Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
28. starik-2005 2257 08.05.19 17:26 Сейчас в теме
(27)
Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.
29. TODD22 18 08.05.19 18:20 Сейчас в теме
(28)
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.

С соц сетей с API не проблема. С сайтами сложнее. Зачем они нужны надо понимать до того как собираешь. А не после....
30. starik-2005 2257 08.05.19 19:54 Сейчас в теме
(29) иногда сначала лучше все собрать, кластеризовать, выявить зависимости, а потом уже можно целевые показатели собирать.
31. TODD22 18 08.05.19 20:44 Сейчас в теме
(30)
иногда сначала лучше все собрать

а потом уже можно целевые показатели собирать.

Так "все" уже и так содержат "целевые", надо их просто выделить что бы модель была более точной, обучение более быстрым....
32. starik-2005 2257 09.05.19 09:14 Сейчас в теме
(31) ну вот, понимаете что-то - уже не плохо)))

Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными. Дал ше собираете только зависимые и уже по ним прогнозы строите зависимостей. А можно - да - всегда все подряд собирать и не париться с корреляцией - просто скармливать нейросети. Но она связи в том же перцептроне между уровнем входного сигнала и результатом строит. Вот есть у ва на входе сто пикселей, изображающих единицу, и они вяжутся к единице, т.к. в обучающей выборке у вас тысяча единиц нарисованная разными художниками. И вот тогда образуется связь, которая отличает единицу от той же семерки. И с любыми другими данными то же самое - есть оюучающая выборка с совокупностью параметров на входе и, допустим, уровнем реакции пользователя или его пристрастие к чему-либо, указанное в обучающем наборе. После обучения система может делать предположения или прогнозы. Но все это с низким уровнем достоыерности, т.к. в срцсетях народ пытается себя с лучшей стороны показать. Поэтому попытка брать все показатели для прогноза или выявления скрытой информации обычно приводит к противоречивым результатам, т.к. пациент врет, система обучена плохо, много независимых показателей вносят шум. Так?
33. TODD22 18 09.05.19 11:54 Сейчас в теме
(32)
Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными.

Корреляция не обязательно означает что показатели связанны и на оборот....
просто скармливать нейросети.

Нейросеть один из инструментов иногда линейная регрессия показывает лучше результаты чем сложные нейросети. К тому же для некоторых областей применения не маловажную роль играет интерпретируемость модели, например для кредитного скоринга.
т.к. пациент врет

Не всегда врёт, бывает что "добросовестно заблуждается".
34. starik-2005 2257 09.05.19 21:02 Сейчас в теме
(33) а что означает корелляция?
11. Darklight 27 07.05.19 13:21 Сейчас в теме
(1)Оно построено на питоне
4. muskul 07.05.19 10:34 Сейчас в теме
1с судя по всему через что то подобное начало код и структуру писать.
AMS_Guskov_VL; kuzyara; +2 Ответить
5. VmvLer 07.05.19 10:40 Сейчас в теме
когда интернеты "окуклятся" в национальных границах такие темы логично помечать тегом
#ихнравы, чтобы не было мучительно больно за бесцельное изобретение своих костылей.
10. Darklight 27 07.05.19 13:15 Сейчас в теме
Когда ждать в 1С?
Или првильнее спросить когда к такому монстру прикрутят 1С платформу мелким плагинчиком?
13. user1202800 07.05.19 13:35 Сейчас в теме
Все это хорошо, куча рекламы MS Azure... а по факту при регистрации: "Мы вносим изменения в работу с клиентами, и подписки Azure сейчас недоступны в России.", причем ситуация эта еще с апреля, на официальный запрос отвечают ну типа еще несколько недель вопрос будет решаться, ну вы там пытайтесь время от времени.

На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
15. starik-2005 2257 07.05.19 13:50 Сейчас в теме
(13)
На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
Может они хотят, чтобы желающие за это время поставили питончик и поигрались с либами вручную? Все образование...
20. comol 4484 07.05.19 14:40 Сейчас в теме
Какие эти инструменты нафиг новые, если я его ещё пару месяцев назад во всю юзал...
35. user778014 7 10.05.19 02:08 Сейчас в теме
Если за дело взялись мелкомягкие то ждет эту программку такая же судьба как ie, edge, skype, silverlight, windows phone, powerapps, и т.д.
То есть судьба незавидная
Оставьте свое сообщение

См. также

В ближайшие годы возрастет потребность в персонале центров обработки данных

Новость Дата-центры ИТ-новость Цифровая экономика

Согласно отчету Uptime Institute, количество сотрудников, необходимых для обеспечения работы ЦОД, вырастет с 2 млн. в 2019 году до 2,3 млн. в 2025 году.

вчера в 15:30    1543    SKravchenko    0       

Google кардинально изменит дизайн Android 12

Новость Android Google ИТ-новость Мобильные приложения Новости компаний

Компания Google анонсировала глобальное обновление популярной операционной системы Android. Новая версия выйдет под номером 12. Говорят, что Android 12 назовут «Snow cone» – летний десерт из сладкого колотого льда.

вчера в 14:05    1775    mouse187    0       

Google представила новый сервис для поиска уязвимостей в открытом ПО

Новость Google Безопасность ИТ-новость

Компания Google запустила платформу с открытым исходным кодом OSV (Open Source Vulnerabilities). Она создана для поиска и закрытия уязвимостей в свободном ПО.

18.02.2021    1236    user1015646    0       

Отечественная компания представила сервер приложений Java EE

Новость ИТ-новость Новости компаний Языки программирования

Российская компания Bellsoft представила отечественный аналог сервера Oracle и IBM для JavaEE. Раньше продукт на базе открытого кода был доступен только для некоторых клиентов организации.

17.02.2021    2316    VKuser24342747    4       

Rustоманы из Долины: Google, Microsoft, Huawei, Mozilla и AWS основали фонд поддержки языка программирования

Новость Google ИТ-новость Новости компаний Языки программирования

Rust – перспективный язык, который широко применяется в разработке операционных систем и высоконагруженных веб-сервисов. Rust Foundation будет заниматься поддержкой и развитием языка.

16.02.2021    1570    user1015646    0       

В Microsoft Teams появилась платформа для общения и обучения

Новость Интернет ИТ-новость Мессенджеры Новости компаний

Microsoft добавила новые функции в корпоративный мессенджер Teams. В подключенной к нему платформе Viva можно пройти обучение, пообщаться с коллегами или улучшить организацию работы.

15.02.2021    3133    user1015646    0       

Google рассказала, как защищает Android от взломов

Новость Android Google Безопасность ИТ-новость

Google опубликовала информацию о том, как компания пытается улучшить безопасность Android, и какие шаги предпринимаются для борьбы с распространенными угрозами. Отчеты об уязвимостях играют в этом значительную роль.

12.02.2021    1856    SKravchenko    0       

Для регионов разработают приложение онлайн-записи на прием к врачам

Новость ИТ-новость Медицина Минкомсвязь Цифровая экономика

О возможностях приложения рассказали в Минздраве и Минцифре.

10.02.2021    1634    Senator_I    2       

Google разработает новую мобильную ОС

Новость MobileOS Google ИТ-новость Мобильные приложения

Корпорация Google создаст мобильную операционную систему для повышения безопасности использования устройств. Проект запущен под рабочим названием microdroid.

09.02.2021    2086    user1015646    0       

Google закрывает собственную игровую студию Stadia

Новость Google Видеоигры ИТ-новость Новости компаний

1 февраля Google официально закрыл собственную студию разработки игр для проекта Stadia, чтобы сосредоточить внимание на технологиях, лежащих в основе платформы.

09.02.2021    1413    SKravchenko    0       

Google представила технологию для замены cookies

Новость Google Интернет ИТ-новость

Методы сбора файлов cookies для повышения точности подбора рекламы не раз упрекали в нарушении личного пространства пользователей. Компания Google представила технологию, которая позволит отказаться от cookies и повысить уровень конфиденциальности.

09.02.2021    1214    user1015646    0       

Украинская команда FireWay одержала победу в хакатоне NASA Space Apps Challenge 2020

Новость ИТ-новость Стартапы

Украинская команда FireWay из Днепра стала победителем международного хакатона NASA Space Apps Challenge. Их изобретение было описано как «решение, которое демонстрирует наиболее инновационное использование технологии».

05.02.2021    1876    SKravchenko    2       

Китайцы разработали целых две альтернативы Flash

Новость Интернет ИТ-новость

Китайцам пришлось разработать собственную технологию ReFla взамен Flash для предотвращения сбоев в работе систем. Также они выпустили доработанную версию Flash Player с кодом 34.0.0.92.

04.02.2021    1981    mouse187    4       

Популярные дистрибутивы Linux могут лишиться поддержки Chromium

Новость Linux Google Интернет ИТ-новость

Из дистрибутивов Arch Linux, Fedora, Debian, Slackware и openSUSE может исчезнуть поддержка браузеров на движке Chromium. Причина – жесткие правила Google, из-за которых возникли проблемы с синхронизацией данных.

03.02.2021    2283    user1015646    3       

Microsoft участвует в разработке цифрового паспорта вакцинации от Covid-19

Новость ИТ-новость Медицина

Крупнейшие корпорации из сектора здравоохранения и ИТ-гиганты, такие как Microsoft, Salesforce и другие, объединились для создания цифровых идентификационных карт, которые подтверждают статус вакцинации против Covid-19.

02.02.2021    1690    capitan    3       

Что нового в Chrome 88: проверка надежности паролей и поддержка профилей

Новость Google Интернет ИТ-новость

Компания Google представила новый релиз браузера Chrome и обновила движок Chromium. Теперь ПО будет предупреждать о небезопасных паролях, а пользователь сможет создать привязанный к учетной записи профиль для персонализации работы в сети.

01.02.2021    2111    user1015646    0       

280 символов для науки: Twitter откроет доступ ученым к архиву твитов

Новость ИТ-новость Соцсети

Twitter предоставит академическим исследователям социальных сетей бесплатный доступ почти ко всем твитам. Исключение площадка сделает только для заблокированных аккаунтов.

29.01.2021    1434    VKuser24342747    1       

Отключение Flash на сутки лишило город железнодорожных служб

Новость Интернет ИТ-новость

Прекращение поддержки Flash парализовало работу железнодорожной сети китайского города-миллионника. Организация проигнорировала предупреждения Adobe о грядущем отключении технологии.

29.01.2021    1780    VKuser24342747    1       

Amazon представил форк Elasticsearch с открытым исходным кодом

Новость ИТ-новость Новости компаний Облачные технологии

Компания Amazon намерена развивать собственную версию решения для поиска, хранения и анализа данных Elasticsearch. Форк можно будет использовать в проектах с открытым исходным кодом.

28.01.2021    2199    user1015646    0       

Наниматели назвали самые востребованные языки программирования

Новость Аналитика ИТ-новость Языки программирования

Компания по обучению программистов CodinGame составила рейтинг самых востребованных языков программирования среди нанимателей. Для этого организация опросила 15 тыс. разработчиков и менеджеров по персоналу.

27.01.2021    2400    SKravchenko    1       

Вышел новый мировой стандарт Wi-Fi 6E. В России он не доступен

Новость ИТ-новость Телекоммуникации

В мире стартовало лицензирование и распространение устройств для работы с новым стандартом беспроводных сетей Wi-Fi 6E. В России стандарт не будет поддерживаться, поскольку частота в 6 ГГц уже занята.

26.01.2021    1975    user-programmist    2       

CES 2021: главные анонсы первой технологической выставки года

Новость Инновации ИТ-новость Микроэлектроника

CES (Consumer Electronics Show) в Лас-Вегасе традиционно открывает год на мировом рынке технологий. Из-за ограничений, связанных с пандемией, выставку провели онлайн, но это не помешало производителям представить интересные новинки.

25.01.2021    2445    user1015646    2       

Представлен GitLab 13.7: автооткат при сбоях и улучшенная проверка мердж-реквестов

Новость git Автоматизация ИТ-новость Новости компаний

Компания GitLab выпустила новый релиз платформы для работы с Git-репозиториями. В GitLab 13.7 добавили 45 новых функций, в том числе автоматический откат при сбоях и инструмент проверяющих для запросов на слияние.

22.01.2021    2313    user1015646    0       

Red Hat заменит CentOS бесплатной Red Hat Enterprise Linux

Новость Linux ИТ-новость

Red Hat в декабре объявила о прекращении поддержки CentOS 8 в 2021 году. Это вызвало волну негодования среди разработчиков, но теперь всё встало на свои места: компания представила бесплатные версии Red Hat Enterprise Linux для команд.

21.01.2021    3012    user1015646    0       

Российские исследователи представили новый фреймворк для работы с большими данными

Новость Аналитика Искусственный интеллект ИТ-новость

Специалисты Национального центра когнитивных разработок ИТМО представили платформу, которая упростит создание моделей технологических и бизнес-процессов. Она поможет принимать эффективные управленческие решения в условиях отсутствия полных данных.

21.01.2021    2278    user1015646    2