Разработка без кодинга: Microsoft анонсировала передовые инструменты для машинного обучения

07.05.2019      13099

Корпорация Microsoft представила инструменты, которые позволят разработчикам создать модель машинного обучения, не написав ни строчки кода. Инструментов два: среда разработки Azure Automated Machine Learning и визуальный интерфейс для Azure Machine Learning.

Автоматическое машинное обучение

Автоматизированное машинное обучение Automated Machine Learning (AutoML) позволяет ученым, аналитикам и разработчикам создавать эффективные модели машинного обучения с высокой степенью масштабирования. Достаточно указать источник данных и проблему, которую необходимо решить: классификация, регрессия или прогнозирование. 

Среда AutoML построена на базе облачной платформы Azure. Система получила лаконичный интерфейс. После старта работы с моделью решение самостоятельно выберет и запустит множество алгоритмов и технологий оптимизации, чтобы получить наиболее точный и вероятный результат.


Интерфейс Azure Automated Machine Learning

 

Если вы не доверяете автоматизированной системе или хотите проверить разные гипотезы, настроить систему можно и вручную. «Ручное управление» позволяет использовать инструмент любителям и специалистам в области машинного обучения.

Визуальный интерфейс

Microsoft представила визуальный интерфейс для среды Azure Machine Learning. Azure Machine Learning – облачное решение, позволяющее строить и использовать сложные модели машинного обучения в простой и наглядной форме.

Возможности нового интерфейса сравнимы с функциональностью Azure ML Studio. Этот инструмент для создания, тестирования и развертывания решений машинного обучения поддерживает функцию перетаскивания объектов. Теперь создавать и обучать модели, перетаскивая готовые блоки на нужное место, можно и в Azure Machine Learning.


Визуальный интерфейс Azure Machine Learning

 

Визуальный интерфейс Azure Machine Learning снижает зашумленность данных, улучшает показатели модели в процессе обучения и тестирует различные алгоритмы, чтобы встроить лучшие из них в готовый продукт.


Перечень всех экспериментов, где можно проанализировать результаты обучения и подобрать лучший вариант

 

Больше информации о новых продуктах с поддержкой  Azure Machine Learning разработчики предоставят на конференции Microsoft Build 2019. Она стартовала 6 мая в Сиэтле и продлится три дня.

Подробнее об Azure Automated Machine Learning


Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. s22 19 07.05.19 10:00 Сейчас в теме
В реальности все это сложнее и менее удобно чем питон.

Красивее.
6. TODD22 18 07.05.19 11:08 Сейчас в теме
(1)
В реальности все это сложнее и менее удобно чем питон.

В реальности сбор, очистка, подготовка данных это 95% работы... вот эту бы часть автоматизировали...
7. VmvLer 07.05.19 12:05 Сейчас в теме
(6) Для этого корпорации используют беднейшие страны где нанимают армии операторов для
сбора, очистки, подготовки данных и передачи этих данных алгоритмам машинного обучения.
Фактически эти операторы выполняют ввод данных.
8. s22 19 07.05.19 13:06 Сейчас в теме
(7) В беднейших народ надо еще научить ввод данных.
9. TODD22 18 07.05.19 13:07 Сейчас в теме
(7)
Фактически эти операторы выполняют ввод данных.

Оператор и ввод данных это дорого(даже в беднейших странах) и к тому же очень не качественно.
12. Darklight 28 07.05.19 13:31 Сейчас в теме
(6)В руководстве они рассматривают пример - там очистка идёт скриптами на питоне - то есть - эффективнее писать скрипты для очистки, чем доверять это дело "неграм"
14. starik-2005 2774 07.05.19 13:47 Сейчас в теме
(6) сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет). От чего чистить? От критических значений? Так это кластерный анализ и без нас сможет сделать ,собрав что-то в пределах ограничений и убрав экстремальные значения. Подготовка данных к чему? К анализу? Так это все через определение исходных полей делается . Вот есть у вас продажи - они построены из простых данных: период, товар, цена/сумма/стоимость/профит. Машинное обучение просто получает поля и строит зависимость одних полей от других для прогноза. Для кластеризации даже
то не нужно - нужен просто поток данных в разрезе тех самых полей, а на выходе будет некий градиент из от "хорошо" до "плохо" (ну или по-иному как).

Все машинное обучение сводится к поиску в куче данных тенденций и зависимостей. Прогнав учебную выборку через алгоритм на выходе можно получить связь чего-то с чем-то с неким коэффициентом "правдивости", после этого можно передать уже часть данных, по которым алгоритм найдет недостающие, и на выходе будет прогноз, включающий в себя пришедшие данные и добавленные в них предположения. Дальше с этим можно работать. Например, у вас есть товар и некая кривая спроса, зависящая от совокупности данных, часть из которых есть в системе и может дать некоторый прогноз для построения кривой спроса в перспективе В итоге вы можете спрогнозировтаь спрос и оптимизировать логистику. И готовить тут как-то специально и собирать как-то специально данные нет необходимости - они есть в системе. А вот если на рынок вышел еще один продукт с аналогичными характеристиками, то прогноз полетит к чертям, т.к. часть спроса уйдет на этот аналогичный продукт, но, конечно, не сразу - постепенно по мере продвижения информации о нем в среде потребителей продукта. Но тенденцию снижения спроса можно заметить и принять меры (выяснить, что за продукт появился, изменить по нему логистическую схему, провести рекламную кампанию, ...т.е. принять нужные управленческие решения, чтобы снизить оборотные расходы и кассовый разрыв из-за затаривания склада)
16. TODD22 18 07.05.19 13:50 Сейчас в теме
(14)
сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет).

Это если они там у вас есть в вашей ИС. А если их там нет, то их нужно с начало собрать и обработать. Например из кучи различных источников в интернете.
К тому же обработка то же процесс не простой...
Вот есть у вас данные с пропущенными значениями возникает закономерный вопрос удалить все наблюдения с пропущенными значениями или же попытаться их заполнить какими то средними, медианными или иными значениями.
17. starik-2005 2774 07.05.19 13:54 Сейчас в теме
(16)
А если их там нет, то их нужно с начало собрать и обработать.
Нет систем, где есть все. И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны? Прогноз как раз и заключается в том, чтобы предположить, как будут развиваться события при наличии только части данных. И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Суть машинного обучения заключается в скармливании известных нам данных, чтобы получить неизвестные. При этом часто придется обучить алгоритм на данных с известным прогнозом (т.е. исторических данных).

Если же в нашей системе нет никаких данных вообще, то это не система - это хрень какая-то бухгалтерская для сдачи отчетности. На кой хрен она нужна - вопрос второй, конечно.
18. TODD22 18 07.05.19 13:58 Сейчас в теме
(17)
И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны?

Прогнозирование только частный случай.
И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Аналитик.
Если же в нашей системе нет никаких данных вообще

Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать, что бы система была.
19. starik-2005 2774 07.05.19 14:01 Сейчас в теме
(18)
Прогнозирование только частный случай.
А можно огласить весь список?

(18)
Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать
И как их надо "обработать"? Всегда интересовался.
21. TODD22 18 07.05.19 15:14 Сейчас в теме
(19)
А можно огласить весь список?

Так в гугле вроде всё есть....
Всегда интересовался.

Поискал в гугле и не нашёл?
22. starik-2005 2774 07.05.19 15:18 Сейчас в теме
(21) не нашел. Дадите сцылку? Вы же, как я понял, уже все нашли и узнали.
23. TODD22 18 07.05.19 15:22 Сейчас в теме
(22)Не могу дать сцылку, кроме ИС на работе остальные ресурсы заблокированы.
Но я уверен что если не поленитесь и загуглите то у вас всё получится.
24. TODD22 18 07.05.19 15:24 Сейчас в теме
(22)Но если коротко то:
Очистка, нормализация, преобразование, выделение признаков, уплотнение данных и это первая ссылка на википедию....
25. TODD22 18 07.05.19 15:27 Сейчас в теме
(22)https://m.habr.com/ru/company/intel/blog/414635/
Не поленился и загуглил с телефона. А так в каждом направлении свои приёмы и подходы.
26. starik-2005 2774 07.05.19 16:05 Сейчас в теме
(25) так вы это об изображениях говорите? Ну тогда да - очистить,нормализовать, дополнить и.... запустить обучение. Потом можно будет лица порнозвезд менять на лица сотрудниц из соседнего кабинета. А я почему-то думал, что мы тут о работе. Ну да ладно...
27. TODD22 18 07.05.19 16:09 Сейчас в теме
(26)
так вы это об изображениях говорите?

Нет я говорил что задачи сбора и предобработки данных довольно трудоёмкие...
А я почему-то думал, что мы тут о работе.

Надо меньше думать о работе.

Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
28. starik-2005 2774 08.05.19 17:26 Сейчас в теме
(27)
Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.
29. TODD22 18 08.05.19 18:20 Сейчас в теме
(28)
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.

С соц сетей с API не проблема. С сайтами сложнее. Зачем они нужны надо понимать до того как собираешь. А не после....
30. starik-2005 2774 08.05.19 19:54 Сейчас в теме
(29) иногда сначала лучше все собрать, кластеризовать, выявить зависимости, а потом уже можно целевые показатели собирать.
31. TODD22 18 08.05.19 20:44 Сейчас в теме
(30)
иногда сначала лучше все собрать

а потом уже можно целевые показатели собирать.

Так "все" уже и так содержат "целевые", надо их просто выделить что бы модель была более точной, обучение более быстрым....
32. starik-2005 2774 09.05.19 09:14 Сейчас в теме
(31) ну вот, понимаете что-то - уже не плохо)))

Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными. Дал ше собираете только зависимые и уже по ним прогнозы строите зависимостей. А можно - да - всегда все подряд собирать и не париться с корреляцией - просто скармливать нейросети. Но она связи в том же перцептроне между уровнем входного сигнала и результатом строит. Вот есть у ва на входе сто пикселей, изображающих единицу, и они вяжутся к единице, т.к. в обучающей выборке у вас тысяча единиц нарисованная разными художниками. И вот тогда образуется связь, которая отличает единицу от той же семерки. И с любыми другими данными то же самое - есть оюучающая выборка с совокупностью параметров на входе и, допустим, уровнем реакции пользователя или его пристрастие к чему-либо, указанное в обучающем наборе. После обучения система может делать предположения или прогнозы. Но все это с низким уровнем достоыерности, т.к. в срцсетях народ пытается себя с лучшей стороны показать. Поэтому попытка брать все показатели для прогноза или выявления скрытой информации обычно приводит к противоречивым результатам, т.к. пациент врет, система обучена плохо, много независимых показателей вносят шум. Так?
33. TODD22 18 09.05.19 11:54 Сейчас в теме
(32)
Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными.

Корреляция не обязательно означает что показатели связанны и на оборот....
просто скармливать нейросети.

Нейросеть один из инструментов иногда линейная регрессия показывает лучше результаты чем сложные нейросети. К тому же для некоторых областей применения не маловажную роль играет интерпретируемость модели, например для кредитного скоринга.
т.к. пациент врет

Не всегда врёт, бывает что "добросовестно заблуждается".
34. starik-2005 2774 09.05.19 21:02 Сейчас в теме
(33) а что означает корелляция?
11. Darklight 28 07.05.19 13:21 Сейчас в теме
(1)Оно построено на питоне
2. пользователь 07.05.19 10:14
Сообщение было скрыто модератором.
...
3. пользователь 07.05.19 10:15
Сообщение было скрыто модератором.
...
4. muskul 07.05.19 10:34 Сейчас в теме
1с судя по всему через что то подобное начало код и структуру писать.
AMS_Guskov_VL; kuzyara; +2 Ответить
5. VmvLer 07.05.19 10:40 Сейчас в теме
когда интернеты "окуклятся" в национальных границах такие темы логично помечать тегом
#ихнравы, чтобы не было мучительно больно за бесцельное изобретение своих костылей.
10. Darklight 28 07.05.19 13:15 Сейчас в теме
Когда ждать в 1С?
Или првильнее спросить когда к такому монстру прикрутят 1С платформу мелким плагинчиком?
13. user1202800 07.05.19 13:35 Сейчас в теме
Все это хорошо, куча рекламы MS Azure... а по факту при регистрации: "Мы вносим изменения в работу с клиентами, и подписки Azure сейчас недоступны в России.", причем ситуация эта еще с апреля, на официальный запрос отвечают ну типа еще несколько недель вопрос будет решаться, ну вы там пытайтесь время от времени.

На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
15. starik-2005 2774 07.05.19 13:50 Сейчас в теме
(13)
На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
Может они хотят, чтобы желающие за это время поставили питончик и поигрались с либами вручную? Все образование...
20. comol 4788 07.05.19 14:40 Сейчас в теме
Какие эти инструменты нафиг новые, если я его ещё пару месяцев назад во всю юзал...
35. user778014 8 10.05.19 02:08 Сейчас в теме
Если за дело взялись мелкомягкие то ждет эту программку такая же судьба как ie, edge, skype, silverlight, windows phone, powerapps, и т.д.
То есть судьба незавидная
Оставьте свое сообщение

См. также

Госдума планирует отложить срок обязательного перехода на машиночитаемые доверенности

Новость Госдума Законодательство ИТ-новость

Госдума в первом чтении одобрила законопроект, который продлевает переходный период для машиночитаемых доверенностей. Еще полгода организации смогут не применять МЧД при использовании электронных подписей.

вчера в 17:00    487    VKuser24342747    0       

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    1356    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    1243    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    1565    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    1277    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    1230    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    1677    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    2426    VKuser24342747    14       

OpenAI опубликовала код системы распознавания речи Whisper

Новость Искусственный интеллект ИТ-новость

OpenAI открыла исходный код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT. Нейросеть используется для перевода речи в текст.

28.09.2022    2741    VKuser24342747    0       

Вторая версия среды разработки для плат Arduino вышла из бета-теста

Новость ИТ-новость Микроэлектроника

Arduino IDE 2.0 получила стабильную версию, в которой появилась поддержка автодополнения кода и темная тема. Разработка заняла несколько лет. Программа распространяется бесплатно.

23.09.2022    2716    VKuser24342747    0       

Основатель движения свободного ПО выпустил руководство по языку C

Новость Linux ИТ-новость Языки программирования

Ричард Мэттью Столлман, основатель Фонда свободного программного обеспечения, представил руководство по языку C и расширениям GNU. Пособие доступно всем желающим и предназначено как для опытных, так и начинающих программистов.

19.09.2022    2300    VKuser24342747    0       

«Ростелеком» предложил создать национальную экосистему на базе «Авроры»

Новость Импортозамещение ИТ-новость Мобильные приложения

Провайдер считает, что государственная мобильная экосистема поможет обеспечить технологическую независимость и экономический подъем страны. А ОС «Аврора» наиболее перспективная разработка для достижения этих целей.

15.09.2022    2189    VKuser24342747    5       

Яндекс выложил в открытый доступ инструмент для разработки мобильных приложений

Новость ИТ-новость Мобильные приложения Яндекс

Фреймворк DivKit от Яндекса стал доступен как open source решение. Инструмент позволяет менять интерфейс приложений без скачивания обновлений и значительно ускоряет мобильную разработку.

02.09.2022    1899    VKuser24342747    0       

Группа компаний «Астра» представила собственную мобильную ОС

Новость Linux ИТ-новость Мобильные приложения

Доработанная ОС Astra Linux Special Edition может быть запущена на большом числе мобильных устройств, в том числе на планшетах и смартфонах с процессорами на архитектурах ARM, «Эльбрус» и x86-64.

25.08.2022    1566    VKuser24342747    1       

В России разработаны меры для решения проблемы нехватки ИТ-специалистов

Новость ИТ-новость

Вице-премьер Дмитрий Чернышенко сообщил, что сейчас экономике страны не хватает 1 млн ИТ-специалистов. Способы преодоления дефицита закреплены в программе нацпроекта «Цифровая экономика»

05.08.2022    1701    VKuser24342747    11       

Яндекс открыл доступ к фреймворку для создания приложений с микросервисной архитектурой

Новость GitHub ИТ-новость Яндекс

Инструмент Userver опубликован как бесплатное open source решение. Яндекс уже несколько лет эффективно его использует в своих приложениях Go, «Еда», «Лавка», «Доставка» и другие. Фреймворк находится в стадии бета – переезда на открытую разработку.

02.08.2022    2548    VKuser24342747    19       

Бизнес сможет использовать повышающий коэффициент для расходов на покупку ПО

Новость ИТ-новость

Принят закон, который позволяет компаниям учитывать расходы на отечественные программы и радиоэлектронное оборудование с коэффициентом 1,5. Решения должны быть включены в соответствующие реестры и относиться к ИИ.

26.07.2022    2316    VKuser24342747    0       

Минэкономразвития тестирует миграцию с Windows 10 на Astra Linux

Новость ИТ-новость

Министерство проводит эксперимент, в ходе которого сотрудники используют российскую ОС Astra Linux вместо Windows 10. По словам главы департамента, эксперимент проходит успешно.

11.07.2022    1863    VKuser24342747    0       

Вышла версия открытого текстового редактора Vim 9.0

Новость ИТ-новость

В приложение добавлен скриптовый язык с поддержкой компилируемых функций для создания плагинов, улучшена проверка правописания и автодополнения, предоставлен выбор цветовых схем.

07.07.2022    2037    VKuser24342747    0       

 «Яндекс» открыл доступ к SmartCaptcha и нейросети по генерации текстов 

Новость ИТ-новость Яндекс

Компания открыла доступ к алгоритму SmartCaptcha, который защищает сайт от спама и DDoS-атак, а также к проекту YaLM 100B, способному писать тексты на английском и русском языках. 

29.06.2022    2353    VKuser24342747    0       

«Яндекс» предложил разработчикам пройти диагностику технических навыков

Новость Кадровые агентства, подбор персонала ИТ-новость Яндекс

Компания запустила сервис, при помощи которого можно получить оценку своих технических навыков от специалистов «Яндекса». Тестирование включает онлайн-интервью и решение задач с реальных собеседований. 

27.06.2022    2220    VKuser24342747    1       

GitHub открыл доступ всем разработчикам к ИИ-помощнику Copilot по подписке

Новость GitHub Искусственный интеллект ИТ-новость

Github Copilot стал общедоступным, но для его использования пользователю репозитория нужно приобрести подписку. Хотя некоторые разработчики могут пользоваться инструментом бесплатно.

24.06.2022    3938    VKuser24342747    1       

В России планируют учредить Федерацию спортивного программирования

Новость ИТ-новость

Минцифры и Минспорта подписали меморандум, в котором закреплено сотрудничество ведомств по развитию в стране спортивного программирования и проведение первого официального чемпионата.

21.06.2022    2792    VKuser24342747    6       

Microsoft окончательно прекратила поддержку Internet Explorer

Новость Интернет ИТ-новость

Microsoft прекратила выпуск обновлений для своего браузера Internet Explorer, а с августа начнет удалять приложение из актуальных версий Windows. Эксперты полагают, что из-за этого пострадает много бизнес-пользователей.

17.06.2022    3296    VKuser24342747    4       

В России начал работу отечественный сервис мониторинга сбоев

Новость Импортозамещение Интернет ИТ-новость

Российская компания BrandAnalytics запустила платформу «Детектор сбоев», предназначенную для отслеживания работоспособности сайтов и сервисов, в том числе русскоязычных.

16.06.2022    2143    VKuser24342747    0