Разработка без кодинга: Microsoft анонсировала передовые инструменты для машинного обучения

07.05.2019     

Корпорация Microsoft представила инструменты, которые позволят разработчикам создать модель машинного обучения, не написав ни строчки кода. Инструментов два: среда разработки Azure Automated Machine Learning и визуальный интерфейс для Azure Machine Learning.

Автоматическое машинное обучение

Автоматизированное машинное обучение Automated Machine Learning (AutoML) позволяет ученым, аналитикам и разработчикам создавать эффективные модели машинного обучения с высокой степенью масштабирования. Достаточно указать источник данных и проблему, которую необходимо решить: классификация, регрессия или прогнозирование. 

Среда AutoML построена на базе облачной платформы Azure. Система получила лаконичный интерфейс. После старта работы с моделью решение самостоятельно выберет и запустит множество алгоритмов и технологий оптимизации, чтобы получить наиболее точный и вероятный результат.


Интерфейс Azure Automated Machine Learning

 

Если вы не доверяете автоматизированной системе или хотите проверить разные гипотезы, настроить систему можно и вручную. «Ручное управление» позволяет использовать инструмент любителям и специалистам в области машинного обучения.

Визуальный интерфейс

Microsoft представила визуальный интерфейс для среды Azure Machine Learning. Azure Machine Learning – облачное решение, позволяющее строить и использовать сложные модели машинного обучения в простой и наглядной форме.

Возможности нового интерфейса сравнимы с функциональностью Azure ML Studio. Этот инструмент для создания, тестирования и развертывания решений машинного обучения поддерживает функцию перетаскивания объектов. Теперь создавать и обучать модели, перетаскивая готовые блоки на нужное место, можно и в Azure Machine Learning.


Визуальный интерфейс Azure Machine Learning

 

Визуальный интерфейс Azure Machine Learning снижает зашумленность данных, улучшает показатели модели в процессе обучения и тестирует различные алгоритмы, чтобы встроить лучшие из них в готовый продукт.


Перечень всех экспериментов, где можно проанализировать результаты обучения и подобрать лучший вариант

 

Больше информации о новых продуктах с поддержкой  Azure Machine Learning разработчики предоставят на конференции Microsoft Build 2019. Она стартовала 6 мая в Сиэтле и продлится три дня.

Подробнее об Azure Automated Machine Learning


Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. s22 19 07.05.19 10:00 Сейчас в теме
В реальности все это сложнее и менее удобно чем питон.

Красивее.
6. TODD22 18 07.05.19 11:08 Сейчас в теме
(1)
В реальности все это сложнее и менее удобно чем питон.

В реальности сбор, очистка, подготовка данных это 95% работы... вот эту бы часть автоматизировали...
7. VmvLer 07.05.19 12:05 Сейчас в теме
(6) Для этого корпорации используют беднейшие страны где нанимают армии операторов для
сбора, очистки, подготовки данных и передачи этих данных алгоритмам машинного обучения.
Фактически эти операторы выполняют ввод данных.
8. s22 19 07.05.19 13:06 Сейчас в теме
(7) В беднейших народ надо еще научить ввод данных.
9. TODD22 18 07.05.19 13:07 Сейчас в теме
(7)
Фактически эти операторы выполняют ввод данных.

Оператор и ввод данных это дорого(даже в беднейших странах) и к тому же очень не качественно.
12. Darklight 27 07.05.19 13:31 Сейчас в теме
(6)В руководстве они рассматривают пример - там очистка идёт скриптами на питоне - то есть - эффективнее писать скрипты для очистки, чем доверять это дело "неграм"
14. starik-2005 2342 07.05.19 13:47 Сейчас в теме
(6) сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет). От чего чистить? От критических значений? Так это кластерный анализ и без нас сможет сделать ,собрав что-то в пределах ограничений и убрав экстремальные значения. Подготовка данных к чему? К анализу? Так это все через определение исходных полей делается . Вот есть у вас продажи - они построены из простых данных: период, товар, цена/сумма/стоимость/профит. Машинное обучение просто получает поля и строит зависимость одних полей от других для прогноза. Для кластеризации даже
то не нужно - нужен просто поток данных в разрезе тех самых полей, а на выходе будет некий градиент из от "хорошо" до "плохо" (ну или по-иному как).

Все машинное обучение сводится к поиску в куче данных тенденций и зависимостей. Прогнав учебную выборку через алгоритм на выходе можно получить связь чего-то с чем-то с неким коэффициентом "правдивости", после этого можно передать уже часть данных, по которым алгоритм найдет недостающие, и на выходе будет прогноз, включающий в себя пришедшие данные и добавленные в них предположения. Дальше с этим можно работать. Например, у вас есть товар и некая кривая спроса, зависящая от совокупности данных, часть из которых есть в системе и может дать некоторый прогноз для построения кривой спроса в перспективе В итоге вы можете спрогнозировтаь спрос и оптимизировать логистику. И готовить тут как-то специально и собирать как-то специально данные нет необходимости - они есть в системе. А вот если на рынок вышел еще один продукт с аналогичными характеристиками, то прогноз полетит к чертям, т.к. часть спроса уйдет на этот аналогичный продукт, но, конечно, не сразу - постепенно по мере продвижения информации о нем в среде потребителей продукта. Но тенденцию снижения спроса можно заметить и принять меры (выяснить, что за продукт появился, изменить по нему логистическую схему, провести рекламную кампанию, ...т.е. принять нужные управленческие решения, чтобы снизить оборотные расходы и кассовый разрыв из-за затаривания склада)
16. TODD22 18 07.05.19 13:50 Сейчас в теме
(14)
сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет).

Это если они там у вас есть в вашей ИС. А если их там нет, то их нужно с начало собрать и обработать. Например из кучи различных источников в интернете.
К тому же обработка то же процесс не простой...
Вот есть у вас данные с пропущенными значениями возникает закономерный вопрос удалить все наблюдения с пропущенными значениями или же попытаться их заполнить какими то средними, медианными или иными значениями.
17. starik-2005 2342 07.05.19 13:54 Сейчас в теме
(16)
А если их там нет, то их нужно с начало собрать и обработать.
Нет систем, где есть все. И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны? Прогноз как раз и заключается в том, чтобы предположить, как будут развиваться события при наличии только части данных. И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Суть машинного обучения заключается в скармливании известных нам данных, чтобы получить неизвестные. При этом часто придется обучить алгоритм на данных с известным прогнозом (т.е. исторических данных).

Если же в нашей системе нет никаких данных вообще, то это не система - это хрень какая-то бухгалтерская для сдачи отчетности. На кой хрен она нужна - вопрос второй, конечно.
18. TODD22 18 07.05.19 13:58 Сейчас в теме
(17)
И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны?

Прогнозирование только частный случай.
И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Аналитик.
Если же в нашей системе нет никаких данных вообще

Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать, что бы система была.
19. starik-2005 2342 07.05.19 14:01 Сейчас в теме
(18)
Прогнозирование только частный случай.
А можно огласить весь список?

(18)
Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать
И как их надо "обработать"? Всегда интересовался.
21. TODD22 18 07.05.19 15:14 Сейчас в теме
(19)
А можно огласить весь список?

Так в гугле вроде всё есть....
Всегда интересовался.

Поискал в гугле и не нашёл?
22. starik-2005 2342 07.05.19 15:18 Сейчас в теме
(21) не нашел. Дадите сцылку? Вы же, как я понял, уже все нашли и узнали.
23. TODD22 18 07.05.19 15:22 Сейчас в теме
(22)Не могу дать сцылку, кроме ИС на работе остальные ресурсы заблокированы.
Но я уверен что если не поленитесь и загуглите то у вас всё получится.
24. TODD22 18 07.05.19 15:24 Сейчас в теме
(22)Но если коротко то:
Очистка, нормализация, преобразование, выделение признаков, уплотнение данных и это первая ссылка на википедию....
25. TODD22 18 07.05.19 15:27 Сейчас в теме
(22)https://m.habr.com/ru/company/intel/blog/414635/
Не поленился и загуглил с телефона. А так в каждом направлении свои приёмы и подходы.
26. starik-2005 2342 07.05.19 16:05 Сейчас в теме
(25) так вы это об изображениях говорите? Ну тогда да - очистить,нормализовать, дополнить и.... запустить обучение. Потом можно будет лица порнозвезд менять на лица сотрудниц из соседнего кабинета. А я почему-то думал, что мы тут о работе. Ну да ладно...
27. TODD22 18 07.05.19 16:09 Сейчас в теме
(26)
так вы это об изображениях говорите?

Нет я говорил что задачи сбора и предобработки данных довольно трудоёмкие...
А я почему-то думал, что мы тут о работе.

Надо меньше думать о работе.

Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
28. starik-2005 2342 08.05.19 17:26 Сейчас в теме
(27)
Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.
29. TODD22 18 08.05.19 18:20 Сейчас в теме
(28)
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.

С соц сетей с API не проблема. С сайтами сложнее. Зачем они нужны надо понимать до того как собираешь. А не после....
30. starik-2005 2342 08.05.19 19:54 Сейчас в теме
(29) иногда сначала лучше все собрать, кластеризовать, выявить зависимости, а потом уже можно целевые показатели собирать.
31. TODD22 18 08.05.19 20:44 Сейчас в теме
(30)
иногда сначала лучше все собрать

а потом уже можно целевые показатели собирать.

Так "все" уже и так содержат "целевые", надо их просто выделить что бы модель была более точной, обучение более быстрым....
32. starik-2005 2342 09.05.19 09:14 Сейчас в теме
(31) ну вот, понимаете что-то - уже не плохо)))

Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными. Дал ше собираете только зависимые и уже по ним прогнозы строите зависимостей. А можно - да - всегда все подряд собирать и не париться с корреляцией - просто скармливать нейросети. Но она связи в том же перцептроне между уровнем входного сигнала и результатом строит. Вот есть у ва на входе сто пикселей, изображающих единицу, и они вяжутся к единице, т.к. в обучающей выборке у вас тысяча единиц нарисованная разными художниками. И вот тогда образуется связь, которая отличает единицу от той же семерки. И с любыми другими данными то же самое - есть оюучающая выборка с совокупностью параметров на входе и, допустим, уровнем реакции пользователя или его пристрастие к чему-либо, указанное в обучающем наборе. После обучения система может делать предположения или прогнозы. Но все это с низким уровнем достоыерности, т.к. в срцсетях народ пытается себя с лучшей стороны показать. Поэтому попытка брать все показатели для прогноза или выявления скрытой информации обычно приводит к противоречивым результатам, т.к. пациент врет, система обучена плохо, много независимых показателей вносят шум. Так?
33. TODD22 18 09.05.19 11:54 Сейчас в теме
(32)
Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными.

Корреляция не обязательно означает что показатели связанны и на оборот....
просто скармливать нейросети.

Нейросеть один из инструментов иногда линейная регрессия показывает лучше результаты чем сложные нейросети. К тому же для некоторых областей применения не маловажную роль играет интерпретируемость модели, например для кредитного скоринга.
т.к. пациент врет

Не всегда врёт, бывает что "добросовестно заблуждается".
34. starik-2005 2342 09.05.19 21:02 Сейчас в теме
(33) а что означает корелляция?
11. Darklight 27 07.05.19 13:21 Сейчас в теме
(1)Оно построено на питоне
4. muskul 07.05.19 10:34 Сейчас в теме
1с судя по всему через что то подобное начало код и структуру писать.
AMS_Guskov_VL; kuzyara; +2 Ответить
5. VmvLer 07.05.19 10:40 Сейчас в теме
когда интернеты "окуклятся" в национальных границах такие темы логично помечать тегом
#ихнравы, чтобы не было мучительно больно за бесцельное изобретение своих костылей.
10. Darklight 27 07.05.19 13:15 Сейчас в теме
Когда ждать в 1С?
Или првильнее спросить когда к такому монстру прикрутят 1С платформу мелким плагинчиком?
13. user1202800 07.05.19 13:35 Сейчас в теме
Все это хорошо, куча рекламы MS Azure... а по факту при регистрации: "Мы вносим изменения в работу с клиентами, и подписки Azure сейчас недоступны в России.", причем ситуация эта еще с апреля, на официальный запрос отвечают ну типа еще несколько недель вопрос будет решаться, ну вы там пытайтесь время от времени.

На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
15. starik-2005 2342 07.05.19 13:50 Сейчас в теме
(13)
На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
Может они хотят, чтобы желающие за это время поставили питончик и поигрались с либами вручную? Все образование...
20. comol 4652 07.05.19 14:40 Сейчас в теме
Какие эти инструменты нафиг новые, если я его ещё пару месяцев назад во всю юзал...
35. user778014 8 10.05.19 02:08 Сейчас в теме
Если за дело взялись мелкомягкие то ждет эту программку такая же судьба как ie, edge, skype, silverlight, windows phone, powerapps, и т.д.
То есть судьба незавидная
Оставьте свое сообщение

См. также

Google добавит в Chrome режим приоритетной загрузки сайта по HTTPS

Новость Безопасность Интернет ИТ-новость

В новой версии Google Chrome появится режим HTTPS-First, который заставит браузер всегда пытаться загружать сайты по защищенному протоколу. В будущих релизах веб-обозревателя эта функция будет включена по умолчанию.

21.07.2021    547    VKuser24342747    0       

JetBrains назвала JavaScript и SQL самыми популярными языками в России

Новость Аналитика ИТ-новость Языки программирования

Компания JetBrains провела ежегодный опрос об экосистеме разработки в 2021 году. В нем приняли участие 31 743 разработчика из 183 стран, в том числе из Российской Федерации и СНГ.

21.07.2021    933    VKuser24342747    2       

MongoDB с последней версией Atlas стал бессерверным

Новость СУБД ИТ-новость

13 июля MongoDB представила версию 5.0 платформы баз данных NoSQL. Последние обновления поддерживают многие рабочие нагрузки в бессерверном режиме. Новая версия включает новые возможности для приложений и улучшения конфиденциальности и безопасности.

20.07.2021    1237    SKravchenko    1       

«Яндекс» представил уникальный сервис для автоматического перевода видео

Новость Искусственный интеллект ИТ-новость Новости компаний Яндекс

«Яндекс» разработал прототип сервиса на базе нейросети, который в режиме реального времени переводит иностранные ролики на русский язык и озвучивает их. По словам компании, технология не имеет аналогов в мире.

20.07.2021    523    VKuser24342747    1       

Появился способ игнорировать запрет установки Windows 11 на слабые ПК

Новость Windows ИТ-новость

Новая Windows 11 не может быть установлена на компьютеры, которые не соответствуют системным требованиям, определенным разработчиками. Однако продвинутые пользователи нашли способ обойти это ограничение.

19.07.2021    677    VKuser24342747    0       

На свежих процессорах Intel создали микрокомпьютер под Windows 10

Новость Windows Гаджеты ИТ-новость Микроэлектроника

Энтузиасты и стартаперы полюбили Arduino и Raspberry Pi. Но инженеры Commate Computer (Commell) пошли дальше и представили миниатюрный ПК LE-37O на базе новейших чипов Intel Tiger Lake. И на нем можно запустить Windows 10.

16.07.2021    849    user1015646    3       

Вот это поворот: Microsoft выпустила дистрибутив Linux

Новость Linux ИТ-новость Новости компаний

Пока мир замер в ожидании новой Windows 11, Microsoft решила преподнести пользователям большой сюрприз – и представила собственный дистрибутив Linux, CBL-Mariner 1.0.

15.07.2021    1250    user1015646    2       

Стартовала программа возмещения затрат разработчикам на скидки для малого бизнеса

Новость Законодательство Импортозамещение ИТ-новость Облачные технологии

Утверждена программа, в которой предусмотрено субсидирование разработки облачного программного обеспечения для малого и среднего бизнеса, а также скидки на софт, разработанный в рамках данной программы, до 50%.

15.07.2021    578    ЕленаЧерепнева    0       

Исследователи установили: ИИ-программы для собеседований не понимают речь соискателя

Новость Искусственный интеллект ИТ-новость

Эксперты из Массачусетского технологического института (MIT) изучили приложения, анализирующие резюме кандидатов. Ученые пришли к выводу, что такой софт плохо справляется с задачами и дает неверные результаты.

14.07.2021    463    VKuser24342747    1       

Юбилейный индекс TIOBE на июль. Рейтинг отмечает 20-летие

Новость ИТ-новость Рейтинг Языки программирования

Ежемесячный индекс TIOBE показывает, какие языки программирования наиболее популярны, и как их популярность растет с течением времени. В июле TIOBE отмечает 20-летие, публикует новый рейтинг и график популярности языков программирования за 20 лет.

12.07.2021    993    SKravchenko    0       

Google сделает обязательной двухэтапную аутентификацию для аккаунтов разработчиков

Новость Google ИТ-новость Мобильные приложения

До конца года всем разработчикам мобильных приложений для продуктов Google нужно подключить двухэтапную аутентификацию. Также им придется пройти дополнительную верификацию личности. 

08.07.2021    963    VKuser24342747    1       

Google установил новый обязательный формат для Android-приложений

Новость Google ИТ-новость Мобильные приложения Новости компаний

Компания Google объявила, что стандарт приложений Android App Bundle (AAB) станет обязательным в Play Store. Он заменит монолитный формат APK.

07.07.2021    1535    user1015646    0       

Токен исходного кода интернета продали с аукциона

Новость ИТ-новость

NFT-токены – уникальные двойники цифровых произведений – становятся все популярнее: их стали предлагать на традиционных аукционах с вековой историей. На этот раз ушел с молотка токен исходного кода интернета – на Sotheby’s его продали за 5,43 млн долларов США.

06.07.2021    2106    user1015646    0       

Российский разработчик научил нейросеть генерировать голос Геральта из The Witcher 3

Новость Видеоигры Искусственный интеллект ИТ-новость

Программист под ником nikich340 создал модификацию A Night to Remember для игры The Witcher 3: Wild Hunt, в которую добавлены новые реплики главного героя, озвученные нейросетью. 

06.07.2021    1472    VKuser24342747    0       

Linux получил крупнейшее обновление с момента выпуска пятой версии

Новость Linux ИТ-новость

Представлен первый стабильный релиз ядра Linux 5.13. По словам Линуса Торвальдса, это один из самых значительных релизов 5.x. ОС получила возможность корректно работать на процессорах Apple M1 и Intel Alder Lake.

05.07.2021    1511    VKuser24342747    4       

Amazon запустил конкурс на поиск уязвимостей AWS BugBust

Новость Безопасность ИТ-новость

Компания Amazon объявила о новом челлендже по поиску уязвимостей в AWS. И это не традиционная баунти-программа: здесь куда больше геймификации и амбициозная цель – совместно избавиться от 1 миллиона багов.

05.07.2021    1542    user1015646    0       

ИИ-помощник для программистов от Microsoft сможет дописывать код

Новость Искусственный интеллект ИТ-новость

Microsoft и GitHub представили совместный проект Copilot («второй пилот») на базе технологий организации OpenAI. Ассистент способен анализировать код и предлагать варианты завершения строк в зависимости от контекста. 

05.07.2021    1729    VKuser24342747    2       

В России начнет работу единая статистическая платформа

Новость Аналитика ИТ-новость

Правительство согласовало положение, которое предусматривает создание к 2022 году сервиса для объединения всех государственных ресурсов статистики. Новая разработка также унифицирует принципы работы с данными. 

02.07.2021    1061    VKuser24342747    0       

Обновление GitLab 14: представлены новые DevOps-инструменты в рамках единой платформы

Новость ИТ-новость

Компания GitLab Inc. выпустила свежий релиз – теперь с интегрированной платформой DevOps-специалистов.

01.07.2021    1601    user1015646    0       

Отечественные компании разработали автоматизированную систему для муниципальных услуг

Новость Автоматизация ИТ-новость

«Базальт СПО», МЦСТ, «Байкал Электроникс», ЭОС и «МойОфис» представили многоместное автоматизированное рабочее место (АРМ). Для тестового запуска системы выбраны госучреждения Орла. 

01.07.2021    1067    VKuser24342747    1       

Новый доклад CompTIA: в Европе вырос спрос на технических специалистов

Новость ИТ-новость

Согласно новому отчету CompTIA, одной из ведущих торговых ассоциаций ИТ-индустрии, спрос работодателей на технических работников в 10 европейских странах увеличился за первый квартал 2021 года. Работодатели разместили 900 тысяч объявлений о вакансиях.

01.07.2021    1475    SKravchenko    0       

Раскрыта неожиданная особенность Windows 11

Новость Windows

При установке Windows 11 на некоторые компьютеры могут возникнуть проблемы. Все дело в инструментах безопасности новой версии операционной системы.

30.06.2021    1254    user1015646    0       

Новый фреймворк Google защитит от встраивания вредоносного кода 

Новость Google

Компания Google представила новый фреймворк SLSA. Он защитит ПО от внедрения вредоносного кода в процессе разработки. 

29.06.2021    674    user1015646    0       

Работу чиновников ускорит отечественная система автоматизации

Новость Автоматизация Минкомсвязь

Минцифры планирует к 2024 году установить в госорганах отечественную систему автоматизации рабочих мест. Вместо предполагаемого эксперимента будет полноценное внедрение. 

29.06.2021    775    VKuser24342747    0       

Google профинансирует добавление поддержки языка Rust в ядро Linux

Новость Linux Google ИТ-новость Новости компаний Языки программирования

Google заявила, что финансирует проект по повышению безопасности Linux, где часть ядра будет написана на языке программирования Rust. Усилия по модернизации могут повысить безопасность в сети и на устройствах.

28.06.2021    2861    SKravchenko    0