Российские исследователи представили новый фреймворк для работы с большими данными

21.01.2021      21627

Специалисты Национального центра когнитивных разработок ИТМО представили платформу, которая упростит создание моделей технологических и бизнес-процессов. Она поможет принимать эффективные управленческие решения в условиях отсутствия полных данных.

ИИ-модели для социальных и бизнес-процессов

На платформе разработчики создали отраслевые модели, которые повысят продуктивность работы предприятий и помогут сократить расходы. Решение может точно прогнозировать цены на железнодорожные услуги, находить заколонные циркуляции на нетфтедобывающих скважинах, планировать логистику для их обслуживания и пр.

В руководстве оператора использование платформы рассматривается на примере задачи загрузки железнодорожных вагонов на металлообрабатывающем предприятии. Платформа позволяет рассчитать оптимальный график доставки грузов с учетом возможного дефицита сырья, цен на перевозки и выполнение работ. Аналогичный подход можно применить практически к любому бизнес-процессу: построить балансовые модели, составить расписание, сформировать ценообразование и др.

Простота и доступность

Для работы на платформе не нужны дополнительное ПО, специальные знания или навыки программирования.

Системные требования для работы с платформой невысоки: стандартный компьютер с Windows XP, процессор Pentium 4, 2 ГБ оперативной памяти.

Персональный компьютер пользователя должен иметь доступ к серверу, на котором развернуто программное обеспечение программного комплекса и подключен к интернету. Программа работает через браузер, и тяжелые вычисления не нагружают систему.

 

 

Суть разработки

Платформа создает цифровых двойников промышленных систем и моделирует их поведение. Процессы построения систем, их обучения и проверки моделей бизнес-процессов унифицированы. В работе можно использовать неструктурированные данные из различных источников. Платформа поддерживает гибридное моделирование: модели на основе данных сочетаются с классическими причинно-следственными вариантами. С ее помощью можно легко управлять бизнес-процессами, оптимизировать и прогнозировать результаты их выполнения.

Платформа поставляется с инструментами подготовки и кросс-валидации статических и динамических данных, 200 готовыми моделями машинного обучения и математическими функциями. На их основе можно создавать сложные проекты. Писать модели можно с нуля или на базе имеющихся, управлять параметрами и сразу видеть результат изменений.

В графическом представлении есть только два типа объектов: модели и данные, – а также связи между ними. Можно взять готовую модель и, например, построить оптимальное расписание с произвольным числом работ и ресурсов. А результаты представить в виде диаграммы Ганта – соответствующий инструмент встроен в платформу.

Модели и процессы можно выгрузить в SCADA, продолжить работу с данными в Excel или объединить несколько моделей в один проект, чтобы обрабатывать сложные цепочки динамических данных. Кроме того, в платформе предусмотрена возможность отделить облачные сервисы и интегрировать их в существующую ИТ-инфраструктуру.

Фреймворк для композитных моделей

Разработчики также представили фреймворк FEDOT для генеративного автоматического машинного обучения. С его помощью можно создавать сложные композитные модели.

Генеративное автоматическое машинное обучение позволяет выращивать модели на основе данных – улучшать и усложнять их в процессе работы, создавать новые цепочки обработки и композиции решений. Внутри FEDOT реализован собственный язык описания задачи. Он поможет сконфигурировать фреймворк и добиться оптимальных результатов.

Ядро FEDOT конфигурируется под разные классы задач: модели системной динамики, предсказательное или имитационное моделирование и др. В репозитории на GitHub также есть библиотека умных композиционных алгоритмов. Они нужны для идентификации моделей на основе данных, к которым предъявляются разные требования. Доступны и отдельные модели для решения физических, социо-финансовых, гидрометеорологических и других задач.

С FEDOT можно получить модель с нужной сложностью, качеством, интерпретируемостью, запустить моделирование, приостановить идентификацию модели, а позднее возобновить ее. С фреймворком доступна интеграция различных решений на Python с открытым исходным кодом – это многократно расширяет его возможности.

Острые темы также не обошли стороной 

Пандемия COVID-19 и способы борьбы с ней продолжают оставаться в центре внимания. Разработчики из НЦКР также внесли свой вклад в решение этих задач. Они использовали платформу для создания модели распространения инфекционных болезней на примере COVID-19. Полученные результаты помогут в разработке превентивных мер и способов остановить распространение заболевания.

 

 

Система может спрогнозировать эффективность тотального карантина – как изменится ситуация с количеством заболевших, выздоровевших и смертельных исходов в случаях действия, отсутствия или усиления карантинных мер:

 

 

Видеопрезентация ключевых возможностей платформы


Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. chg 22.01.21 05:54 Сейчас в теме
Интересно конечно будет ознакомиться, но заявление:
Решение может точно.........

Мягко скажем не корректное, а если откровенно то профанское.

ЗЫ: ещё и регистрация не работает, просто супер платформа.
2. Артано 744 23.01.21 12:44 Сейчас в теме
(1)То дерьма не подвезут, то вёдра украдут
Оставьте свое сообщение

См. также

«СберТех» представил репозиторий GitVerse с ИИ-помощником для написания кода

Новость Импортозамещение Новость Программист

«СберТех» начал прием заявок на тестирование веб-сервиса для публикации ИТ-проектов GitVerse. Платформа подходит для разработки программ с открытым и закрытым кодом.

26.09.2023    244    VKuser24342747    2       

1

ИП и юрлица смогут использовать смартфон для создания и замены электронной подписи

Новость Новость ФНС Цифровая подпись

ФНС внесла изменения в правила оформления электронной подписи руководителя организации и ИП. Станет возможным продлевать ее и записывать при помощи мобильного устройства.

18.09.2023    206    VKuser24342747    1       

1

Журнал IEEE Spectrum опубликовал рейтинг популярности языков программирования

Новость Новость Языки программирования

Журнал Института инженеров электротехники и электроники IEEE Spectrum подготовил рейтинг самых популярных языков программирования в 2023 году. Статистика разделена на три категории.

01.09.2023    715    VKuser24342747    4       

2

В бета-версии Microsoft 365 появилась поддержка языка Python для Excel

Новость Новость Языки программирования

С помощью библиотек и средств визуализации Python можно будет манипулировать данными Excel, а затем использовать полученные результаты в формулах, диаграммах и сводных таблицах.

28.08.2023    273    VKuser24342747    0       

2

Специалисты Калифорнийского университета установили, что боты справляются с CAPTCHA лучше, чем люди

Новость Новость

Международная группа исследователей изучила эффективность тестов CAPTCHA. Ученые пришли к выводу, что технология больше мешает людям, потому что боты научились с ней справляться.

24.08.2023    728    VKuser24342747    23       

2

Google Chrome начнет поддерживать квантово-устойчивые алгоритмы шифрования

Новость Google Безопасность Новость

В версии Google Chrome 116 появится поддержка алгоритмов шифрования, устойчивых к попыткам дешифрации при помощи квантовых вычислений. Технология объединяет преимущества классической и инновационной криптографии.

24.08.2023    287    VKuser24342747    0       

1

В реестр российского ПО включен первый комплекс обработки больших данных

Новость Импортозамещение Минцифры Новость Реестр ПО

Минцифры внесло в реестр отечественного ПО программно-аппаратный комплекс «Скала-Р», предназначенный для обработки больших данных. Это первый комплекс с таким функционалом, включенный в перечень.

22.08.2023    287    VKuser24342747    0       

1

Microsoft внедрила новые функции в GitHub Copilot и анонсировала Windows Copilot

Новость GitHub Искусственный интеллект

ИИ-помощник для разработчиков GitHub Copilot теперь не только в реальном времени анализирует код, предлагает варианты для его улучшения и помогает найти решение проблем в разработке, но и  показывает ссылки на репозитории, из которых взят код. 

17.08.2023    614    VKuser24342747    0       

1

В JetBrains разработали ИИ-помощника для аналитиков данных

Новость Аналитика Искусственный интеллект

JetBrains представила нейросеть Ask AI для онлайн-блокнота Datalore. Виртуальный ассистент способен генерировать код на нескольких языках, предлагать доработки и упрощать процесс аналитики данных. 

16.08.2023    236    VKuser24342747    0       

1

Исследование: ChatGPT дает неправильный ответ на половину вопросов о программировании

Новость Искусственный интеллект Новость

Чат-бот OpenAI ошибается в 52% случаев, когда отвечает на вопросы по программированию. Однако делает это так убедительно, что пользователи не замечают ошибки. 

14.08.2023    547    VKuser24342747    4       

3

Минцифры проведет эксперимент по цифровизации «жизненного цикла» госслужащего

Новость Минцифры Новость

Минцифры подготовило постановление о проведении эксперимента по внедрению ИТ в управление «жизненным циклом» госслужащего. Ведомство намерено автоматизировать все этапы работы сотрудников госструктур.

04.08.2023    389    VKuser24342747    0       

2

Доступна новая версия компилятора Cython 3.0

Новость Новость Языки программирования

Спустя пять лет разработки вышел релиз компилятора для языков программирования Python и Cython – проект Cython 3.0. Он позволяет транслировать код Python в представление на C/C++.

28.07.2023    838    VKuser24342747    0       

2

«Сбер» открыл доступ к двум нейросетям для генерации текста

Новость Искусственный интеллект Новость

«Сбер» предоставил свободный доступ к языковой модели ruGPT-3.5, предназначенной для генерации текста на русском языке. Кроме того, стала доступна нейросеть mGPT, поддерживающая 61 язык, включая языки СНГ и малых народов России.

25.07.2023    575    VKuser24342747    0       

2

Технология передачи данных при помощи света Li-Fi получила стандартизацию

Новость Новость

Технология Light Fidelity (Li-Fi) использует вместо радиоволн кванты света. С ее помощью можно достичь гораздо более высокой скорости передачи данных, но радиус действия сильно ограничен.

20.07.2023    519    VKuser24342747    0       

1

Госдума одобрила законопроект о цифровом рубле

Новость Банки Новость Цифровая экономика

Госдума приняла в третьем чтении законопроект, который утверждает в России новое средство расчетов – цифровой рубль. За выполнение операций с валютой отвечает Банк России. Первые расчеты будут запущены уже в 2023 году.

14.07.2023    907    VKuser24342747    15       

1

В России будет запущена цифровая платформа для выплаты социальных пособий

Новость Новость Социальный фонд России

Подписан закон, регулирующий запуск государственной системы «Единая централизованная цифровая платформа в социальной сфере» (ГИС «ЕЦП»). Она необходима для автоматического начисления соцпособий.

14.07.2023    1771    VKuser24342747    1       

2

GitLab начала открытое тестирование ИИ-ассистента для написания кода

Новость GIT Искусственный интеллект Новость Языки программирования Программист

GitLab представила собственную нейросеть Code Suggestions, способную генерировать код по запросу на естественном языке. ИИ-помощник поддерживает работу с 13 языками программирования.

10.07.2023    849    VKuser24342747    0       

1

GitHub представил новую версию Enterprise Server под номером 3.9

Новость GitHub Новость

GitHub Enterprise Server 3.9 вышел в публичный доступ. Обновление затронуло функции для совместной работы, обеспечения безопасности и управления проектами.

07.07.2023    760    VKuser24342747    0       

3

GitHub выложил в общий доступ инструмент для контроля разрешений Actions

Новость GitHub Новость

GitHub представил бета-версию action-permissions – инструмента, который позволяет отслеживать права доступа для рабочих процессов Actions. Система подскажет, какие разрешения должны быть для успешного запуска.

06.07.2023    477    VKuser24342747    0       

1

Минцифры хочет создать центры тестирования российского софта

Новость Импортозамещение Новость Минцифры

Минцифры планирует стимулировать создание центров тестирования совместимости российских программ с российским оборудованием. На данный момент проект находится на стадии обсуждения – дата его запуска пока неизвестна.

05.07.2023    619    user1915669    0       

1

«Ростелеком» разработал репозиторий для open source решений

Новость Open Source Импортозамещение Новость

«Ростелеком» представил собственный репозиторий «РТК-Феникс» для пакетов и библиотек с открытым исходным кодом. На площадке представлены только проверенные и популярные инструменты. 

27.06.2023    623    VKuser24342747    5       

1

В Windows 11 появится инструмент для ускорения сборки проектов

Новость Windows

Windows 11 начнет поддерживать новый формат хранилища – Dev Drive. Он повысит производительность системы при разработке программ, если используется в качестве репозитория или места хранения кэша пакетов. 

23.06.2023    601    VKuser24342747    1       

1

«Яндекс» начала принимать заявки от бизнеса на тестирование YandexGPT

Новость Искусственный интеллект Новость Яндекс

Yandex Cloud, облачная платформа «Яндекса», приступила к сбору заявок от бизнес-пользователей, желающих опробовать нейросеть для генерации текстов YandexGPT. Доступ получит ограниченное число участников. 

22.06.2023    704    VKuser24342747    2       

1

Stack Overflow опубликовал рейтинг языков программирования за 2023 год

Новость Рейтинг Языки программирования

Stack Overflow представил рейтинг языков программирования за 2023 год. В исследовании учитывали не только частоту применения языка, но и интерес разработчиков к нему. Также компания составила рейтинг платформ и ИИ-инструментов. 

20.06.2023    861    VKuser24342747    1       

2

Книжный клуб: лучшие книги по машинному обучению для новичков

Новость Искусственный интеллект Новость Конкурс

Дата-аналитик в Инфостарт и автор собственной книги об ML для начинающих Елена Капаца составила личный топ книг, которые помогут погрузиться в тему. 

19.06.2023    1939    fitwist    7       

37