Пример механизма параллельной обработки данных

12.08.16

Разработка - Инструментарий разработчика

В статье представлена простая идея реализации параллельной обработки данных, базирующаяся на использовании фоновых заданий, а также паре регламентных заданий, которые осуществляют управление очередью. Материал статьи может быть полезен в случаях, когда вы хотите создать собственную систему управления параллельно выполняющимися заданиями, но в силу каких-то причин вам не подходит механизм регламентных заданий (например, если нужно ограничить число одновременно выполняющихся регламентных заданий, соблюдать очерёдность и приоритет их выполнения и т.п.). Статья ориентирована на клиент-серверный вариант работы 1С8, а приложенная конфигурация выполнена на обычных формах.

Скачать файлы

Наименование Файл Версия Размер
Демобаза
.dt 53,23Kb
6
.dt гма1 53,23Kb 6 Скачать

В 1С8 существует всем известный замечательный механизм регламентных заданий, который позволяет автоматизировать выполнение в фоне различных обработок, построение отчётов и прочих подобных операций. Регламентные задания, в ходе своего выполнения, используют механизм фоновых заданий. Регламентное задание, стартуя например, по расписанию, вызывает выполнение фонового задания, которое в свою очередь и реализует соответствующий код обработчика.

Изучая возможности работы с регламентными заданиями, я столкнулся с тем, что иногда, для балансировки нагрузки на сервере, необходимо ограничивать число одновременно выполняющихся заданий. Штатный механизм предоставляет, конечно, возможность управления стартом заданий по расписанию и т.п., но вот именно для управления балансировкой необходимо выдумывать велосипед. Собственно о таком велосипеде я и пишу. Сразу оговорюсь, что представленный механизм - лишь одна из многих вариаций на тему параллельной обработки данных и уж точно никаким образом не претендует на законченное решение. Впрочем, как мне кажется, сделав некоторые очевидные доработки, описанный механизм можно использовать и в рабочих базах.

Итак, суть механизма заключается в использовании двух регламентных заданий - Диспетчера и Менеджера заданий очереди (Эта идея зацепила меня при прочтении замечательной заметки на Хабре - https://habrahabr.ru/post/255387/).

Первое из них, а именно Диспетчер, обеспечивает простую постановку в очередь заданий, которые должны выполниться, но которых нет в этой самой очереди. Второе задание, т.е. Менеджер, обеспечивает запуск заданий и соответствующее управление очередью. Здесь стоит остановиться подробнее, т.к. Менеджер обрабатывает задания очереди с учётом их приоритета и ограничений на количество одновременно выполняющихся фоновых заданий. Кроме того, он группирует задания определенного вида в своего рода "пакеты" и затем (так же с учётом приоритетов и ограничений по числу одновременно выполняющихся фоновых заданий) выполняет такие "пакеты" в рамках отдельных фоновых заданий.

Теперь по реализации.

1)В программе имеется справочник "Задания для обработки", в котором собственно и хранятся объекты обработки (т.е. задания). В принципе, такими объектами могут служить различные процедуры или программы загрузки/выгрузки, регламентные задания и прочее. Однако, поскольку это лишь основа механизма, то как таковых объектов обработки не задано, сейчас это вообще просто условный реквизит "Объект" строкового типа, а единственное действие, выполняемое при передаче программного кода такому объекту - минутное ожидание, т.е. пауза в 60 секунд. Понятное дело, если есть необходимость, чтобы задание при своём выполнении выполняло более изысканный код, то нужно соответствующим образом, в т.ч. используя реквизиты экземпляра элемента справочника "Задания для обработки", написать необходимый программный код. Тем не менее, для иллюстрации работы механизма, имеющихся сущностей вполне достаточно.

Каждый элемент справочника "Задания для обработки" имеет:

*флаг "Используется" (по сути это включение/выключение задания);

*флаг "Запускать в отдельном потоке" (задания с установленным флагом будут запускаться в отдельных фоновых заданиях, а задания со сброшенным могут запускаться последовательно по несколько штук в одном фоновом задании);

*поле "Приоритет выполнения" (чем меньше число (по умолчанию - 10), тем выше приоритет выполнения данного задания);

*поле "Идентификатор потока" (задания с одинаковыми идентификаторами потока будут выполняться в дном фоновом задании, при условии, что флаг запуска в отдельном потоке у таких заданий сброшен);

*поле "Объект" (Строка, но после небольших доработок, м.б. использован как идентификатор объекта, в который будет передаваться программный код для выполнения);

*поля "Наименование" и "Комментарий" (предназначение этих полей очевидно)

2)По расписанию, скажем каждые 5 минут, в системе запускается Диспетчер (регламентное задание "Диспетчер заданий"), который получает из справочника "Задания для обработки" все включенные задания, т.е. которые нужно выполнять, а затем, те из них, которых нет в очереди - туда и помещает. Более ничего Диспетчер не выполняет.

3)Как уже было отмечено выше, в механизме существует ещё и Менеджер (второе регламентное задание - "Менеджер заданий"), основной задачей которого является запуск заданий и очистка очереди (по окончанию выполнения заданий). Менеджер, как мне кажется, должен запускаться чаще, чем диспетчер, т.к. его работа напрямую влияет на скорость выполнения заданий очереди (у меня он запускается раз в минуту). Сразу после старта Менеджер получает параметры, определяющие количество потоков (одновременно выполняемых фоновых заданий) для выполнения разных видов заданий очереди. После этого, Менеджер удаляет из очереди отключенные задания (вдруг их кто-то выключил), а также удаляются (из очереди) выполняющиеся задания, по которым не найдено активных фоновых заданий. После корректировки очереди, Менеджер получает нераспределенные по потокам задания из очереди и распределяет их по потокам. Причем, распределив то, или иное задание, Менеджер сразу запускает его выполнение. Вначале распределяются задания, запускаемые в отдельных потоках. Делается это с учётом их приоритета и наличия вакантных ресурсов, т.е. лимита по количеству параллельно выполняющихся заданий данного вида (одно задание на один поток). Если такой лимит для старта задания отсутствует, то задание не распределяется (т.к. по сути в данный момент нет свободных ресурсов для его выполнения). Следом идёт очередь распределения заданий, которые могут быть объединены для выполнения в рамках одного фонового задания. Последовательность распределения таких заданий следующая - сначала распределяются задания с заполненными идентификаторами, а затем с пустыми. Распределение по потокам выполнения и в этом случае происходит с учётом приоритетов и наличия ресурсов. По окончании выполнения каждого из заданий, программа (точнее обработчик каждого из фоновых заданий) выполняет удаление соответствующего задания из очереди.      

В общем, это основные моменты, которые дают понимание моего "велосипеда".

На последок ещё раз отмечу, что это не готовое решение, а лишь пример, или если угодно - основа для построения более сложного механизма. Так, например, поскольку в регистр очереди довольно часто осуществляется запись, то для повышения производительности можно подумать об использовании при этом управляемых блокировок и транзакций. А если ещё и "запилить" к этому что-то вроде расписания выполнения заданий (из справочника "Задания для обработки"), а также систему логирования результатов их выполнения и сбора статистики(в т.ч. по загрузке ресурсов, времени ожидания и выполнения и т.п.), то можно получить интересное решение.

В добавление к указанной статье с Хабра, считаю необходимым указать ещё парочку:

//infostart.ru/public/306865/
http:// /news/2015-12-04-threads-data/

Параллельная обработка фоновые задания очередь

См. также

SALE! 20%

Infostart Toolkit: Инструменты разработчика 1С 8.3 на управляемых формах

Инструментарий разработчика Роли и права Запросы СКД Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

10000 8000 руб.

02.09.2020    122363    673    389    

716

SALE! 25%

Infostart PrintWizard

Пакетная печать Печатные формы Инструментарий разработчика Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:Конвертация данных 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

18000 15300 руб.

06.10.2023    7337    22    6    

39

SALE! 20%

Infostart УДиФ: Управление данными и формами

Инструменты администратора БД Инструментарий разработчика Роли и права Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 8000 руб.

10.11.2023    3626    11    1    

34

SALE! 30%

PowerTools

Инструментарий разработчика Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 2520 руб.

14.01.2013    177821    1074    0    

851

Многопоточность. Универсальный «Менеджер потоков» 2.1

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    99375    239    97    

296

[ЕХТ] Фреймворк для Расширений 1С

Инструментарий разработчика Платформа 1С v8.3 Управляемые формы Платные (руб)

"Фреймворк для Расширений 1С" это универсальное и многофункциональное решение, упрощающее разработку и поддержку создаваемых Расширений. Поставляется в виде комплекта из нескольких Расширений с открытым исходным кодом. Работает в любых Конфигурациях в режиме Управляемого приложения с режимом совместимости 8.3.12 и выше без необходимости внесения изменений в Конфигурацию.

3000 руб.

27.08.2019    18136    6    8    

40

1С HTML Шаблоны / HTML Templates

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Быстрая и удобная обработка для работы с шаблонами HTML. Позволяет легко и быстро формировать код HTML.

2040 руб.

27.12.2017    28119    3    10    

15

Выполнение произвольного кода или запроса с параметрами через Web-сервис (замена COM-подключений)

Инструментарий разработчика Обмен между базами 1C Платформа 1С v8.3 Платные (руб)

В процессе работы в 1С часто возникает потребность получить данные из другой базы.  Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

2400 руб.

24.09.2019    23607    15    15    

32
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. starik-2005 3033 13.08.16 10:31 Сейчас в теме
А блокировку соседних заданий по критическому коду можно в 1С сделать?
2. Идальго 226 13.08.16 13:51 Сейчас в теме
(1) starik-2005, думаю, что реализовать паузу в запуске соседних заданий совсем просто, но вот для того, чтобы уже выполняющиеся задания стопарнуть на время - тут сложнее )))
3. starik-2005 3033 13.08.16 19:34 Сейчас в теме
(2) тогда Вам следует прочитать это.
4. Идальго 226 14.08.16 19:16 Сейчас в теме
(3) starik-2005, спасибо, я прочитал. Я подобные вещи тоже давно использую (и этого всегда 100% хватало). В вышеприведенном комментарии я немного другое имел в виду, ведь если делать так, как предложено у вас, то для того, чтобы метод стал универсальным, то нужно либо в каждом задании прописывать подобный код, либо делать вызов какой-то общей процедуры, которая будет проверять мьютекс. Однако это не совсем универсально и удобно, т.к. этот код проверки выполняется каждым из заданий, а я подразумевал использование более универсальной штуки, которая бы подключалась к каждому из заданий и получала текущий статус его выполнения, и в случае ошибки, как-то это дело переваривала. Ну и в целом, у меня же здесь просто пример - основа, на которую можно посложнее штучки навернуть (кому нужно).
5. artbear 1448 18.08.16 12:50 Сейчас в теме
(0) А почему не взял готовый пример подсистемы от автора статьи с Хабра?
Код реально рабочий, проверен на нескольких системах в разных организациях.
Код открыт на Гитхабе, есть поддержка продукта.

Тем более, что в подсистеме использованы приемы, позволяющие решить некоторые возникающие проблемы с фоновыми заданиями.

Зачем тратить время на написание велосипедов?

6. Идальго 226 18.08.16 17:48 Сейчас в теме
(5) artbear, Ну там немного по-другому сделано, но суть конечно та же самая. Вообще у всех подобных решений реализация очень похожа. Кроме того, в той статье сделано вроде на УФ, а мне нужно было на обычных. Да и Господи там писать то на пару-тройку часов, когда логику представляешь (собственно её я и подглядел на гитхабе, хотя потом ещё кучу мест нашел). Мучиться с разбором чужого кода не хотелось, да и просто интересно было))) Плюс, у меня же раскидывание по приоритетам и свободным потокам и т.п. есть, а на гитхабе не было (точно не помню уже). Да и вообще моя для понимания механизма, или как основа для более сложного продукта попроще и поудобнее будет, как мне кажется.
8. artbear 1448 19.08.16 17:47 Сейчас в теме
(6) (7)
Если организовывать гарантированную доставку/выполнение, то пятью/двадцатью минутами не обойдешься.

Задумайтесь о следующем: как правило, все усложнения алгоритма/ПО возникают не из воздуха, а как результат решения каких-то бизнес-задач.
Например, в продукте Гитхаба решались задачи - гарантированная доставка, выполнение в высоконагруженной среде, блокировки/конфликты и т.п.

ЗЫ напомню, что я не автор продукта/статьи на Гитхабе/Хабре.
10. Идальго 226 19.08.16 21:05 Сейчас в теме
(8) artbear, Да никаких в той обработке (на гитхабе) особых штучек в плане работы с нагруженностью и гарантированностью нет. Как и в моей обработке, там есть ограничение на количество потоков и, вроде была удалялка зависших заданий. У меня же по части распределения задач - больше настроек. Работа по разруливанию блокировок(н-р регистров) и т.п., как я полагаю, также должна осуществляться со стороны кода запущенной обработки (т.е. это не менеджер очереди делает). Что касается сложности кода и времени разработки - обработки почти одинаковые, хотя мне мой код конечно понятнее))) Давайте закончим уже про ту обработку (обработки конечно похожи, но отличия тем не менее есть и я их описывал выше)?
9. artbear 1448 19.08.16 17:49 Сейчас в теме
(6)
Кроме того, в той статье сделано вроде на УФ, а мне нужно было на обычных

В "той статье" на УФ сделано буквально 2 простые формы, практически без кода или только вызов серверных методов. Весь остальной код - это серверный код, работающий как в ОФ, так и в УФ.
7. starik-2005 3033 18.08.16 20:22 Сейчас в теме
Я как-то многопоточный код замутил через произвольный алгоритм и функцию общего модуля "ВыполнитьАлгоритм". Если разобраться в механизме, то никаких подсистем не надо - все делается на коленке за двадцать минут.
11. MikeLetto 79 21.03.17 14:08 Сейчас в теме
Выходит ошибка: {ВнешняяОбработка.ФоновоеЗаданиеСИндикацией.Форма.Форма.Форма(58)}: Метод объекта не обнаружен (ВыгрузитьОстатки)
ОбработкаОбъект.ВыгрузитьОстатки(СтруктураПараметров, АдресРезультата);

Версия БСП: "2.1.1.18"
12. Идальго 226 23.03.17 07:09 Сейчас в теме
(11)
Выходит ошибка: {ВнешняяОбработка.ФоновоеЗаданиеСИндикацией.Форма.Форма.Форма(58)}: Метод объекта не обнаружен (ВыгрузитьОстатки)
ОбработкаОбъект.ВыгрузитьОстатки(СтруктураПараметров, АдресРезультата);

Версия БСП: "2.1.1.18"


Эта ошибка у вас к моей программке, вроде, не имеет никакого отношения. В моей программе нет ВыгрузитьОстатки и т.п.
Оставьте свое сообщение