Многопоточность в 1С. Универсальный "Менеджер потоков"

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

Решение предназначено для встраивания в любой конфигурации 1С, работающие на платформе 1С:Предприятие 8.3.

Позволяет выполнять алгоритмы в многопоточном режиме.

Технические требования:

Работа в режиме «клиент-сервер».
Платформа 1С:Предприятие для Windows конфигурация в режиме совместимости 8.2.12 или выше.
Возможность внесения изменений (дополнений) в конфигурации, в которую встраивается решение "Менеджер потоков"

Концепция решения Менеджер потоков является решением позволяющем разработчику перевести исполнение длительного по времени алгоритма на обработку в потоках. Обычно к таким обработкам относятся переработка больших массивов (коллекций) информации, а именно:

Выгрузка / загрузка / обновление списков (справочник «Номенклатура»);
Формирование объектов (создание цепочек документов);
Формирование отчетов (формирование «Расчетных листов» по каждому сотруднику);
Обработка объектов (заполнение, перезапись, перепроведение, удаление);
Обработка сложно связанных объектов (графовая последовательность);

Последний пункт можно выделить, как уникальную возможность, позволяющую решить проблемы блокировок объектов при массовых обработках, а также строгую обработку объектов в определенной последовательности (текущий объект не обрабатывается пока не будут обработаны все объекты от которых он зависит), к таким задачам можно отнести

«Восстановление последовательности партий»,

«Восстановление взаиморасчетов» и т.д.

Менеджер потоков включает в себя весь функционал связанных с:

Запуском потоков;
Поддержанием жизнеспособности потоков (в случае «падения», поток перезапускается);
Определением порции данных для каждого потока;
Передачей данных между всеми участниками;
Автоматической сборкой коллекций после обработки (если требуется);
Выводом сообщений клиенту, выведенных при обработке в потоке;
Созданием структуры взаимосвязей объектов (Граф);
Контролем результатов обработки;
Возможностью многократной обработки одного объекта и многое другое. Все взаимодействие разработчика с менеджером потоков происходит через «События».

Обновления

Обновление "Менеджер потоков" 2.1.0

Изменения в сравнении с версией 2.0.7:
Алгоритмы:

Увеличена скорость обработки зависимых объектов на 15-25%, в ряде случаев до 50%;
Полностью переписан весь код;
Код проверен с помощью АПК 1.2 (исправлено 350+ замечаний и не соответсвий стандартам 1С, осталось 9 :));
Работа с графом "неограниченного" размера;
Приоритезирована раздачи заданий потокам;
Реализована возможность в событиях (не во всех) дополнять "Параметры для объекта" - см. Руководство.
Теперь поток, а не менеджер контролирует количество попыток обработать объект;
События потоков теперь выполняются в "Попытка-Исключение" - позволяет избежать лишних перезапусков потоков;
Модуль "мпОсновнаяПрограмма" - изменил идентификатор на: "мпОсновнаяПрограммаВызовСервера";
Процедуры и функции уменьшены в размерах, для сокращения контекста (средний размер 17 строк; минимум 3 строки, максимум 73 строки);
Все алгоритмы разнесен по областям;
Шаблон модуля событий разработчика теперь выделен в отдельный модуль: "мпСобытияРазработчикаШаблон";

Исключено:

механизм мониторинга (появится в след. релизах);
механизм "безпотокового" выполнения.
возможность написать весь код в модуле объекта обработки (противоречит работе в безопасном режиме).

Транспорт:

Обмен данными теперь происходит пакетами;

События:

Изменены:

Изменен состав параметров всех событий (требуется корректировка событий разработчика). - см. Руководство.
Имена:

ПриПолученииРесурсов -> ПриРасчетеРесурсов
ПриОбработкеДействияПотока -> ПриОбработкеПотоком
ПриОбработкеОтвета -> ПриОбработкеРезультата
ПриОбработкеМассиваОбработанныхФагментовКоллекции -> ПриСборкеФрагментовКоллекции

Добавлены:
- ПриПроизвольнойОбработкеГрафа - см. Руководство.
- ПриСохраненииГрафа - см. Руководство.

Исключены:
- ПриДобавленииВОчередьОбработки - теперь "Менеджер потоков" сам добавляет объект, если есть ресурсы, так же есть параметр "УчитыватьОбъектыБезРесурсов" - см. Руководство;
- ПриОбработкеДополненногоФагментаКоллекции - теперь и обработку, и дополнение можно осуществить через метод "Обработать коллекцию";
- ПриПолученииМестаХраненияФайловМониторинга - т.к. исключены механизмы мониторинга, данное событие утратило свою силу;

Параметры "Менеджера потоков":

Изменены:
- Структура хранения параметров (полная структура параметров предоставлена в общем макете "мпПолнаяСтруктураПараметров")
- Имена:
  - КоличествоЭлементовКолекцииНаПоток -> КоличествоЭлементовКолекцииНаОбъект
  - РазрезМенеджера -> ИдентификаторМенеджера

Добавлены:
- Общие.КоличествоОбъектовВПакете;
- Разработчик.Общие;
- Разработчик.ПоСобытиям;
- ОбработатьКоллекцию.СобратьКоллекциюИзФрагментов;
- ОбработатьКоллекцию.КоличествоЭлементовКоллекцииНаОбъект;
- ПолучитьГраф_Gephi.Каталог;
- Граф.ОграничениеРазмера;
- Граф.УчитыватьОбъектыБезРесурсов;
Исключены:
- ДинамическийРассчетКоличестваПотоков -> Данный параметр больше не нужен, см. Руководство (параметр "КоличествоЭлементовКолекцииНаОбъект")
- КоэффициентКратностиОчередиПотоковКПотокам -> теперь "Менеджер потоков" работает с полным графом;
- ВестиМониторингМенеджераПотоков, т.к. механизм мониторинга исключен;
- ВестиМониторингПорядкаОбработкиОбъектов, т.к. механизм мониторинга исключен;
- ВестиМониторингОчередиНаОбработку, т.к. механизм мониторинга исключен;

Прочие изменения:

добавлены методы и свойства формирования файлов для программ анализа графов;
обработки демонстрирующие возможности "Менеджера потоков" реализованы более наглядно и обособленно друг от друга;
Восстановление партий УПП так же поддерживает версию 2.1.0

BagFix

Обновление "Менеджер потоков" 2.0.7

Изменения (возможно придется править события разработчика)

Модуль "мпМенеджерПотоков", разделен на 4: "мпМенеджерПотоковОбщее", "мпОсновнаяПрограмма", "мпМенеджер", "мпПотоки";
Процедуры и функции размещены в областях;
параметр инициализации "КоличествоЭлементовКолекцииНаПоток" теперь располагается "СтруктураПараметров.ПараметрыИнициализации.КоличествоЭлементовКолекцииНаПоток" (Ранее располагался: "СтруктураПараметров.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.КоличествоЭлементовКолекцииНаПоток");
параметр инициализации "ДинамическийРассчетКоличестваПотоков" теперь располагается "СтруктураПараметров.ПараметрыИнициализации.ДинамическийРассчетКоличестваПотоков" (Ранее располагался: "СтруктураПараметров.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.ДинамическийРассчетКоличестваПотоков");
параметр инициализации "РазрезМенеджеров" теперь называется "РазрезМенеджера";
параметр инициализации "ПределКоличествоПопытокОбработатьОбъект" теперь называется "КоличествоПопытокОбработкиОбъекта".

Исправленные ошибки:

связанные с выводом сообщений пользователю;
связанные с определением "АдресОчереди" при перезапуске потока.

Небольшая оптимизация:

значение по умолчанию для параметра инициализации "КоличествоПопытокОбработкиОбъекта" = 1 (раньше было: 5);
обработка по принудительной остановке "Менеджера потоков" входит в поставку;

Обновление 12.03.2019

Обновление "Менеджер потоков" 2.0.6

Изменения (возможно придется править события разработчика)

Данные рассчитываемые перед запуском нового потока теперь доступны в потоке(ах) по имени "ПараметрыРазработчикаПередЗапускомПотока" (до этого имя было: "ДанныеРарзаботчикаПередЗапускомПотока")
Данные рассчитываемые при запуске нового потока теперь доступны в потоке(ах) по имени "ПараметрыРазработчикаПриЗапускеПотока" (до этого имя было: "ДанныеРарзаботчикаПриЗапускеПотока")

Исправленные ошибки:

При работе с методом "ОбработатьОбъект" могла возникать ошибка (Спасибо Земко Сергей, за найденную ошибку):
- {ОбщийМодуль.мпМенеджерПотоков.Модуль(1514)}: Поле объекта не обнаружено (АлгоритмыРаботыСКоллекцией)
- КодСоздания = пСтруктураПараметров.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.АлгоритмыРаботыСКоллекцией.КодСоздания;
Событие "ПослеЗавершенияМенеджераПотоков" теперь ВСЕГДА выполняется самым последним. Имели место случаи, когда данное событие вызывалось ДО события "ПередЗавершениемМенеджераПотоков".
Внесены корректировки в обработку коллекции без потоков (параметр определяется от объема коллекции и параметров инициализации):
- Результат события "ПередЗапускомПотока", теперь доступны по имени "ПараметрыРазработчикаПередЗапускомПотока" (до этого имя было: "ДанныеДляПотока")
- Добавлено выполнение события "ПриЗапускеПотока"
- Добавлено выполнение события "ПриОбработкеМассиваОбработанныхФагментовКоллекции"
- Добавлено выполнение события "ПриОбработкеДополненногоФагментаКоллекции"
- Исключено выполнение события "ПриОбработкеОбработанногоФагментаКоллекции"

P.S. Теперь обработка коллекции без потоков полностью имитирует вызов событий при работе в потоках.

Небольшая оптимизация:

Скорректированно ожидание "пустых" циклов с 1 сек. до 0.1 сек. (данные циклы исполняются для синхронизации работы фоновых заданий уже после полной обработки данных)

Обновление "Менеджер потоков" 2.0.5

Добавлена презентация с ISE 2018

Другие статьи и разработки на данную тему:

Все, что было в первой версии, переработано, улучшено и дополнено. В связи с чем она (первая версия) переходит в разряд статьи с основными объяснениями и картинками.

Сразу договоримся, если в тексте будет указано «v1» - это отсылка к реализации в первой версии, если «v2.х» - к текущей.

Очень кратко, о чем речь…

Фреймворк в виде одного общего модуля, позволяющего при получении объектов на обработку запускать их в несколько потоков. Особенности:

Нет необходимости рассчитывать «порции» для обработки;
Нет необходимости организовывать файловый обмен между потоками;
Возможность запускать несколько менеджеров потоков одновременно, при этом потоки одного менеджера, могут запускать новые менеджеры со своими задачами и потоками;
Можно выстраивать граф зависимости объектов, что позволяет, например, избегать взаимоблокировок и/или организовать восстановление партий (на нашем предприятии удалось добиться 10х+ ускорения при 10 потоках в рабочее время – 200+ активных пользователей - Результаты работы механизма);
Все необходимые "вмешательство" в алгоритмы происходят с помощью событий;
Возможность описывать алгоритмы событий, как в модуле менеджера, так и в любом другом модуле БД (предпочтительно), а также во внешней обработке.
Автоматический рестарт потока в случае ошибок;
Контроль за количеством рестартов по каждому объекту;
Возможность получать «ответы» от потоков;
Возможность контролировать работу с помощью «Инструментов разработчика» или иных отчетов;
Возможность срочного прерывания работы;
И многое другое…

так было в «v1»

Основные изменения v2.0 (расширение функционала v1):

Только полная версия, полностью открытый код;
Практически полностью переписано ядро и архитектура (кода стало на ~50% больше), механизм обмена данными остался тот же (Хранилище общих настроек);
Появилось 3 способа обработки:
- Обработка поэлементно:
  - Процедура ОбработатьОбъект(); (реализовано v1)
- Обработка коллекций:
  - Процедура ОбработатьКоллекцию();
  - Процедура ДополнитьКоллекцию ().
Скорость обработки «зависимых» объектов происходит быстрее на 5-15% по сравнению с «v1», при выполнении одной и той же задачи;
Появилась возможность передавать в потоки произвольные единожды сформированные данные или рассчитывать их при запуске потока.
Возможность получать «ответ» об обработке объекта(ов) в «реальном времени» (в «v1» приходилось дополнительно прописывать обвязку из временного хранилища с помощью «СобытийРазработчика», откуда данные можно было получить только в конце обработки);
Сообщения выведенные в потоках, теперь выводятся автоматически (в «v1» приходилось обрабатывать через «Событиях разработчика»);
Расчет ресурсов теперь выполняют потоки;
Изменен состав «Событий разработчика»;
Изменена структура параметров передаваемых в «События разработчика»;
Граф теперь является одним объектом (в «v1» он состоял из нескольких не связанных объектов, что могло вызвать затруднения в понимании работы);
Расширены собираемые данные для анализа работы менеджера потоков (до 11 показателей);
Предоставлен шаблон функции «ОбработатьСобытиеРазработчика» для своих модулей;
В статью добавлены примеры;
Прочие мелочи.

Основные изменения v2.1 (расширение функционала прошлых версий):

Увеличена скорость обработки зависимых объектов на 15-25%, в ряде случаев до 50% по сравнению с версией "v2.0";
Полностью переписан весь код;
Код проверен с помощью АПК 1.2 (исправлено 350+ замечаний и не соответствий стандартам 1С, осталось 9 :));
Работа с графом "неограниченного" размера;
Объекты для обработки теперь передаются пакетами, а не по одному;
Приоритизирована раздача заданий потокам;
Реализована возможность в событиях (не во всех) дополнять "Параметры для объекта" для передачи в другие события - см. Руководство.
Теперь поток, а не менеджер контролирует количество попыток обработать объект;
События потоков теперь выполняются в "Попытка-Исключение" - позволяет избежать лишних перезапусков потоков;
Добавлены методы для формирования файлов с данными для построения и анализа графов;
- ПолучитьГраф_Gephi();
- ПроизвольнаяОбработкаГрафа().

ВАЖНО!!!
Изменен состав и имена событий, а так же переименованы некоторые экспортные методы, в связи с чем, Ваши «события разработчика» реализованные на прошлых версиях «менеджера потоков» потребуют изменений, но незначительные.
Для примера, корректировка событий разработчика для «Восстановления партий» заняла примерно 10-15 мин с учетом анализа (80%) и написанием кода(20%).

Разработка проводилось на 1С:Предприятие 8.3 (8.3.9.1850) 32x; Режим совместимости 8.2.15

Теперь обо всем по порядку в деталях и с картинками...

Архитектура

При реализации v1, мне действительно удалось добиться поставленной цели (ускорить восстановление партий в УПП (не РАУЗ) в РАЗЫ), но были некоторые моменты вызывающие неудовлетворенность. Вот схема, примера организации обмена данными для получения ответа по v1. Проблемы обозначил цифрами:

1 проблема - расчет ресурса для построения графа. «Менеджер потоков» реализовывался для ускорения работы «Основной программы», а нам пришлось навесить на нее дополнительную работу по расчету ресурсов объектов. (Проведенные тесты показали, что выполнение алгоритма восстановления партий за 1 день, без непосредственного восстановления – просто выборка документов из последовательности и выполнение команд в цикле без проведения, выполняется за 30 сек., но стоит нам добавить расчет ресурсов и эта же работы выполнялась уже за 90 сек.).
- Факты за:
  - Основная программа рассчитывает ресурсы и «отбраковывает» объекты не требующие обработки (при восстановлении партий в нашей БД из Результаты работы механизма видно, что таких документов почти 50%);
  - «Снижение» нагрузки на СХД – т.к. не все передаются для обработки.
- Факты против:
  - По замерам было видно, что периоды, когда не задействовано ни одного потока доходили до 30% времени работы;
  - «Основная программа» дополнительно нагружена вычислением ресурсов.
2 проблема – временное хранилище - это «костыль» который каждый раз приходиться описывать разработчику, чтобы иметь возможность получить ответы о результатах обработки объектов.
3 проблема – «Менеджер потоков» - это прокладка, в буквальном смысле. Данные из основной программы попадают в потоки, только пройдя «насквозь» через «Менеджер потоков», а проходя «насквозь» приходиться: писать(основная программа)-читать(менеджер), писать(менеджер)-читать(поток), писать(поток)-читать(менеджер) и в конце с помощью «проблемы 2» консолидировано писать(менеджер)-читать(основная программа).
4 проблема – длительное ожидание ответа. Ответ в «основной программе» можно было получить только после окончания работы «менеджера потоков» через «проблему 2».

Новая реализация v2.0 движения данных:

На первый взгляд может показаться все очень сложно, и количество записей 6 против 4 в v1, но обо всем по порядку:

1 – «Основная программа» записывает в хранилище все необходимые данные для обработки.
2 – «Основная программа» записывает в зарезервированную для «Менеджера потоков» ячейку массив адресов с размещенными данными.
3 – «Менеджер потоков» на каждой итерации опрашивает ячейку с информацией о размещении новых данных.
4 – «Менеджер потоков» - считывает полученные данные для проведения анализа и построения графа (несвязанного).
5 – «Менеджер потоков» записывает в зарезервированные за каждым потоком ячейки, адреса, откуда потоку взять данные.
6 – «Поток» на каждой итерации опрашивает зарезервированную за собой ячейку на предмет появления информации о размещении данных.
7 – «Поток» по полученному адресу (п.6) считывает и обрабатывает данные.
8 – «Поток» после обработки формирует ответ и записывает его, туда же, откуда были считаны данные.
9 – «Поток» при штатном завершении обработки данных производит очистку своей зарезервированной ячейки.
10 – «Менеджер потоков» на каждой итерации производит опрос ячеек зарезервированные за потоками, куда были переданы адреса хранения данных для обработки. На данном этапе «Менеджер потоков» отслеживает активность потоков и в случае их «падения» запускает новый поток.
11 – «Менеджер потоков» считывает результат обработки и производит дальнейший анализ, при необходимости строит новый граф (связанный) и повторяет п.п. 5-10 (уже для обработки объекта по связям) или см. п. 12.
12 – «Менеджер потоков» записывает в зарезервированную для «Основной программы» ячейку информацию о результатах обработки.
13 – «Основная программа» на каждой итерации опрашивает ячейку с информацией о результатах обработки.
14 – «Основная программа» - считывает результат обработки объекта.

Теперь видно, что данные (они могут быть очень большими) записываются только 1 раз и 1 раз записывается результат обработки, а 4 раза записывается только служебная (короткая) информации. В v1 из-за проблемы 3, данные записывались 2 раза и 2 раза записывался результат обработки.

Результаты по ранее описанным проблемам:

1 проблема - расчет ресурса для построения графа. Теперь расчетом ресурсов занимается потоки, а не основная программа.
2 проблема - временное хранилище. Теперь в нем нет необходимости. Ответ возвращается туда, куда были помещены данные, обработка происходит через вызываемые события.
3 проблема – «Менеджер потоков» - это прокладка. Теперь менеджер потоков - это именно менеджер. Он управляет данными и сообщает другим участникам «Основной программе» и «Потокам», когда, откуда, какую (для «Основной программы») и для каких целей (для «Потоков») взять информацию.
4 проблема – длительное ожидание ответа. Теперь результат обработки «Основная программа» получает сразу после окончания обработки объекта.

В v2.1 есть изменения, но в общем принцип аналогичен «v2.0»

Способы обработки

В v2.1, реализовано четыре способа обработки данных.

ОбработатьОбъект() - метод предназначен для обработки объектов с помощью графовой последовательности (например, восстановление партий, восстановление последовательности расчетов и т.д.).
ОбработатьКоллекцию() - метод предназначен для обработки ТаблицЗначений, СписковЗначений и Массивов. Менеджер потоков разобьёт коллекцию на фрагменты в зависимости от параметров и передаст их на обработку в потоки. Данным методом можно воспользоваться для:
- простой обработки коллекции (без возврата коллекции);
- обработки коллекции с возвратом такой же коллекции, но измененной (менеджер потоков сам соберет коллекцию из обработанных фрагментов);
- обработки коллекции с произвольным результатом (разработчик сам собирает (в событии) как дополнительно обработать обработанные фрагменты)
ПолучитьГраф_Gephi() - метод позволяет получить файлы для загрузки в программу Gephi (https://gephi.org/), для дальнейшего анализа графа.
ПроизвольнаяОбработкаГрафа() - если граф необходимо обработать по своему, то данный метод является альтернативой методу «ПолучитьГраф_Gephi».

События разработчика

Примеры

В конфигурации предоставлены демонстрационные примеры работы с «Менеджером потоков», затрагивающие практически все возможности.

ВАЖНО!!!

Работает только в клиент-серверном варианте.

Внимание к справке

Каждая обработка снабжена "Справкой", для ее вызова необходимо нажать на соответствующую гиперссылку.

Пример справки:

Обработать объект

Демонстрируется возможность обработки объектов со сложной зависимостью друг от друга (нельзя обрабатывать текущий объект пока не обработаны другие объекты, результаты обработки которых влияют на результат текущего объекта. Например, восстановление последовательности партий)

Реквизиты:

Размер коллекции: Определяет какого размера будет обрабатываемая коллекция;

Алгоритм: Определяет по какому алгоритму будут обрабатываться объекты (описание алгоритмов см.ниже);

Обрабатывать объекты без ресурсов: определяет требуется ли обрабатывать объекты, которые никак не связаны с другими объектами – не имеют ресурсов. На примере восстановление последовательности партий, таким документом является документ «Поступление товаров и услуг», в последовательность входит, но его пере проведение никак не влияет на другие документы;

Количество потоков: Определяет сколько потоков будут обрабатывать данную коллекцию;

Очищать сообщения: Определяет будет ли перед запуском обработки очищено окно сообщений.

Алгоритмы:

В качестве «Объекта» обработки выступают числа от 1 до <Размер коллекции>.

Реализовано два алгоритма «Связь по делителям от 4 до 9» и «Связь по сумме делителей от 2 до 9»

Алгоритм: Связь по делителям от 4 до 9

Если "Объект" делится без остатка на число 4, 5, 6, ..., 9, то данные числа становится его ресурсами, например,

·у числа 12 два ресурса: 4 и 6;

·у числа 40 три ресурса: 4, 5 и 8.

Данные "Объекты", не будет обработаны пока не будут обработаны ВСЕ предыдущие объекты.

·у числа 12 - это 8 (связь по 4) и 6 (связь по 6);

·у числа 40 - это 36 (связь по 4), 35 (связь по 5) и 32 (связь по 8).

Если «Объект» НЕ делится на числа от 4 до 9, то в обработке он НЕ УЧАВСТВУЕТ (Обрабатывать объекты без ресурсов = Ложь), такими числами являются: 1, 2, 3, 11, 13, 17, 19, 22, 23, 26, 29 и т.д.

Алгоритм: Связь по сумме делителей от 2 до 9

Если "Объект" делится без остатка на число 2, 3, 4, ..., 9, то СУММА этих чисел является его ресурсом, например,

·у числа 12 таких чисел 4 - это 2, 3, 4 и 6. Ресурс = 15 (2 + 3 + 4 + 6);

·у числа 40 таких чисел 4 - это 2, 4, 5 и 8. Ресурс = 19 (2 + 4 + 5 + 8);

Данные "Объекты", не будет обработаны пока не будут обработаны ВСЕ предыдущие объекты.

·число 12 - первое с ресурсом 15, следом идет число 105 (3 + 5 + 7);

·число 40 - первое с ресурсом 19, следом идет число 63 (3 + 7 + 9).

Если сумма делителей «Объекта» = 0, то в обработке он НЕ УЧАВСТВУЕТ (Обрабатывать объекты без ресурсов = Ложь), такими числами являются: 1, 11, 13, 17, 19, 23, 29 и т.д.

Используемый метод:

«ОбработатьОбъект»

Принцип работы:

Действие	Место нахождение кода	Ответственность разработчика
Установка параметров менеджера потоков	Обработка: «мпОбработатьОбъект» модуль формы: «ФормаУправляемая»	+
Инициализация менеджера	Обработка: «мпОбработатьОбъект» модуль формы: «ФормаУправляемая»	+
Стартует фоновое задание менеджера потоков	Модули менеджера потоков
Стартуют фоновые задания потоков	Модули менеджера потоков
Передача объектов и доп. параметров на обработку	Обработка: «мпОбработатьОбъект» модуль формы: «ФормаУправляемая»	+
Контроль за последовательностью поступающих объектов	Модули менеджера потоков
Отправка объектов для расчета ресурсов	Модули менеджера потоков
Расчет ресурсов	Общий модуль: «мпСобытияРазработчика ОбработатьОбъект» Событие: «ПриРасчетеРесурсов»	+
Контроль за количество попыток рассчитать объект	Модули менеджера потоков
Обработка результатов Расчета ресурсов
Построение структуры зависимостей объектов
Отправка объектов на обработку
Обработка объекта	Общий модуль: «мпСобытияРазработчика ОбработатьОбъект» Событие: «ПриОбработкеПотоком»	+
Контроль за количество попыток обработать объект	Модули менеджера потоков
Вывод пользователю сообщений из потоков	Модули менеджера потоков
Постобработка пропущенных объектов	Общий модуль: «мпСобытияРазработчика ОбработатьОбъект» Событие: «ПриОбработкеПропуска»	+
Постобработка обработанных объектов	Общий модуль: «мпСобытияРазработчика ОбработатьОбъект» Событие: «ПриОбработкеРезультата»	+
Ожидание завершения работы менеджера потоков	Обработка: «мпОбработатьОбъект» модуль формы: «ФормаУправляемая»	+

Обработать объект

Обработать объект: Ошибка при обработке

Обработать объект: Передача частных параметров

Обработать объект: Файлы графа Gephi

Обработать объект: Файлы графа произвольная программа

Обработка коллекции: Простая

Обработка коллекции: Автосборка

Обработка коллекции: Автосборка и передача общих параметров

Обработка коллекции: Произвольная сборка

Обработка коллекции: Произвольная сборка, вывод до и после обработки

Особенности при работе в транзакции (Обработка проведения)

Техническая поддержка и обновления

Бесплатный период техподдержки составляет 1месяц со дня покупки

Также после приобретения вы получаете 3 месяца бесплатных обновлений.

По окончании бесплатного периода вы можете приобрести услугу технической поддержки с доступом к обновлениям на платной основе.

Проверить наличие обновлений можно в личном кабинете. Если обновления недоступны - загрузить новую версию можно после покупки обновлений/технической поддержки.

Задать вопрос по программе можно по кнопке "Техподдержка" на странице описания.

При создании тикета необходимо предоставить:

Номер заказа
Описание вопроса. Если это ошибки - напишите порядок ваших действий с программой, которые к ней привели (приложите видео/скриншоты/отчеты об ошибке)
Точную конфигурацию 1С, и версию платформы, на которой используете купленное решение (наименование и версию 1С можно взять из раздела "О программе"), версию купленной программы.

К созданной заявке подключается специалист. Дальнейшее обсуждение проблемы будет проходить в тикете техподдержки. Стандартный срок реакции - 24 часа в рабочие дни с момента обращения.

Техподдержка

Статистика:
Просмотры	106565
Загрузки	248
Рейтинг	313
Создание	07.02.18 16:13
Обновление	06.07.21 12:11
№ Публикации	778905
Характеристики:
Теги	"Фоновые задания" потоки "менеджер потоков" фоновых заданий" распараллелить "восстановление партий" многопоточность
Рубрики	Инструментарий разработчика
Кому	Программист
Тип файла	Конфигурация (md, cf)
Платформа	1С v8.3
Конфигурация	1C:Бухгалтерия
Операционная система	Не имеет значения
Страна	Россия
Отрасль	Не имеет значения
Налоги	Не имеет значения
Вид учета	Не имеет значения
Доступ к файлу	Платные (руб)
Код открыт	Да

Статистика:

Просмотры

106565

Загрузки

248

Рейтинг

313

Создание

07.02.18 16:13

Обновление

06.07.21 12:11

№ Публикации

778905

Характеристики:

Теги

"Фоновые задания" потоки "менеджер потоков" фоновых заданий" распараллелить "восстановление партий" многопоточность

Рубрики

Инструментарий разработчика

Кому

Программист

Тип файла

Конфигурация (md, cf)

Платформа

1С v8.3

Конфигурация

1C:Бухгалтерия

Операционная система

Не имеет значения

Страна

Россия

Отрасль

Не имеет значения

Налоги

Не имеет значения

Вид учета

Не имеет значения

Доступ к файлу

Платные (руб)

Код открыт

Да

Наименование	Файл	Версия	Размер
Руководство	.pdf	2.1.0	1,13Mb	182	Скачать
Многопоточность. Универсальный «Менеджер потоков» 2.1 (Демо): (Только демонстрационные обработки и модули событий разработчика к ним)	.zip	2.1.0	1,95Mb	179	Скачать

Наименование

Файл

Версия

Размер

Руководство

.pdf

2.1.0

1,13Mb

182

Скачать

Многопоточность. Универсальный «Менеджер потоков» 2.1 (Демо): (Только демонстрационные обработки и модули событий разработчика к ним)

.zip

2.1.0

1,95Mb

179

Скачать

СтруктураДанных = пПараметрыСобытия.СтруктураДанных; ОбрабатываемыйОбъект = СтруктураДанных.ОбрабатываемыйОбъект; ПараметрыДляОбъекта = СтруктураДанных.ПараметрыДляОбъекта; МассивРесурсов = Новый Массив; ТаблицаСписания = УправлениеЗапасамиПартионныйУчет.ПолучитьТаблицуСтрокДокументов(ОбрабатываемыйОбъект, ПараметрыДляОбъекта.Упр, ПараметрыДляОбъекта.Бух, ПараметрыДляОбъекта.Нал); Для каждого СтрокаСписания из ТаблицаСписания Цикл МассивРесурса = Новый Массив; МассивРесурса.Добавить(СтрокаСписания.Номенклатура); МассивРесурса.Добавить(СтрокаСписания.Склад); МассивРесурсов.Добавить(МассивРесурса); КонецЦикла; Возврат МассивРесурсов;

Поле объекта не обнаружено (АлгоритмыРаботыСКоллекцией) КодСоздания = пСтруктураПараметров.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.АлгоритмыРаботыСКоллекцией.КодСоздания;

КодСоздания = "КоллекцияПриемник = Новый СписокЗначений;"; КодДобавления = "ЗаполнитьЗначенияСвойств(КоллекцияПриемник.Добавить(), КоллекцияИсточник[ИндексКоллекции]);"; Структура = Новый Структура; Структура.Вставить("КодСоздания" , КодСоздания); Структура.Вставить("КодДобавления", КодДобавления); СтруктураПараметромМП.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.Вставить("АлгоритмыРаботыСКоллекцией", Структура);

Функция ПолучитьДанныеИзМенеджераПотоков ... ИначеЕсли РезультатОбработки = "ДополненныйФрагментКоллекции" Тогда ...

Сообщить("Обработка в потоках."); ВремяНачала = ТекущаяУниверсальнаяДатаВМиллисекундах(); СтруктураПараметров = векМенеджерПотоков.ПолучитьСтруктуруПараметровИнициализацииМенеджераПотоков("ОбработатьКоллекциюДокументовОчередипереобеспечения",""); векМодульМенеджераПотоков.ПолучитьПараметрыМП("ЗаказПоставщику",СтруктураПараметров); СтруктураПараметромМП = векМенеджерПотоков.ИнициализироватьМенеджерПотоков(СтруктураПараметров); #Область Костыли КодСоздания = "КоллекцияПриемник = Новый СписокЗначений;"; КодДобавления = "ЗаполнитьЗначенияСвойств(КоллекцияПриемник.Добавить(), КоллекцияИсточник[ИндексКоллекции]);"; Структура = Новый Структура; Структура.Вставить("КодСоздания" , КодСоздания); Структура.Вставить("КодДобавления", КодДобавления); СтруктураПараметромМП.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.Вставить("АлгоритмыРаботыСКоллекцией", Структура); #КонецОбласти Для Каждого ДокументСсылка Из Коллекция Цикл СтруктурапараметровОбъекта = Новый Структура; СтруктурапараметровОбъекта.Вставить("Период",ДокументСсылка.Период); векМенеджерПотоков.ОбработатьОбъект(СтруктураПараметромМП,ДокументСсылка.Документ,СтруктурапараметровОбъекта); КонецЦикла; векМенеджерПотоков.ДождатьсяОстановкиМенеджераПотоков(СтруктураПараметромМП); ВремяКонцаВыполнения = ТекущаяУниверсальнаяДатаВМиллисекундах(); ВремяВыполненияВМиллисекундах = ВремяКонцаВыполнения - ВремяНачала; Сообщить("Окончание потоковой обработки: "+ВремяВыполненияВМиллисекундах / 1000);

Процедура ПолучитьПараметрыМП(ОбъектОбработки,СтруктураПараметров) Экспорт Запрос = Новый Запрос; Запрос.Текст = "ВЫБРАТЬ | векНастройкиМногопоточности.МодульОбработкиСобытийРазработчика КАК МодульОбработкиСобытийРазработчика, | векНастройкиМногопоточности.МинимальноеКоличествоКоллекции КАК МинимальноеКоличествоКоллекции, | векНастройкиМногопоточности.КоличествоПотоков КАК КоличествоПотоков, | векНастройкиМногопоточности.КоличествоЭлементовКолекцииНаПоток КАК КоличествоЭлементовКолекцииНаПоток, | векНастройкиМногопоточности.КоэффициентКратностиОчередиПотоковКПотокам КАК КоэффициентКратностиОчередиПотоковКПотокам, | векНастройкиМногопоточности.ПределКоличествоПопытокОбработатьОбъект КАК ПределКоличествоПопытокОбработатьОбъект |ИЗ | РегистрСведений.векНастройкиМногопоточности КАК векНастройкиМногопоточности |ГДЕ | векНастройкиМногопоточности.Активно | И векНастройкиМногопоточности.ОбъектОбработки = &ОбъектОбработки"; Запрос.УстановитьПараметр("ОбъектОбработки", ОбъектОбработки); РезультатЗапроса = Запрос.Выполнить(); Выборка = РезультатЗапроса.Выбрать(); СтруктураПараметров.ПараметрыОбщие.Вставить("Активно",Ложь); Если Выборка.Следующий() Тогда Если ЗначениеЗаполнено(Выборка.МодульОбработкиСобытийРазработчика) Тогда СтруктураПараметров.ПараметрыИнициализации.МодульОбработкиСобытийРазработчика = Выборка.МодульОбработкиСобытийРазработчика; КонецЕсли; Если ЗначениеЗаполнено(Выборка.КоличествоПотоков) Тогда Если ТипЗнч(Выборка.КоличествоПотоков) = Тип("Число") Тогда СтруктураПараметров.ПараметрыИнициализации.КоличествоПотоков = Выборка.КоличествоПотоков; КонецЕсли; Если ТипЗнч(Выборка.КоличествоПотоков) = Тип("Булево") Тогда СтруктураПараметров.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.ДинамическийРассчетКоличестваПотоков = Выборка.КоличествоПотоков; КонецЕсли; КонецЕсли; Если ЗначениеЗаполнено(Выборка.КоличествоЭлементовКолекцииНаПоток) Тогда СтруктураПараметров.ПараметрыИнициализации.ПараметрыОбработкиКоллекции.КоличествоЭлементовКолекцииНаПоток = Выборка.КоличествоЭлементовКолекцииНаПоток; КонецЕсли; Если ЗначениеЗаполнено(Выборка.КоэффициентКратностиОчередиПотоковКПотокам) Тогда СтруктураПараметров.ПараметрыИнициализации.КоэффициентКратностиОчередиПотоковКПотокам = Выборка.КоэффициентКратностиОчередиПотоковКПотокам; КонецЕсли; Если ЗначениеЗаполнено(Выборка.ПределКоличествоПопытокОбработатьОбъект) Тогда СтруктураПараметров.ПараметрыИнициализации.ПределКоличествоПопытокОбработатьОбъект = Выборка.ПределКоличествоПопытокОбработатьОбъект; КонецЕсли; СтруктураПараметров.ПараметрыОбщие.Активно = Истина; СтруктураПараметров.ПараметрыОбщие.Вставить("МинимальноеКоличествоКоллекции",Макс(Выборка.МинимальноеКоличествоКоллекции,1)); КонецЕсли; КонецПроцедуры

Если ИмяСобытия = "ПриПолученииРесурсов" Тогда //Поток ОтветСобытия = ПриПолученииРесурсов(пПараметрыСобытия); //Сообщение = Новый СообщениеПользователю; //Сообщение.Текст = "Ресурс получен"; //Сообщение.Сообщить(); ИначеЕсли ИмяСобытия = "ПриОбработкеДействияПотока" Тогда //Поток СтруктураДанных = пПараметрыСобытия.СтруктураДанных; ПараметрыДляОбъекта = СтруктураДанных.ПараметрыДляОбъекта; РегистрыСведений.векОчередьДляПереобеспечения.ОбработатьДокумент(ПараметрыДляОбъекта.Период, СтруктураДанных.ОбрабатываемыйОбъект);

Функция ПриПолученииРесурсов(пПараметрыСобытия) СтруктураДанных = пПараметрыСобытия.СтруктураДанных; ОбрабатываемыйОбъект = СтруктураДанных.ОбрабатываемыйОбъект; ТабличнаяЧастьДокумента = ПолучитьТабличнуюЧастьДокумента(ОбрабатываемыйОбъект); МассивРесурсов = Новый Массив; МассивРесурса = Новый Массив; МассивРесурса.Добавить(векПолучитьЗначениеРеквизита(ОбрабатываемыйОбъект,"Склад")); Для каждого СтрокаТЧД из ТабличнаяЧастьДокумента Цикл МассивРесурса.Добавить(СтрокаТЧД.Номенклатура); КонецЦикла; МассивРесурсов.Добавить(МассивРесурса); Возврат МассивРесурсов; КонецФункции

Функция ДождатьсяОстановкиМенеджераПотоков(пСтруктураПараметров) Экспорт ... Пока ПолучитьЗначениеХранилищаОбщихНастроек(РазрезМенеджеров, "ИдФЗМенеджераПотоков") <> Неопределено Цикл Слипп(0.1); КонецЦикла; ...

Сообщение = Новый СообщениеПользователю; Сообщение.Текст = СтрШаблон("Создан возврат %1",Документы.ВозвратТоваровОтКлиента.ПолучитьСсылку(Новый УникальныйИдентификатор(XmlСтрокаНаВозврат))); Сообщение.Сообщить(); Возврат Документы.ВозвратТоваровОтКлиента.ПолучитьСсылку(Новый УникальныйИдентификатор(XmlСтрокаНаВозврат));

1. tormozit 08.02.18 09:30 Сейчас в теме

Опечатка "ОбработатьКоллекуию"

6. Техподдержка 08.02.18 13:03

(1) Спасибо! Поправил.

18. Evil Beaver 08.02.18 18:09 Сейчас в теме

(6) Не везде. В примерах кода часто встречается.

19. Техподдержка 08.02.18 19:58

(18)видимо в спойлерах не ищет(( доберусь до компа перепроверю через "источник". В обработке поправлено, видимо пока готовил статью в Ворде не заметил). Спасибо.

2. Xershi 08.02.18 09:50 Сейчас в теме

Нужны реальные примеры для чего это нужно. Первую версию не читал.

7. Техподдержка 08.02.18 13:05

(2) Реальные примеры - чтоб у всех работало, придумать толком не смог :)
Идею можно посмотреть Тут

10. Техподдержка 08.02.18 13:12

(2)

чего это нужно

С помощью "ОбработатьОбъект" распараллелил партии в УПП Вот результаты

3. infosoft-v 08.02.18 10:04 Сейчас в теме

Здравствуйте. Мощная работа.
Проект есть на GitHub? Можно ссылку?

8. Техподдержка 08.02.18 13:07

(3) Нет нету :( Еще с ним не разобрался :(

4. dandykry 08.02.18 10:32 Сейчас в теме

Однозначный плюс за разработку.

5. tsukanov 08.02.18 10:54 Сейчас в теме

Эх. Вот сделали бы в платформе возможность ожидать завершения хотя бы одного задания из массива,
и все эти извраты были бы не нужны.

9. Техподдержка 08.02.18 13:10

(5) Ну так запускайте не в массиве, а по одному :) Массив то зачем?

11. tsukanov 08.02.18 13:24 Сейчас в теме

(9) А как ожидать завершения? По таймеру проверять?

Суть то в том, чтобы запустить пачку заданий и при завершении хотя бы одного тут же выдать новое задание с новой порцией данных. Так можно максимально утилизировать процессор и управление потоками становится тривиальным

12. Техподдержка 08.02.18 13:25

(11) Можно по таймеру, можно по значению переменной (в текущей реализации она также сохраняется в общих настройках) и мониторить ее на каждой итерации.

13. tsukanov 08.02.18 13:26 Сейчас в теме

(12) Вот вот. Извращения. А все из-за дурацкой реализации ожидания в платформе

ps Посмотрите в Go оператор Select - вот там правильно сделано

14. Техподдержка 08.02.18 13:34

(13) На сколько я понимаю, в Вашей реализации вы предлагаете задействовать, недавние вирусы (meltdown и spectre), тогда возможно получиться получать ответ сразу как задание выполнено :)

15. tsukanov 08.02.18 13:35 Сейчас в теме

(14) Не понял о чем вы. В общем смотрите как сделано в Go

16. пользователь 08.02.18 13:39

Сообщение было скрыто модератором.

...

17. пользователь 08.02.18 14:01

28. tsukanov 07.09.18 08:10 Сейчас в теме

(14) Вышла 13 платформа, в которой это стало возможно )

29. Техподдержка 07.09.18 10:49

(28)

ышла 13 платформа, в которой это стало возмож

А можно по подробнее? На что обратить внимание?

30. tsukanov 07.09.18 14:01 Сейчас в теме

(29) Там новый метод для ожидания появился. Вот пример использования как я описывал выше: gist.github.com/tsukanov-as/4a75e731d959017d7238e5ce456e6f28

Ждем изменения статуса хотя бы одного и подменяем сразу на новое задание.

20. izidakg 08.02.18 22:54 Сейчас в теме

развитие будет или все задуманное реализовано?

22. Техподдержка 09.02.18 09:06

(20) Есть еще несколько идей (осталось только время найти для их воплощения). Они пока не реализованы, т.к. реализуй я их, то текущую версию выложил бы еще не скоро. Так основные задумки все работают - можно смело пользоваться.

21. artemka 09.02.18 07:59 Сейчас в теме

А каким образом происходит восстановление партий в несколько потоков? Например, для того, чтобы восстановить партию, мне нужно знать остатки по номенклатуре на дату, а пока предыдущий поток не завершится этих данных не будет.

23. Техподдержка 09.02.18 09:09

(21) Артем, для ответа на Ваш вопрос, я рекомендую Вам ознакомится первым постом и с текущим. В первом посте вообще все рассказывалось отталкиваясь именно от этой задачи.
Для простоты понимания посмотрите примеры из первого поста

24. gubanoff 09.02.18 10:42 Сейчас в теме

(0) на какой версии платформы можно использовать?

25. Техподдержка 09.02.18 10:56

(24) 8.2 и 8.3. v1 тестировалась на 1С:Предприятие 8.3 (8.3.9.1850) обычные формы. Примеры имеют и обычную, и управляемую формы.

26. kauksi 06.04.18 09:24 Сейчас в теме

У меня когда то была идея для РАУЗ... передать матрицу через внешнюю компоненту и быстренько посчитать все через CUDA... тока вот руки так и не дошли

27. kote 06.07.18 23:21 Сейчас в теме

(26)

.. знаю таких 2 в своей организации - это кроме себя :)

Кто об этом еще задумывался?

31. olegtymko 25.10.18 07:25 Сейчас в теме

Доклад на IE огонь!) Спасибо, потестирую у себя систему!

32. Техподдержка 25.10.18 09:36

(31) Спасибо, за отзыв :)

55. Cyberhawk 18.07.20 15:28 Сейчас в теме

(31) Чем-нибудь тестирование закончилось? Прижилось или нет?

33. dimbasbear 28.01.19 10:46 Сейчас в теме

Добрый день, очень интересная статья, спасибо за труд.

Скажите:

1. Применимо для восстановление партий + оценка стоимости по средней ?
2. Можно краткий пример как это все запустить для п1, в частности как и у вас для конфигурации УПП.

34. Техподдержка 28.01.19 17:18

Добрый день!

(33)

Добрый день, очень интересная статья, спасибо за труд.

Спасибо за отзыв.

(33)

1. Применимо для восстановление партий + оценка стоимости по средней ?

Применимо для любого учета, кроме разве что - РАУЗ (хотя может и там сработает не проверял).
Все процедуры восстановления - ТИПОВЫЕ с небольшими оговорками о них ниже...

Что у нас есть в типовом учете:
1. У нас есть обработка "Проведение по партиям". В ней процедура "КнопкаВыполнитьНажатие", которая в свою очередь, так или иначе, вызывает "ЗаполнениеДокументов.ВыполнитьВосстановление".

2. В рамках этой процедуры обрабатывается последовательность документов и каждый документ последовательности обрабатывается с помощью "УправлениеЗапасамиПартионныйУчет.ДвижениеПартийТоваров(..." (по крайне мере основная масса документов списания).

Все, что необходимо сделать - это чтобы эта строка кода выполнялась в событии "ПриОбработкеДействияПотока" со всеми своими параметрами

для этого необходимо следующее:
1. Перед началом цикла "Пока ЕстьДокументы Цикл" получить параметры менеджера потоков, установить параметры и провести его инициализацию
2. В цикле вместо "УправлениеЗапасамиПартионныйУчет.ДвижениеПартийТоваров (..." вызвать метод менеджера потоков "ОбработатьОбъект", куда параметрами передать а) СтруктуруПараметровМенеджера, б) ссылку на документ в) Структуру (или любую другой коллекцию) со всеми параметрами из типовой "УправлениеЗапасамиПартионныйУчет.ДвижениеПартийТоваров (..."
3. После цикла вызвать метод "ДождатьсяОстановкиМенеджераПотоков" куда передать только СтруктуруПараметровМенеджера.
Все больше в типовой обработке ни чего править не надо.

Дальше идет работа с событиями, что использовалось у Нас:
1. "ПередЗапускомМенеджераПотоков" Создали массив(пустую) для учета документов восстановление по которым не получилось;
2. "ПриПолученииРесурсов" Это основное событие распараллеливания - тут по каждому документу необходимо собирать его ресурсы. Как? Смотрите примеры из презентации или статьи
3. "ПриДобавленииВОчередьОбработки" - тут все просто, если ресурсы есть - возвращаем "Истина", если их нет - "Ложь". Кода возвращается "Истина", объект помещается в граф и по нему рассчитываются связи в зависимости от ресурсов (следующее событие "ПриОбработкеДействияПотока"), а если "Ложь", то объект - пропускается (следующее событие "ПриОбработкеПропуска")
4. "ПриОбработкеДействияПотока" собственно вызываем нашу строчку кода "УправлениеЗапасамиПартионныйУчет.ДвижениеПартийТоваров(..." со всеми параметрами. Результатом данного метода могут быть произвольные данные (ловятся в событии "ПриОбработкеОтвета")

5. Надо зафиксировать факт НЕ обработки объекта - это можно сделать в 2х событиях: "ПриОбработкеОшибки" - если поток падал в момент обработки объекта (по умолчанию до 5 раз пытается обработать объект) и в событии "ПриОбработкеОтвета" можно, например, при обработке события "ПриОбработкеДействияПотока" возвращать значение переменной "Отказ" если оно "Истина", в этом случае мы заносим объект в структуру определенную в п1.

6. "ПослеЗавершенияМенеджераПотоков" собственно - это последнее событие в нем мы производим установку границы последовательности. Если массив из п1 - пуст, то на самый последний документ последовательности в периоде, а если в массиве есть хоть один документ, то границу устанавливаем на самый ранний.

Для примера:
Количество строк кода во всех событиях: ~400
Самое большое событие: "ПриПолученииРесурсов" ~ 150 строк
Самое маленькое событие: "ПриДобавленииВОчередьОбработки" - 1 строка (Возврат пПараметрыСобытия.СтруктураДанных.МассивРесурсов.Количество() > 0;)

P.S. Один из не маловажных моментов :)
Код написанный в цикле процедуры "ВыполнитьВосстановление" - выполняется в транзакции, так вот: перед выполнением метода "ОбработатьОбъект" рекомендуется ее зафиксировать, а сразу за ним Начать новую. Кроме того в событии "ПриОбработкеДействияПотока" строку "УправлениеЗапасамиПартионныйУчет.ДвижениеПартийТоваров(..." - наоборот заключить в транзакцию
P.P.S. У нас помимо "УправлениеЗапасамиПартионныйУчет.ДвижениеПартийТоваров(..." в событии "ПриОбработкеДействияПотока" вызывается еще и "УправлениеПроизводствомДвиженияПоРегистрам.ПровестиДокументПоПроизводственнымРегистрам(..."

Но так у Нас, у Вас возможно будет по другому :)

35. velsevur 29.01.19 09:10 Сейчас в теме

(34)

2. "ПриПолученииРесурсов" Это основное событие распараллеливания - тут по каждому документу необходимо собирать его ресурсы. Как? Смотрите примеры из презентации или статьи

Доброго дня.
А можно привести пример кода для формирования ресурса и как потом им пользоваться. Я в этом месте застрял.

36. Техподдержка 29.01.19 10:38

(35)

А можно привести пример кода для формирования ресурса и как потом им пользоваться.

Ресурсами ни как пользоваться не надо ими пользуется "менеджер потоков" главное правильно их сформировать (тут пример в примерах, на картинках, см. строку "Массивы" надо сформировать массив массивов)

Вот примерный код:

Показать

37. dimbasbear 29.01.19 16:11 Сейчас в теме

Дальше идет работа с событиями, что использовалось у Нас:
1. "ПередЗапускомМенеджераПотоков" Создали массив(пустую) для учета документов восстановление по которым не получилось;
2. "ПриПолученииРесурсов" Это основное событие распараллеливания - тут по каждому документу необходимо собирать его ресурсы. Как? Смотрите примеры из презентации или статьи
3. "ПриДобавленииВОчередьОбработки" - тут все просто, если ресурсы есть - возвращаем "Истина", если их нет - "Ложь". Кода возвращается "Истина", объект помещается в граф и по нему рассчитываются связи в зависимости от ресурсов (следующее событие "ПриОбработкеДействияПотока"), а если "Ложь", то объект - пропускается (следующее событие "ПриОбработкеПропуска")
4. "ПриОбработкеДействияПотока" собственно вызываем нашу строчку кода "УправлениеЗапасамиПартионныйУчет.ДвижениеПартийТоваров(..." со всеми параметрами. Результатом данного метода могут быть произвольные данные (ловятся в событии "ПриОбработкеОтвета")

5. Надо зафиксировать факт НЕ обработки объекта - это можно сделать в 2х событиях: "ПриОбработкеОшибки" - если поток падал в момент обработки объекта (по умолчанию до 5 раз пытается обработать объект) и в событии "ПриОбработкеОтвета" можно, например, при обработке события "ПриОбработкеДействияПотока" возвращать значение переменной "Отказ" если оно "Истина", в этом случае мы заносим объект в структуру определенную в п1.

6. "ПослеЗавершенияМенеджераПотоков" собственно - это последнее событие в нем мы производим установку границы последовательности. Если массив из п1 - пуст, то на самый последний документ последовательности в периоде, а если в массиве есть хоть один документ, то границу устанавливаем на самый ранний.

Дошел до событий, дабы не городить костыли - можно пример кода по каждому из событий для восст. по партиям?

38. Техподдержка 29.01.19 17:14

(37)

В рамках данной статьи это не предусмотрено.
Постараюсь собраться с силами и выложить новую со всеми кодами для восстановления партий на нашем примере :)

Вам могу, пока, посоветовать "городить костыли" заодно опробуете все сами.

Рекомендации:
0) Поднимите копию базы и сделайте там первое полное восстановление за месяц (это будет эталон для сравнения)
1) разработку рекомендую начать в отдельной базе с 1 потока;
2) восстановление делайте в рамках 1 дня;
3) для сверки пользуйтесь "Ведомость по партиям товаров на складах"
4) как добьетесь результата на 1 потоке увеличивайте их количество до 2-3, если и на них все будет гладко, то ставьте, то количество которое потянет ваш сервер :) (У нас восстановление делается на 10 потоках - этого для нас достаточно. Но была задача по непосредственному удалению документов из БД, там писали обработку и удаляли на 45 потоках. Все зависит от специфики, задачи, железа и т.д.)

Для восстановление выше приведенного кода(с расчетом ресурсов) не достаточно - все зависит от специфики Вашего предприятия. В нашем дополнительно еще собираются ресурсы по производственной части.

Так что, дерзайте!

P.S. Я надеюсь у Вас управляемый режим блокировок?

39. velsevur 30.01.19 10:59 Сейчас в теме

Подскажите, что нужно сделать, что-бы сработал механизм формирования ресурсов.
Запускаю потоки через "мпМенеджерПотоков.ОбработатьКоллекциюОбъектов".

не срабатывает.

40. Техподдержка 30.01.19 11:13

Событие "ПриПолученииРесурсов" предназначено только для метода "ОбработатьОбъект" - когда по объектам необходимо строить граф.
Рекомендую посмотреть презентацию с IE2018 (ссылка есть в публикации) или тут.
Необходимый минимум для метода "ОбработатьКоллекциюОбъектов" показан тут.

Пока прикладываю схему доступности событий от методов

Прикрепленные файлы:

41. velsevur 01.02.19 12:09 Сейчас в теме

(40) Спасибо.

Подскажите что я делаю не так:
1. Получаю параметры "ПолучитьСтруктуруПараметровИнициализацииМенеджераПотоков"
2. Инициализирую МП "ИнициализироватьМенеджерПотоков"
3. В цикле обхожу выборку документов методом "ОбработатьОбъект"
4. После цикла ожидаю завершения МП "ДождатьсяОстановкиМенеджераПотоков"

Получаю ошибку:

В структуре "ПараметрыОбработкиКоллекции" действительно нет "АлгоритмыРаботыСКоллекцией".

Перед циклом дописал:

А как нужно было сделать правильно?

42. Техподдержка 01.02.19 13:06

(41) пункты с 1 по 4 - правильные
Но вот код вызывающий у Вас ошибку срабатывать не должен. Он относится к методам работы с коллекциями.
И встречается в 2х местах:

Функция ОбработатьКоллекцию

которая в свою очередь вызывается из метода "ОбработатьКоллекциюОбъектов" и "ДополнитьКоллекциюОбъектов"

Версия менеджера у Вас 2.0.5? (не могу определить дату скачивания - не вижу Вас среди скачавших)

Можете мне прислать замер производительности по работе ФЗ "менеджера потоков"? (например через вотсап - номер в профиле)
и Код используемой обработки или саму обработку.

43. velsevur 01.02.19 14:07 Сейчас в теме

(42) Не вижу номера в профиле, возможно нужно быть в друзьях. Версия 2.0.5. Скачивался МП с другого аккаунта "Cruciann".

44. velsevur 01.02.19 16:15 Сейчас в теме

(43)
Благодаря помощи автора темы проблема была решена путем правки модуля МП,

Строки с 1514-1516 необходимо обернуть в условие

Если РезультатОбработки = "ДополненныйФрагментКоллекции" Тогда

Спасибо DarkAn

60. MURzzz 04.12.20 11:49 Сейчас в теме

(40) Подскажите, пожалуйста, я правильно понимаю, что ОбработатьОбъект() только для ссылочных объектов? То есть если например необходимо в многопотоке обрабатывать очередь из регистра сведений, то придется использовать либо метод "ДополнитьКоллекцию", либо "ОбработатьКоллекцию"? Хотелось задействовать расчет ресурсов для построения графов, чтобы при работе фоновых заданий добавлять в коллекцию новые события, появляющиеся в очереди (новые записи регистра сведений). Почитал, посмотрел, но вот с этими вопросами не доразобрался.

62. Техподдержка 04.12.20 14:09

(60)

Хотелось задействовать расчет ресурсов для построения графов, чтобы при работе фоновых заданий добавлять в коллекцию новые события, появляющиеся в очереди (новые записи регистра сведений)

Добрый день!
Если не сложно можете расписать задачу, чуть подробнее (желательно в личку, чтоб тут не засорять), возможно удастся предложить решение

87. alkar 12.11.22 11:23 Сейчас в теме

(62) Добрый день! Возможно получить вариант решения аналогичной по сути проблемы? Пытаюсь передать в ОбработатьОбъект() не записанный ДокументОбъект, хочется также задействовать расчет ресурсов.

88. Техподдержка 14.11.22 12:48

(87) [IS-QUOTE] Добрый день! Просьба описать ваш случай более детально. Возможно у Вас есть особенности. Кроме того прошлое решение было почти 2 года назад - результатов сходу уже не вспомнить.

89. alkar 14.11.22 13:02 Сейчас в теме

(88) Из таблицы значений построчно создаем документ Корректировка долга, заполняем его данными и проводим, вот собственно и всё. В день +- 5000 документов. Сейчас на проведение каждого уходит 4-5 сек. Возможны взаимоблокировки, т.к. Контрагент и Договор могут повторяться. Конфигурация Бухгалтерия предприятия, редакция 3.0 (3.0.120.14) 1С:Предприятие 8.3 (8.3.20.1710) -MS SQL

90. Техподдержка 14.11.22 14:59

(89) Ну тогда все так же достаточно просто.

1. В ОбработатьОбъект() можно передавать как "объект" все что угодно, главное чтоб объект передавался 1 раз. В исключительной ситуации можно передать УникальныйИдентивикатор, а все параметры для создания объекта передать 3им параметром (ПараметрыДляОбъекта) в виде структуры.

2. В событии "ПриРасчетеРесурсов" для каждого объекта собираете ресурсы, мне кажется достаточно только договоров (контрагент не обязательно), но при этом надо понимать, что, возможно, договоров в одном документе может быть несколько, а значит в массиве ресурсов будет несколько ресурсов к одному объекту.

3. В событии "ПриОбработкеПотоком" Создаем/проводим документы.

4. При необходимости в событии "ПриОбработкеОшибки" описываем алгоритм при не возможности создать документ, например вывод сообщения со ссылкой на документ и остановка МП от дальнейшей работы

5. При необходимости в событии "ПриОбработкеПропуска" Выводим информацию если по объекту не удалось рассчитать ресурсы.

6. При необходимости в событии "ПриОбработкеРезультата" обрабатываем успешную обработку объекта.

92. alkar 14.11.22 16:11 Сейчас в теме

(90) Спасибо, большое, буду пробовать!!

93. Техподдержка 14.11.22 17:16

(92) Буду признателен за обратную связь

91. Техподдержка 14.11.22 15:01

(89) Обратите внимание на пункт из основной статьи "Особенности при работе в транзакции"

45. rbdaurov 16.03.19 13:39 Сейчас в теме

Добрый день, получаю бесконечный цикл, соответственно не может завершиться менеджер потоков, что я могу упускать?

46. Техподдержка 28.03.19 09:28

(45)

соответственно не может завершиться менеджер потоков, что я могу упускать

Добрый день! Прошу прощения за задержку - был в отпуске.
Предоставленных данных не достаточно для однозначного ответа.

Дабы не загромождать форум - жду Вашего ответа в "личке"

47. izidakg 17.05.19 16:14 Сейчас в теме

что в архиве за 10 см, кроме файлов выложенных отдельно?

48. Техподдержка 20.05.19 09:46

(47) Конфигурация с общим модулем, где собственно и содержаться все методы для работы с менеджером потоков.

49. izidakg 20.05.19 11:20 Сейчас в теме

(48) развитие предполагается или только работа по оптимизации?

50. Техподдержка 20.05.19 12:15

(49) Идеи для развития еще есть.
Пока больше проблем со временем их реализации.

Но текущего функционала уже достаточно для многих задач

51. Ulus 26.06.19 04:24 Сейчас в теме

(50) выложите за стартмани пример, где вы в УПП партионку восстанавливаете через многопоточность.
Определенному кругу лиц полезно будет.

52. Техподдержка 26.06.19 10:08

(51) Выложить данный функционал хочу уже давно, вот только времени все "в кучу" собрать пока не получается :(
Очень надеюсь, что до ИС все же получиться провернуть данный вариант.

53. bashorgin 27.09.19 04:17 Сейчас в теме

Вы в версии 2.0.7 разделили модуль на 4 шт, а обработку с примерами забыли обновить. В ней теперь передача мутабельного на сервер происходит. Например, тут:
НоваяКоллекция = мпМенеджерПотоков.ДополнитьКоллекциюОбъектов(СтруктураПараметров, Коллекция);

54. Техподдержка 27.09.19 09:19

(53) Да, спасибо! поправлю..

56. oldy 09.09.20 15:00 Сейчас в теме

Подскажите, как средствами МП организовать индикацию хода выполнения? Вот прямо на форму, из которой выполнен запуск МП в несколько потоков, выводить либо общий по всем потокам процент выполнения, либо обновлять индикатор. Потупил какое-то время в документацию, но не увидел подходящего. Подробно не прошу объяснять, просто идею. Спасибо!

57. Техподдержка 09.09.20 15:53

(56) Добрый день.
На текущий момент данного функционала не предусмотрено. Есть идеи по реализации, но пока руки не доходят :(
Так же один из клиентов МП - данный функционал реализовал (https://infostart.ru/profile/890948/). Думаю он не откажет в помощи.

58. MURzzz 03.12.20 19:11 Сейчас в теме

В руководстве написано, что взаимодействие с платформой 1С:Предприятие для Windows. При использовании Linux, какие необходимо внести изменения в Менеджер потоков?

59. Техподдержка 04.12.20 09:06

(58) Добрый день!
Все ограничение завязано на имитацию метода "sleep" - реализовано через "WScript.Shell"

мпОбщееСервер.Ожидание()

61. MURzzz 04.12.20 11:51 Сейчас в теме

(59) понял, спасибо, попробую заменить на что-то подобное: http://forum.infostart.ru/forum9/topic182004/message2115568/#message2115568

63. Kembreg 14.05.21 15:49 Сейчас в теме

Добрый день.

Версия 2.1.0.1 (скачивали с другого аккаунта, ppeskov)

Есть ли какие то ограничения по месту вызова мпОсновнаяПрограммаВызовСервера.ИнициализироватьМенеджерПотоков(ПараметрыМП); ?

При размещении данного кода в модуле объекта в предопределенной процедуре ОбработкаПроведения инициализации не происходит, падает с ошибкой

Ошибка при выполнении обработчика - 'ОбработкаПроведения'
по причине:
{ОбщийМодуль.мпОбщееСервер.Модуль(133)}: "Менеджер потоков" - прервал выполнение
ВызватьИсключение ТекстСообщения;

ясности не прибавляет. Перенесли пока функционал в команду формы, работает без нареканий.

"Исторически так сложилось" что на основании табличной части документа в процессе проведения происходят "волшебные вещи", распараллеливание вашей конфигурацией творит в этом плане чудеса, хотелось бы все-таки попробовать перенести распараллеливание в проведение, не сильно при этом меняя текущую логику

64. Техподдержка 14.05.21 16:21

(63) Добрый день!
Правильно ли я понял, что вы хотите распараллелить проведение документа?
Боюсь не получиться, по крайне мере я не смог найти решение. Первое с чем Вы можете столкнуться при такой реализации – это взаимоблокировки, т.к. фоновые задания (потоки) генерируют другие транзакции.
На прошлой конференции ИС-2019, я общался с Дмитрием Дудиным (https://infostart.ru/profile/198214/) (он обмолвился, что знает, как распараллелить проведение). В кулуарах он мне пытался объяснить, но я его объяснение не осилил ☹, может вам повезет больше 😊.

По поводу ограничений… Ограничений быть не должно ни каких сверх того, что накладывает сама платформа 1С.
По поводу сообщения об ошибке. Что написано в журнале регистрации?
По поводу «волшебные вещи» и «чудеса» - о чем речь?

65. Kembreg 14.05.21 16:46 Сейчас в теме

(64)
В Журнале регистрации:

Фоновое задание. Запуск
Фоновое задание. Ошибка выполнения
{ОбщийМодуль.мпОбщееСервер.Модуль(133)}: Общий модуль "" не найден.
Сеанс. Завершение
Ошибка выполнения
{ОбщийМодуль.мпОбщееСервер.Модуль(133)}: "Менеджер потоков" - прервал выполнение

Нет, мы не планируем распараллеливать проведение документа. Данный документ у нас по сути выполняет функции Бизнес процесса, выполняет определенные действия над объектами, ссылки которых содержатся в табличной части в определенной последовательности, а флаг "проведён" устанавливается после успешного выполнения всех действий. И хотя данный функционал находится в обработке проведения, движений он не формирует, лишь свидетельствует об успешности. Для того чтобы избежать взаимоблокировок в процессе обработки объектов и используем вашу обработку, с табличной частью 3000 строк и более она дает отличные результаты ускорение в 3-4 раза, но пока не получается "последняя миля", место вызова

66. Техподдержка 17.05.21 09:47

(65) Да, вроде у меня ситуация тоже повторяется, при проведении. Как разберусь - сообщу...

67. Техподдержка 17.05.21 11:49

(65) В общем разобрался с причиной.

Причина в следующем: В момент проведения активна транзакция (самого документа), в механизме обмена данными между «Основной программой» / «Менеджером потоков» и «Потоками» участвует «ХранилищеОбщихНастроек», для согласованности обмена между ФЗ, чтение из хранилища идет в транзакции. Тут и происходит проблема, при проведении происходит инициализация параметров и их передача в ФЗ менеджера потоков, но он их прочитать из хранилища не может, т.к. на стороне «Основной программы» - обработки проведения транзакция не завершена.

Решение (кратко - см. скрины): инициализацию и запуск менеджера потоков необходимо выполнить в отдельном ФЗ.

Надеюсь такое решение не вписывается в "не сильно при этом меняя текущую логику"

68. Kembreg 17.05.21 12:53 Сейчас в теме

(67) Отличный вариант, благодарю

69. Техподдержка 17.05.21 14:12

(68) Данную особенность отразил в статье

70. Kembreg 20.05.21 14:58 Сейчас в теме

(67) Пробую реализовать данный вариант - столкнулся с тем, что при данном варианте теряется часть "Обратной связи". Например перестают отрабатывать Сообщения пользователю в фоновом задании. В соответствующем окошке тишина. При вызове Функции ПриОбработкеПотоком(пПараметрыСобытия) если перед возвратом указываем

То строка появляется только при "обычном" вызове из формы, если мы выносим многопоточность в отдельное фоновое задание из транзакции проведения, то в окне сообщений тишина.

Я правильно понимаю, что пока единственный вариант контроля за результатом в режиме запуска в транзакции проведения, это всё-таки использование коллекций с автосборкой и возвратом результатов работы в удобной форме, и мириться со взаимоблокировками ресурсов, не используя обработку объекта и функцию ПриРасчетеРесурсов? Или всё таки есть способ увидеть результаты по всем ФЗ после обработки всех потоков обработки объектов?

72. Техподдержка 20.05.21 17:24

(70) Ответ в (71) сообщении

71. Техподдержка 20.05.21 17:23

(70) Думаю что можно, но надо проверить. Необходимо реализовать по аналогии с текущим механизмом.
Ваши сообщения выводятся, но только в фоновом задании в котором происходит инициализация МП.

В приведенном выше примере показано помещение во временное хранилище "КоллекцияПриемник", туда можно поместить структура с 2 значениями, "КоллекцияПриемник" и "СообщениеПользователю"

СообщениеПользователю получить как описано в функции мпПотокиСервер.ПолучитьСообщениеДляПользователя()

И уже в своей программе после ожидания ФЗ получить структуру и вывести сообщение.

Надеюсь смог донести мысль. Если возникнут проблемы - постараюсь на днях накидать пример :)

73. RPGrigorev 23.11.21 15:45 Сейчас в теме

(71)Покупал сегодня утром обработку с профиля "Астрея", можно добавить проверку на ОС? И изменить алгоритм?

75. Техподдержка 23.11.21 16:26

Добрый день!
Ответ тут

74. RPGrigorev 23.11.21 15:46 Сейчас в теме

Как можно обойти это сейчас?

76. Техподдержка 23.11.21 16:28

(74) Можете написать свой метод задержки или закомментировать все тело процедуры.

77. RPGrigorev 23.11.21 17:53 Сейчас в теме

(76)Принял, спасибо

78. RPGrigorev 23.11.21 18:10 Сейчас в теме

(76)Клиент-сервер

79. RPGrigorev 23.11.21 18:28 Сейчас в теме

80. Техподдержка 23.11.21 19:15

(79) Что за база в которой выходит сообщение? Это база из поставки 1Cv8.cf, или это Ваша база куда Вы загрузили "Поставку"?

Работоспособность демо примеров просьба проверять на пустой базе из поставки 1Cv8.cf. При загрузки поставки в свою базу, часть объектов по умолчанию не переносятся (именно демо модули)

81. RPGrigorev 23.11.21 21:15 Сейчас в теме

(80) УПП 1.3, перенес все объекты из 1Cv8.cf, что самое интересное, демо примеры (обработки) отрабатывают, с точно таким же кодом инициализации...не отрабатывает вызов в модуле "ЗаполнениеДокументов", буду копать

82. RPGrigorev 23.11.21 22:36 Сейчас в теме

Первый день, пока не особо разобрался, что делаю не так, вызывается метод "ИнициализироватьМенеджерПотоков" и фоновые задания "бесконечно" (около часа наблюдал) бегают по процедурам и модулям, т.е. до точки останова дело даже не доходит, не выходит из процедуры этого метода...

83. RPGrigorev 04.03.22 01:12 Сейчас в теме

(82)Внедрил успешно подсистему, проблемный, долгий расчет себестоимости в УПП ускорен ~10 раз, очень ценный продукт, большое спасибо за труд, автор очень отзывчивый, всегда был рад помочь, за что отдельное спасибо, однозначно забрал данный продукт в свой арсенал, пригодится на крупных проектах, уже есть варианты, где буду дальше применять

84. Техподдержка 05.03.22 10:29

(83) Большое спасибо за отзыв!

85. UPKA 10.10.22 16:26 Сейчас в теме

Подскажите пример, как можно перепровести документы в потоке, с помощью данного решения? Спасибо

86. Техподдержка 10.10.22 16:45

(85)

Подскажите пример

"Менеджер потоков 2.1": УПП: "Восстановление партий"

94. alkar 14.11.22 17:16 Сейчас в теме

(93) Обязательно.

95. ndacoder 10.12.22 21:59 Сейчас в теме

можно получить предыдущую версию 2.0.7 с механизмом мониторинга, так разработка скоро как 2 года не обновляется

96. Техподдержка 12.12.22 10:06

(95) Добрый день!
Думаю не стоит заморачиваться с 2.0.7 - мониторинг там был до жути простой и не функциональный.
Сейчас идет разработка новой версии. Мониторинг там будет включен. В принципе он уже был реализован в версии 2.1.1, но увиденные проблемы с помощью мониторинга привели к разработке новой версии МП. Разработка идет как обычно, когда время находиться, но теперь более интенсивно чем ранее. Так же будет расширена функциональность, которой оказалось очень не хватало в МП в методе "ОбработатьОбъект".
В общем ждите новостей :)

98. ndacoder 02.08.23 08:29 Сейчас в теме

(96) Обновлений и новостей нет ?

99. Техподдержка 02.08.23 08:49

(98) Добрый день! Полной готовности пока нет. Основные механизмы реализованы, ведется рефакторинг кода, исправляются неточности и оптимизация скорости. Основная проблема с реализацией отсутствие свободного времени.