Многопоточная обработка данных на примере перепроведения документов

15.04.22

Разработка - Инструментарий разработчика

Дальнейшее развитие темы фоновой обработки данных - проведение документов в потоках. Настройка параметров и запуск основного процесса (менеджера потоков). Разбивка документов для проведения на не связанные друг с другом наборы и запуск дополнительных фоновых заданий для отдельных потоков. Отслеживание выполнения каждого потока в родительском сеансе.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование SM По подписке [?] Купить один файл
Перепроведение документов в потоках
.epf 14,01Kb
102
102
1 SM
Скачать Купить за 1 850 руб.

Предыдущая статья на тему фоновой обработки данных, в основном описывала механизм отслеживания выполнения процесса обработки. В этой статье я предлагаю Вашему вниманию дальнейшее ее развитие - многопоточную обработку данных на примере перепроведения документов. Фоновые процессы, также как и в первом варианте, запускаются из модуля внешней обработки, так что обработка должна быть добавлена через механизм дополнительных отчетов и обработок. Отслеживание процесса тоже присутствует, но оно не является главным предметом статьи.  

 

Общее описание механизма

Процесс начинается с запуска основного фонового задания (такой упрощенный менеджер потоков), в которое передаются все необходимые параметры. Далее формируется выборка объектов для обработки (документов). Выполняется обход выборки и выбирается первая порция документов (согласно переданному параметру «КоличествоДокументовВПорции»).

Затем происходит разбивка порции документов на независимые наборы, которые могут обрабатываться параллельно, не мешая друг другу. Именно этот момент самый интересный. 

Далее выполняется запуск необходимого количества потоков для обработки каждого набора документов (согласно переданному параметру «КоличествоПотоков»).

После запуска всех потоков, в цикле происходит получение состояния фоновых заданий потоков, принимаются сообщения и прогресс выполнения от фоновых заданий и перенаправляются основному сеансу для вывода пользователю.

После завершения выполнения всех фоновых заданий выбирается следующая порция документов, и так далее, пока не будут обработаны все документы.   

Самым интересным шагом в данной последовательности является деление выбранной порции на наборы не связанных друг с другом документов. Сразу оговорюсь, мой вариант не является окончательным. Он скорее показывает, как можно решить подобную задачу, и является плацдармом для дальнейшего развития механизма. На некоторых из тестируемых баз он позволяет создать достаточно ровную разбивку, на некоторых большая часть документов попадают в первый или во второй набор. Для реального проекта конечно следует использовать более сложную и «умную» разбивку.

Суть моей разбивки следующая. Не допускается попадание в разные наборы документов, которые создают движения по одним и тем же комбинациям измерений: номенклатура + характеристика + склад. Причем важны как приходные так и расходные документы, так как важно соблюсти последовательность проведения в рамках выше указанных измерений.

 

Сразу о минусах моей разбивки

  1. Разбивка выполняется по данным регистра «Товары организаций», следовательно, она актуальна только для конфигураций из семейства ЕРП (ЕРП, КА, УТ).
  2. В моем примере документы обязательно должны быть проведены, так как выборка формируется по данным регистра «Товары организаций» и используются элементы справочника «КлючиАналитикиУчетаНоменклатуры». Если исходные документы не проведены, выборку необходимо формировать другим способом.
  3. Учитываются только возможное пересечение товарного состава. Можно учитывать еще и пересечения по партнерам и договорам для документов закупки и реализации.
  4. Для определения зависимостей я использую элементы справочника «КлючиАналитикиУчетаНоменклатуры». В моем примере не ведется учет по сериям и обособленный учет товаров. Поэтому ключи аналитики как раз и являются объектами разделения по указанным выше измерениям. Если учет по сериям или обособленный учет присутствуют, ключи аналитики получаются с более детальной разбивкой, и опираться на них не совсем правильно. Регистр накопления «Свободные остатки», имеет среди измерений только: номенклатура, характеристика и склад. Если в разные наборы попадут документы с разными ключами аналитики, но с одинаковыми наборами измерений: номенклатура, характеристика и склад, будут возможны пересечения.

 

Реализация

Код модуля формы я приводить не будут, концептуально он не отличается от кода модуля формы из предыдущей статьи. В форме задается период и значения параметров: КоличествоДокументовВПорции, КоличествоПотоков. Также динамически создаются прогрессы выполнения отдельных потоков согласно параметру «КоличествоПотоков», для более удобного отслеживания выполнения. Прогрессы отображают состояния выполнения потоков и обрабатываемый документ в текущей порции. По состоянию общего (первого) прогресса можно судить об общем проценте выполнения задачи:

 

Процедуры модуля обработки

Не буду приводить код процедур: «СведенияОВнешнейОбработке»и «ВыполнитьКоманду». В них ничего особенного нет. Отмечу только, что относительно предыдущего варианта появилась дополнительная команда «ВыполнениеПотокаВФоне». Она необходимо для запуска отдельных потоков из основного фонового задания (менеджера потоков).

 

Точка входа основного фонового задания, это процедура «ВыполнитьПерепроведениеВПотоках»

Процедура ВыполнитьПерепроведениеВПотоках(ДатаНачала, ДатаОкончания, КоличествоПотоков, КоличествоДокументовВПорции)
	
    Запрос = новый Запрос("ВЫБРАТЬ
	|	КОЛИЧЕСТВО(РАЗЛИЧНЫЕ ТоварыОрганизаций.Регистратор) КАК ВсегоДокументов
	|ИЗ
	|	РегистрНакопления.ТоварыОрганизаций КАК ТоварыОрганизаций
	|ГДЕ
	|	ТоварыОрганизаций.Период >= &ДатаНачала
	|	И ТоварыОрганизаций.Период <= &ДатаОкончания
	|	И НЕ ТоварыОрганизаций.Регистратор ССЫЛКА Документ.ПередачаТоваровМеждуОрганизациями
	|;
	|
	|////////////////////////////////////////////////////////////////////////////////
	|ВЫБРАТЬ
	|	ТоварыОрганизаций.АналитикаУчетаНоменклатуры КАК Аналитика,
	|	ТоварыОрганизаций.Регистратор КАК Документ,
	|	ТоварыОрганизаций.Период КАК Период
	|ИЗ
	|	РегистрНакопления.ТоварыОрганизаций КАК ТоварыОрганизаций
	|ГДЕ
	|	ТоварыОрганизаций.Период >= &ДатаНачала
	|	И ТоварыОрганизаций.Период <= &ДатаОкончания
	|	И НЕ ТоварыОрганизаций.Регистратор ССЫЛКА Документ.ПередачаТоваровМеждуОрганизациями
	|
	|СГРУППИРОВАТЬ ПО
	|	ТоварыОрганизаций.АналитикаУчетаНоменклатуры,
	|	ТоварыОрганизаций.Регистратор,
	|	ТоварыОрганизаций.Период
	| УПОРЯДОЧИТЬ ПО
	|  Период,
	|  Документ");
	
    Запрос.УстановитьПараметр("ДатаНачала", НачалоДня(ДатаНачала));
    Запрос.УстановитьПараметр("ДатаОкончания", КонецДня(ДатаОкончания));

    Результат = Запрос.ВыполнитьПакет();
    Выборка = Результат[0].Выбрать();
    Выборка.Следующий();
    ВсегоДокументов = Выборка.ВсегоДокументов;
	
    ТЗСвязи = Результат[1].Выгрузить();

    //Новая таблица для данных текущей порции	
    ТЗСвязиВПорции = новый ТаблицаЗначений;
    ТЗСвязиВПорции.Колонки.Добавить("Аналитика", новый ОписаниеТипов("СправочникСсылка.КлючиАналитикиУчетаНоменклатуры"));
    ТЗСвязиВПорции.Колонки.Добавить("Документ");	
    ТЗСвязиВПорции.Колонки.Добавить("Период", новый ОписаниеТипов("Дата"));	
    ТЗСвязиВПорции.Колонки.Добавить("ЭтоПриход", новый ОписаниеТипов("ВидДвиженияНакопления"));	

    ДокументовВТекПорции = 0;
    ТекущийДокумент = Неопределено;
    НомерПорции = 0;

    Для каждого СтрокаСвязи Из ТЗСвязи Цикл
        
        Если ТекущийДокумент <> СтрокаСвязи.Документ Тогда
           
            //Если количество документов равно размеру порции, выполняем обработку данных
            Если ДокументовВТекПорции = КоличествоДокументовВПорции Тогда
                НомерПорции = НомерПорции + 1;
                ОбработатьПорциюДокументов(ТЗСвязиВПорции, КоличествоПотоков, ДокументовВТекПорции);
                ДлительныеОперации.СообщитьПрогресс(Формат(КоличествоДокументовВПорции*НомерПорции/ВсегоДокументов*100, "ЧЦ=3; ЧДЦ="), "Выполняется проведение документов, порция: "+Строка(НомерПорции+1));
                ТЗСвязиВПорции.Очистить();
                ДокументовВТекПорции = 0;
                ТекущийДокумент = Неопределено;
            КонецЕсли;
				
            ТекущийДокумент = СтрокаСвязи.Документ;
            ДокументовВТекПорции = ДокументовВТекПорции + 1;
        КонецЕсли;	
        
        НоваяСтрока = ТЗСвязиВПорции.Добавить();
        ЗаполнитьЗначенияСвойств(НоваяСтрока, СтрокаСвязи);

    КонецЦикла;

    //Обработка последней порции документов
    ОбработатьПорциюДокументов(ТЗСвязиВПорции, КоличествоПотоков, ДокументовВТекПорции);
	
КонецПроцедуры

В процедуре формируется выборка из регистра «Товары организаций» в разрезе регистраторов и ключей аналитики номенклатуры. Выполняется сортировка выборки по периоду и регистратору.  Далее происходит обход выборки и формирование новой таблицы значений «ТЗСвязиВПорции», в которую помещаются данные для текущей порции. Когда количество документов равняется параметру «КоличествоДокументовВПорции», вызывается процедура «ОбработатьПорциюДокументов». Затем обход продолжается и формируется следующая порция и так далее для всей исходной выборки.

Процедура ОбработатьПорциюДокументов(ТЗСвязиВПорции, КоличествоПотоков, ВсегоДокументов)
	
    ДанныеДляПотоков = новый Массив;
    СтрокаРаспределения = "";
    
    Для Поток = 1 По КоличествоПотоков Цикл
        СписокДокументов = ПолучитьДокументыДляПотока(ТЗСвязиВПорции, Поток=КоличествоПотоков,     ВсегоДокументов/КоличествоПотоков);
        СтруктураДокументов = новый Структура;
        СтруктураДокументов.Вставить("ИмяПотока", "Поток "+Строка(Поток));
        СтруктураДокументов.Вставить("Документы", СписокДокументов);
        ДанныеДляПотоков.Добавить(СтруктураДокументов);
		
        Если НЕ СтрокаРаспределения = "" Тогда
            СтрокаРаспределения = СтрокаРаспределения + "; ";
        КонецЕсли;
        СтрокаРаспределения = СтрокаРаспределения + "Поток "+Строка(Поток)+": "+СписокДокументов.Количество();
    КонецЦикла;
	
    Сообщить(СтрокаРаспределения);
    ЗапуститьВыполнениеВПотоках(ДанныеДляПотоков);
	   	
КонецПроцедуры

Для каждого потока выполняется вызов функции «ПолучитьДокументыДляПотока». Полученные данные помещаются в структуру. Формируется массив структур данных для выполнения в потоках. В информационных целях формируется строка распределения документов по потокам и отправляется основному сеансу. После того, как сформированы все данные вызывается процедура «ЗапуститьВыполнениеВПотоках» для запуска фоновых заданий.

Функция ПолучитьДокументыДляПотока(ТЗСвязи, ЭтоПоследнийПоток, КоличествоДокументовВПотоке)
	
    СписокДокументов = новый ТаблицаЗначений;
    СписокДокументов.Колонки.Добавить("Документ");	
    СписокДокументов.Колонки.Добавить("Период", новый ОписаниеТипов("Дата"));

    //Для последнего потока выбираются все оставщиеся документы	
    Если ЭтоПоследнийПоток Тогда
        СписокДокументов = ТЗСвязи.Скопировать();
        СписокДокументов.Свернуть("Документ,Период");
        Возврат СписокДокументов;
    КонецЕсли;	
	         	
    НомерЦепочкиДокументв = 0;
	
    Пока ИСТИНА Цикл
        Если СписокДокументов.Количество() > КоличествоДокументовВПотоке 
                 ИЛИ НомерЦепочкиДокументв = 1 И СписокДокументов.Количество()/КоличествоДокументовВПотоке > 0.7 
                 ИЛИ НомерЦепочкиДокументв = 2 И СписокДокументов.Количество()/КоличествоДокументовВПотоке > 0.80
                 ИЛИ НомерЦепочкиДокументв = 3 И СписокДокументов.Количество()/КоличествоДокументовВПотоке > 0.85 
                 ИЛИ НомерЦепочкиДокументв = 4 И СписокДокументов.Количество()/КоличествоДокументовВПотоке > 0.90 
                 ИЛИ НомерЦепочкиДокументв >= 5 И СписокДокументов.Количество()/КоличествоДокументовВПотоке > 0.95 Тогда
            Прервать;
        КонецЕсли;
		
        Если ТЗСвязи.Количество() > 0 Тогда
            
            //Выборка первого документа
            ПервыйДокумент = ТЗСвязи[0].Документ;
            НоваяСтрока = СписокДокументов.Добавить();
            НоваяСтрока.Документ = ТЗСвязи[0].Документ;
            НоваяСтрока.Период = ТЗСвязи[0].Период;
            ТЗСвязи.Удалить(ТЗСвязи[0]);
            
            //Поиск аналитик по документу 
            СтрокиДокумента = ТЗСвязи.НайтиСтроки(новый Структура("Документ", ПервыйДокумент));
            РекурсивныйПоискДокументов(СтрокиДокумента, СписокДокументов, ТЗСвязи);
        Иначе
            Прервать;
        КонецЕсли;	
		
        НомерЦепочкиДокументв = НомерЦепочкиДокументв + 1;
    КонецЦикла;

    Возврат СписокДокументов;
	
КонецФункции	


Процедура РекурсивныйПоискДокументов(СтрокиДокумента, СписокДокументов, ТЗСвязи)

    МассивАналитик = новый СписокЗначений;
    
    Для Каждого СтрокаДокумента Из СтрокиДокумента Цикл
        МассивАналитик.Добавить(СтрокаДокумента.Аналитика, СтрокаДокумента.ЭтоПриход);
        ТЗСвязи.Удалить(СтрокаДокумента);
    КонецЦикла;

    //Обход всех аналитик и поиск документов с этими аналитиками	
    Для Каждого Аналитика Из МассивАналитик Цикл

        ДокументыПоАналитики = ТЗСвязи.НайтиСтроки(новый Структура("Аналитика", Аналитика.Значение));
        Если ДокументыПоАналитики.Количество() = 0 Тогда
            Продолжить;
        КонецЕсли;	
		
        НайденныйСписокДокументов = новый Массив;
        
        //Обход всех документов и добавление их в набор	
        Для Каждого ДокументПоАналитике Из ДокументыПоАналитики Цикл
            Если  СписокДокументов.Найти(ДокументПоАналитике.Документ, "Документ") = Неопределено Тогда
                НайденныйСписокДокументов.Добавить(ДокументПоАналитике.Документ); 
                НоваяСтрока = СписокДокументов.Добавить();
                ЗаполнитьЗначенияСвойств(НоваяСтрока, ДокументПоАналитике); 
            КонецЕсли;
            ТЗСвязи.Удалить(ДокументПоАналитике);
        КонецЦикла;	
	
        //Рекурсивный вызов поиска для каждого найденного документа	
        Для Каждого ДокументПоАналитике Из НайденныйСписокДокументов Цикл
            СтрокиДокумента = ТЗСвязи.НайтиСтроки(новый Структура("Документ", ДокументПоАналитике));
            Если СтрокиДокумента.Количество() > 0 Тогда 
                РекурсивныйПоискДокументов(СтрокиДокумента, СписокДокументов, ТЗСвязи);
            КонецЕсли;
        КонецЦикла;
	
    КонецЦикла;

КонецПроцедуры

В этих двух процедурах происходит выборка набора связанных документов из порции. На самом деле, все очень просто.

Выбирается первый документ:

Документ записывается в список набора документов, строка удаляется из порции.

Выбираются аналитики учета по номенклатуре для выбранного документа:

Строки удаляются из порции.

Для каждой аналитики выбираются все документы, где они еще используются:

Документы записываются в список набора документов, найденные строки удаляются из порции.

Для каждого документа опять выбираются все аналитики учета по номенклатуре:

Происходит рекурсивный вызов процедуры «РекурсивныйПоискДокументов», и так далее. В итоге из порции выбираются все связанные друг с другом документы.

Далее, если количество документов в наборе меньше порогового значения, выбирается следующий документ, и строится цепочка зависимых от него. Пороговые значения я подобрал экспериментально, чтобы получить наиболее ровное разделение.

Для последнего потока выбираются все оставшиеся документы.

Процедура ЗапуститьВыполнениеВПотоках(ДанныеДляПотоков)
	
    МассивИДЗаданий = новый Массив;
	
    //Запуск потоков на выполнение и формирование массива идентификаторов запущенных потоков
    Для Каждого ДанныеДляПотока ИЗ ДанныеДляПотоков Цикл
        ПараметрыПроцедуры = Новый Структура("ДополнительнаяОбработкаСсылка, ИдентификаторКоманды, СтруктураДанных");
        ПараметрыПроцедуры.ДополнительнаяОбработкаСсылка = ДополнительнаяОбработкаСсылка;
        ПараметрыПроцедуры.ИдентификаторКоманды          = "ВыполнениеПотокаВФоне";
        ПараметрыПроцедуры.СтруктураДанных               = ДанныеДляПотока;
		
        НастройкиЗапуска = ДлительныеОперации.ПараметрыВыполненияВФоне(Новый УникальныйИдентификатор);
        НастройкиЗапуска.НаименованиеФоновогоЗадания = ДанныеДляПотока.ИмяПотока;
        НастройкиЗапуска.ОжидатьЗавершение = 0;
        Поток = ДлительныеОперации.ВыполнитьВФоне("ДополнительныеОтчетыИОбработки.ВыполнитьКоманду", ПараметрыПроцедуры, НастройкиЗапуска);
        МассивИДЗаданий.Добавить(Поток.ИдентификаторЗадания);
    КонецЦикла;
	
    //Проверка выполнения созданных фоновых заданий и перенаправление сообщений из потоков основному сеансу
    Пока Истина Цикл
        ВсеЗаданияВыполнены = Истина;
        ТекущийПоток = 0;
        
        Для Каждого ИдентификаторЗадания ИЗ МассивИДЗаданий Цикл
            ТекущийПоток = ТекущийПоток + 1;
            СостояниеЗадания = ДлительныеОперации.ОперацияВыполнена(ИдентификаторЗадания,, Истина, Истина);
            ЗавершитьЗадание = Ложь;
            
            //Проверка и перенаправление сообщений
            Если ТипЗнч(СостояниеЗадания.Сообщения) = Тип("ФиксированныйМассив") Тогда
                Для Каждого СтрокаСообщения Из СостояниеЗадания.Сообщения Цикл 
                    Если СтрНачинаетсяС(СтрокаСообщения.Текст, "{") Тогда
                    Иначе			
                        Сообщить("Поток "+ТекущийПоток+": "+СтрокаСообщения.Текст);
                        Если Лев(СтрокаСообщения.Текст, 6) = "Ошибка" Тогда
                            ЗавершитьЗадание = Истина;
                        КонецЕсли;	
                    КонецЕсли;
                КонецЦикла;
            КонецЕсли;
	
            //Проверка и перенаправление прогресса				
            Если ТипЗнч(СостояниеЗадания.Прогресс) = Тип("Структура") Тогда
                Если СостояниеЗадания.Прогресс.Свойство("Процент") ИЛИ СостояниеЗадания.Прогресс.Свойство("Текст") Тогда
                    ПроцентВыполнения = 0;
                    ТекстВыполнения = "";
                    Если СостояниеЗадания.Прогресс.Свойство("Процент") Тогда
                        ПроцентВыполнения = СостояниеЗадания.Прогресс.Процент;
                    КонецЕсли;
                    Если СостояниеЗадания.Прогресс.Свойство("Текст") Тогда
                        ТекстВыполнения = СостояниеЗадания.Прогресс.Текст;
                    КонецЕсли;	
                    Сообщить("["+ТекущийПоток+"]"+ПроцентВыполнения+"_"+ТекстВыполнения);
                КонецЕсли;
            КонецЕсли;

            Если СостояниеЗадания.Статус = "Выполняется" Тогда
                ВсеЗаданияВыполнены = Ложь;
            КонецЕсли;
			
            Если ЗавершитьЗадание Тогда
                ДлительныеОперации.ОтменитьВыполнениеЗадания(ИдентификаторЗадания);
            КонецЕсли;
        КонецЦикла;	
		
        Если ВсеЗаданияВыполнены Тогда
            Прервать;
        КонецЕсли;	
    КонецЦикла;	
	
КонецПроцедуры

В цикле происходит формирование и запуск фоновых заданий для каждого потока. В каждое фоновое задание передается сформированный ранее набор документов для обработки. Формируется массив с идентификаторами фоновых заданий.

Далее в цикле выполняется обход всех сформированных фоновых заданий. Проверяется состояние задания, выбираются сформированные сообщения и прогресс выполнения. Все данные передаются в основной сеанс. После завершения работы всех фоновых заданий, процедура завершает работу и происходит выборка новой порции документов.

Обратите внимание, данные о прогрессах выполнения потоков отправляются основному сеансу в виде сообщения определенной структуры. Прогресс отправлять нельзя, так как потоков много и будут теряться промежуточные значения.

Функция ПерепровестиДокументы(ДокументыДляПроведения)
	
    ТекущийДокумент = 0;
    ВсегоДокументов = ДокументыДляПроведения.Количество();
    ДлительныеОперации.СообщитьПрогресс(0, "");
    
    Для каждого СтрокаТЗ Из ДокументыДляПроведения Цикл
        ДокументОбъект = СтрокаТЗ.Документ.ПолучитьОбъект();
        Попытка
            ДокументОбъект.Записать(РежимЗаписиДокумента.Проведение);
        Исключение
            Сообщить("Ошибка проведения документа: " + СтрокаТЗ.Документ);
            Возврат Истина;
        КонецПопытки;
        ТекущийДокумент = ТекущийДокумент + 1;

        Если НЕ (ТекущийДокумент % 5) Тогда
            ДлительныеОперации.СообщитьПрогресс(Формат(ТекущийДокумент/ВсегоДокументов*100, "ЧЦ=3; ЧДЦ="), "Выполняется проведение документа: " + СтрокаТЗ.Документ);
        КонецЕсли;			
		
    КонецЦикла;
    
    ДлительныеОперации.СообщитьПрогресс(Формат(ТекущийДокумент/ВсегоДокументов*100, "ЧЦ=3; ЧДЦ="), "Выполняется проведение документа: " + СтрокаТЗ.Документ);
    Возврат Ложь;
	
КонецФункции  

В процедуре отдельного потока ничего не обычного нет. Происходит обход и проведение набора документов. После каждого пятого документа формируется прогресс выполнения, который будет обработан основным фоновым заданием (менеджером потоков). В случае ошибки формируется сообщения с указанием документа, в котором произошла ошибка.

Вот, собственно, и все основные механизмы. Обработка тестировалась на различных конфигурациях УТ 11.4 и ЕРП 2.4 на версии платформы 8.3.14.1630. В прикрепленных файлах внешняя обработка со всеми описанными механизмами.

Параметры: КоличествоПотоков и КоличествоДокументовВПорции необходимо подбирать экспериментально в зависимости от каждой конкретной базы и производительности сервера. Чем меньше порция, тем более ровную разбивку можно получить, но больше дополнительных затрат на создание фоновых заданий. Если в первый набор порции попадает больше трети всех документов, нет смысла разбивать порцию более, чем на три потока (все равно система будет ожидать выполнение первого потока).

Мне удавалось ускорить проведение в 2,5 раза при значении параметров:

  • КоличествоПотоков = 3
  • КоличествоДокументовВПорции = 50

 

Пишу на всякий случай. На файловых базах ничего работать не будет! Так как можно запустить одновременно только один дополнительный поток. Ну это наверно всем известно)).   

Ссылка на первую статью.

Вот ссылка на более серьезное и универсальное решения многопоточной обработки данных.

Спасибо за внимание, если есть вопросы или комментарии, пишите.

Всем, кто едет на конференцию INFOSTART EVENT 2019, желаю вынести как можно больше полезной информации. Ну и до встречи на конференции ))

фоновая обработка данных многопоточная отслеживание выполнения фоновых заданий

См. также

Инструментарий разработчика Роли и права Запросы СКД Программист Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

10000 руб.

02.09.2020    140754    772    391    

803

Пакетная печать Печатные формы Инструментарий разработчика Программист Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:Конвертация данных 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

18000 руб.

06.10.2023    11577    31    6    

61

Инструментарий разработчика Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Инструмент для написания и отладки кода в режиме «1С:Предприятие». Представляет собой консоль кода с возможностью пошаговой отладки, просмотра значений переменных любых типов, использования процедур и функций, просмотра стека вызовов, вычисления произвольных выражений на встроенном языке в контексте точки останова, синтаксического контроля и остановки по ошибке. В консоли используется удобный редактор кода с подсветкой, контекстной подсказкой, возможностью вызова конструкторов запроса и форматной строки.

5400 руб.

17.05.2024    13931    33    27    

75

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 руб.

10.11.2023    7302    27    4    

51

SALE! %

Инструментарий разработчика Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 2880 руб.

14.01.2013    181909    1104    0    

876

Инструментарий разработчика Программист 8.3.14 1С:Конвертация данных Россия Платные (руб)

Расширение для конфигурации “Конвертация данных 3”. Добавляет подсветку синтаксиса, детальную контекстную подсказку, глобальный поиск по коду.

15000 руб.

07.10.2021    15992    3    12    

39

Инструментарий разработчика Программист Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    101137    242    97    

303

Инструментарий разработчика Перенос данных 1C Программист Платформа 1С v8.3 Платные (руб)

В процессе работы в 1С часто возникает потребность получить данные из другой базы. Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение для 1С, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

2400 руб.

24.09.2019    24509    17    15    

34
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. VmvLer 17.09.19 17:16 Сейчас в теме
визуализация идей фоновых порций из закрытия месяца?

да, разбиение на "не связанные по движениям" порции самая важная идея.
думаю, на больших базах стабильное, хотя бы на 90%, решение найти не реально.
фоновые будут падать по блокировкам и пр.
dimkakopylow001; +1 Ответить
12. ids79 8443 19.09.19 17:31 Сейчас в теме
(1)Тут важен не размер базы, а разброс по номенклатуре и складам. Если в большинстве случаев используются разные товары или склады в разных документах, то и на большой базе будет нормальное распределение
2. nomad_irk 76 17.09.19 17:20 Сейчас в теме
Лично я пока не понимаю, зачем вообще заниматься ананперепроведением документов в свете использования РАУ различных вариаций или как оно сейчас там называется.......
Использование многопоточности - нужная штука, сам лично сделал формирование пакетов обмена таким способом, иначе очень уж медленно обмены происходили, особенно, если свершилось какое-то пакетное изменение данных, а сейчас - прям красота. :) Ессно прогрессов мне никаких отображать никому не надо.....
13. ids79 8443 19.09.19 17:34 Сейчас в теме
(2)Да, для обменов многопоточность - актуальная тема. Сейчас сам как раз занимаюсь реализацией обмена ED в многопоточном режиме. В данной статье перепроведение приведено просто как пример.
3. vik070777 294 17.09.19 17:57 Сейчас в теме
А можно прерывать выполнение отдельных потоков
4. nomad_irk 76 17.09.19 18:00 Сейчас в теме
(3)чисто теоретически можно. Для этого нужно знать GUID фонового процесса.
14. ids79 8443 19.09.19 17:37 Сейчас в теме
(3)Я ссылку привел в статье на менеджер потоков, там это реализовано. Как вариант можно передавать все идентификаторы отдельных потоков в родительский сеанс. Тогда можно будет отслеживать выполнение и закрывать.
vik070777; +1 Ответить
20. vik070777 294 19.09.19 22:29 Сейчас в теме
5. RustIG 1720 17.09.19 18:29 Сейчас в теме
(0)
Суть моей разбивки следующая. Не допускается попадание в разные наборы документов, которые создают движения по одним и тем же комбинациям измерений: номенклатура + характеристика + склад.


Есть объект метаданных Последовательность, для которой можно задать измерения Номенклатура, Харак-ка, Склад.
Платформа сама разобьет документы на непересекающиеся наборы.
15. ids79 8443 19.09.19 17:47 Сейчас в теме
(5)Да можно, но придется вносить изменения в типовую конфигурацию. Причем, если это разовая вещь, нужно будет убирать потом эти изменения. Это не удобно. Я использовал данный механизм для перепроведения документов с перезаполнением видов запасов. Для формирования корректных резервов по товарам организаций (необходимо для закрытия месяца, если часто отключается контроль остатков товаров организаций в течение работы). Вносить изменения в конфигурацию было нельзя.
6. aximo 2055 18.09.19 10:20 Сейчас в теме
Дмитрий, спасибо за статью! но как бороться с блокировками?

В большинстве случаев - используются документы "реализация, поступление, возвраты, формирование опзс, требования накладные" - они связаны мду собой....

и еще вопрос - почему использовалась 14-ая платформа? возможно ли реализовать что-то подобное на более низших версиях?
10. dimkakopylow001 7 18.09.19 14:55 Сейчас в теме
(6) Добавить измерения в последовательность
16. ids79 8443 19.09.19 17:51 Сейчас в теме
(6)По регистрам товаров как раз не должно быть блокировок с такой разбивкой. По регистрам расчетов, да могут быть, я писал об этом в статье.
Можно и на более ранних версиях, просто у маня 14-ая стоит )).
7. tolyan_ekb 105 18.09.19 10:36 Сейчас в теме
Можно этот механизм использовать при загрузке и проведении документов из сторонней БД?
17. ids79 8443 19.09.19 18:29 Сейчас в теме
(7)Можно конечно. Но в этом случае, механизм получения информации для проведения нужно изменить, так как документы не проведены будут.
8. maxx 995 18.09.19 11:23 Сейчас в теме
Идея интересная.

Не понял, только почему в запросе документе по дате сортируются, а дальше идёт обход таблицы результата запроса "
Для каждого
" - это возможная "дырка", что документы пойдут не в хронологическом порядке.

Что касается пула документов , то переводя на язык 1С:Бухгалтерии, то интересно в потоках проводить документы:
- отдельно по организациям
- отдельно по контрагентам

для этого больше используются журналы документов, критерии отбора, или запросы по этим признакам, и там нет необходимости искать рекурсивно, т.к. документ в журнале встречается один раз
ids79; dimkakopylow001; Fox-trot; +3 1 Ответить
18. ids79 8443 19.09.19 18:35 Сейчас в теме
(8)По первой части не понял, в каком случае может быть нарушена последовательность? Сортировка по дате и ссылке.

Для бухгалтерии удобнее всего по организациям разбивать, если их много. Если не менять конфигурацию.
21. aximo 2055 21.09.19 08:03 Сейчас в теме
(18) по опыту своему - интенсивные операции, даже непрерывное чтение - так же будут проблемой для возникновению блокировок, например расчет себестоимости в УПП (производство встанет) или даже расчет развернутого АВС анализа в УТ.

непонятно как можно избежать блокировок регистра "продажи", который подчинен куче разных документов, если честно
22. ids79 8443 21.09.19 11:06 Сейчас в теме
(21)Не знаю, возможно Вы используете автоматический режим блокировок.
Моя обработка для конфигураций семейства ЕРП. Никак не пойму в каких случаях может возникнуть блокировка по регистру "Выручка и себестоимость продаж"? Может быть я чего-то упустил, поясните.
23. aximo 2055 21.09.19 13:03 Сейчас в теме
(22) я не написал, что вы что-то упустили.

Разумеется, используется стандартный автоматический режим блокировок....

Блокировка(и) могут возникнуть в случае при расчете «себестоимости» (интенсивная запись в этот регистр) в остальные регистры будет проблемно сделать запись (даже «руками» - документом) - это мой практический опыт работы с упп 1.3 (порядка 800 гб база).

При запуске АВС анализа - УТ 11 (80 гб) так же идет интенсивное чтение по регистрам... так же «блокируется» на запись база.

Даже при банальном распроведении связанных по регистрам документов всегда возникает блокировки.... (удаление движений ут 10.3)

Для меня, если честно остается загадкой как избежать блокировок при запуске нескольких интернствных потоков...
25. ids79 8443 21.09.19 13:13 Сейчас в теме
(23)Ну с автоматическим режимом все понятно. В управляемом то не должно быть. Блокировка на чтение снимается после прочтения.

Я тестировал перепроведение. Не скажу, чтоб очень много, но блокировок не возникало. Попробуйте на большой базе прогнать. Только в управляемом режиме конечно.
30. DarkAn 1090 17.12.19 11:50 Сейчас в теме
Дмитрий, спасибо за статью, но есть замечания...

Далее выполняется запуск необходимого количества потоков для обработки каждого набора документов (согласно переданному параметру «КоличествоПотоков»)

На перезапуск потоков уходит достаточно много времени (но это уже к оптимизации), но может быть существенно по ряду причин:
* при больших базах с большим составом ТЧ в документе, может получиться так, что в потоки будут отправляться по 1 документу

**************************************************************************
Кроме того, есть ошибка со сборкой документов для потоков, а именно в процедуре РекурсивныйПоискДокументов (т.к. используется поиск в глубину)
Приведу пример:

У нас есть последловательностьи такая:
Док1 с Аналитикой "А"
Док2 с Аналитикой "Б"
Док3 с Аналитикой "А" и с Аналитикой "Б"

РекурсивныйПоискДокументов соберет документы в такой последовательности:
Док1, Док3, Док2, что не соответствует действительности

**************************************************************************
Так же, будет проблема если в выборку попадут документы такой связи см. скрин (стрелки это зависимости по Аналитике):
Они все пойдут в один поток, хотя видно, что на некоторых шагах хорошо бы производить запуск в несколько потоков.

**************************************************************************
И еще проблема с Процедурой "ОбработатьПорциюДокументов"

в цикле нет досрочного выхода если ТЗСвязиВПорции очистилась
"Для Поток = 1 По КоличествоПотоков Цикл"

что приведет к тому, что будут запущены потоки с пустым списком документов (документы оказались сильно связаны, т.е. во всех документа используется одни и та же аналитика)

**************************************************************************
В процедуре формируется выборка из регистра «Товары организаций» в разрезе регистраторов и ключей аналитики номенклатуры. Выполняется сортировка выборки по периоду и регистратору.
Об этом упомянул Максим Гончаров в (8)
Сортировку надо делать по МоментВремени. т.к. в конце месяца множество документов может находится на последней секунде
Прикрепленные файлы:
31. DarkAn 1090 17.12.19 13:43 Сейчас в теме
(30)
В процедуре формируется выборка из регистра «Товары организаций» в разрезе регистраторов и ключей аналитики номенклатуры. Выполняется сортировка выборки по периоду и регистратору.
Об этом упомянул Максим Гончаров в (8)
Сортировку надо делать по МоментВремени. т.к. в конце месяца множество документов может находится на последней секунде


Тут я ошибся, Момент времени тут тоже не поможет, только последовательность
33. ids79 8443 23.12.19 08:36 Сейчас в теме
(31)А разве сортировка по периоду и документу не дает нам однозначную последовательность?
34. DarkAn 1090 23.12.19 09:16 Сейчас в теме
(33) Нет, не даст, если документы будут в пределах 1 секунды.

При сортировке по дате + ссылка, если мне не изменяет память документы одного типа будут располагаться рядом друг с другом, например:
Пользователь вводит: Приход, Расход, Приход, Расход
При сортировке: будет Приход, Приход, Расход, Расход или Расход, Расход, Приход, Приход (но могу ошибаться, когда то при тестах - получал такую картину)

вот тут: Как формируется GUID? автор пишет:
Но у гуидов есть же последовательность? Что-то там про МоментВремени?
Да сколько можно? Нет у гуидов последовательности! Кто первый запросил - тому и выдается пул. А когда уж сеанс его исчерпает - зависит от него самого. Читаем подробнее про эксперимент с МоментомВремени.
//infostart.ru/public/84177/
36. ids79 8443 24.12.19 10:17 Сейчас в теме
(34) Все, что Вы пишете правильно. Я не проверял, но должно быть именно так.
Но это не отменяет того, о чем я говорю.
Последовательность в любом случае будет однозначной. То-есть, во всех выборках будет одной и той же. Не смотря на то, что она не будет соответствовать реальной последовательности ввода документов.
Не понимаю, чем в этом случае может помочь последовательность...
При первичном вводе, да, документы выстроятся правильно. Но при восстановлении последовательности они же опять будут отсортированы по моменту времени?
Или я что-то не до понимаю...
37. DarkAn 1090 24.12.19 11:38 Сейчас в теме
(36)
При первичном вводе, да, документы выстроятся правильно. Но при восстановлении последовательности они же опять будут отсортированы по моменту времени?


Вот тут как раз и есть разница, что при использовании последовательности, и выборке данных из нее данные будут соответствовать порядку ввода.

Скрины результатов приложил.
При выполнении запроса к последовательности документы идут в перемешку (Требование, пермещение, Расчет себестоимости, списание, опять Требование)

А при выборке с сортировкой по моменту времени (тот же период, но взял только 2 вида документов) видно, что сначала идут Перемещения, потом Требования, внутри документы ни где друг с другом не перемешиваются.

Запрос на выборку из последовательности
ВЫБРАТЬ
	ПартионныйУчетБУ.Период,
	ПартионныйУчетБУ.МоментВремени,
	ПартионныйУчетБУ.Регистратор
ИЗ
	Последовательность.ПартионныйУчетБУ КАК ПартионныйУчетБУ
ГДЕ
	ПартионныйУчетБУ.Период МЕЖДУ &Период1 И &Период2
Показать


Запрос на выборку с сортировкой по моменту времени
ВЫБРАТЬ
	ТребованиеНакладная.Ссылка,
	ТребованиеНакладная.МоментВремени
ПОМЕСТИТЬ ВТ_Док
ИЗ
	Документ.ТребованиеНакладная КАК ТребованиеНакладная
ГДЕ
	ТребованиеНакладная.Проведен
	И ТребованиеНакладная.Дата МЕЖДУ &Период1 И &Период2

ОБЪЕДИНИТЬ ВСЕ

ВЫБРАТЬ
	ПеремещениеТоваров.Ссылка,
	ПеремещениеТоваров.МоментВремени
ИЗ
	Документ.ПеремещениеТоваров КАК ПеремещениеТоваров
ГДЕ
	ПеремещениеТоваров.Проведен
	И ПеремещениеТоваров.Дата МЕЖДУ &Период1 И &Период2
;

////////////////////////////////////////////////////////////­////////////////////
ВЫБРАТЬ
	ВТ_Док.Ссылка,
	ВТ_Док.МоментВремени КАК МоментВремени
ИЗ
	ВТ_Док КАК ВТ_Док

УПОРЯДОЧИТЬ ПО
	МоментВремени
Показать
Прикрепленные файлы:
38. ids79 8443 24.12.19 12:11 Сейчас в теме
(37)При восстановлении последовательности тоже в таком же порядке документы получается, проверяли?
Если так, то да, Вы правы. Значит в объекте Последовательность храниться дополнительная информация о начальной последовательности документов.
39. DarkAn 1090 24.12.19 13:02 Сейчас в теме
Сегодня постараюсь проверить...
40. DarkAn 1090 25.12.19 09:52 Сейчас в теме
(38) Посмотрел в УПП 1.3
При восстановлении последовательности партий хоть и используется последовательность, но выборка документов из нее происходит запросом (УправлениеЗапасамиПартионныйУчет.ПолучитьСписокДокументовПоПоследовательности) с сортировкой по
|УПОРЯДОЧИТЬ ПО
|	ТаблицаПоследовательности.Период,
|	ТаблицаПоследовательности.Регистратор";

Что в итоге приводит в выборке документов группами без перемешивания по типу (выборку тоже проверил).

PS. Видимо в данном случае "Последовательность" используется, как общая таблица для разных видов документов (для упрощения запроса, чтоб не делать через ОБЪЕДИНИТЬ с кучей таблиц), ну и так же для пользователя в рамках секунды он все равно не может управлять порядком документов.

Но думаю последовательность в своем истинном проявлении может иметь место в механизмах фиксации событий, где действительно важно строгое соблюдение порядка

PSS В итоге получается очень интересная картина.
Последовательность, как один из самых тормозных механизмов в 1С не используется по своему прямому назначению.
Для выборки запросом, показанной выше,можно было использовать другие механизмы с меньшими тормозами.

Супер просто!!!
smartcoder; ids79; +2 Ответить
41. ids79 8443 25.12.19 11:05 Сейчас в теме
(40)Интересное наблюдение, спасибо.
А все-таки можно ли как-то выбрать документы из последовательности для ее восстановления именно с первичной их сортировкой?
42. DarkAn 1090 25.12.19 11:14 Сейчас в теме
(41) Выборка без сортировки???
Опять же надо тестировать (Думаю как было показано в (37)).

Но тут тоже есть вопрос, как расположить документ если он не создан по порядку, а перемещен из другого времени.

23:59:58 Док 1
23:59:59 Док 2
23:59:59 Док 3
23:59:59 Док 4

И вот надо мне переместить документ Док 1 в 23:59:59 - куда он встанет???
43. DarkAn 1090 25.12.19 11:16 Сейчас в теме
(42) Думаю (мои домыслы), что последовательность четко фиксирует события при первом возникновении (тогда выборка без сортировки), но не при перемещении во времени возникает вопрос (см. выше). Опять же надо тестировать.
44. ids79 8443 25.12.19 15:00 Сейчас в теме
(43)На сколько я помню, перемещенный документ встает последним в секунде, куда он перемещен.
45. DarkAn 1090 25.12.19 15:29 Сейчас в теме
(44)
олько я помню, перемещенный документ встает последним в секунде, куда он перемещен.

Последним встает где? В списке документов? В последовательности? или везде?
А если документ переместить из текущего времени и вернуть туда же, он будет на том же месте? или будет уже в конце?
46. ids79 8443 25.12.19 19:04 Сейчас в теме
(45) Получается, что только в последовательности. В остальных случаях будет сортировка по типам документов.
Если вернуть обратно, должен последнем стать. Но нужно проверять.
32. ids79 8443 23.12.19 08:33 Сейчас в теме
(30)Спасибо за замечанию.
Я представил возможный вариант реализации (прототип). Конечно для рабочего варианта, он требует оптимизации и доработки различных нюансов.
9. maxx 995 18.09.19 13:27 Сейчас в теме
Еще вопрос можно ли как-то оценить время выполнения после запуска в потоках?

Когда идёт обычное проведение вычисляется среднее выполнение проведения документов и делается примерная оценка, когда всё закончит проводится, т.е. ждать 30 минут или 3 часа. А здесь как?
ids79; dimkakopylow001; +2 Ответить
11. dimkakopylow001 7 18.09.19 14:58 Сейчас в теме
(9) на разном железе разный результат будет
можно запустить 3 потока, они отработают быстрее чем 10.
19. ids79 8443 19.09.19 18:37 Сейчас в теме
(9)На счет предварительной оценки времени не думал. Тема интересная. Да, в данном случае оценить будет значительно сложнее.
От железа также будет сильно зависеть.
24. aximo 2055 21.09.19 13:08 Сейчас в теме
Здесь правильно написали, что сейчас эффективность зависит от железа... хорошее железо будет в разы эффективнее любой оптимизации, что и подтвердилось моим опытом, при срезе базы в 2014 и 2018 г!
26. ids79 8443 21.09.19 13:14 Сейчас в теме
(24)Да, от железа много зависит.
Особенно при многопоточной обработке.
29. DarkAn 1090 17.12.19 11:45 Сейчас в теме
(24)
хорошее железо будет в разы эффективнее любой оптимизации

Что за бред?
А что делать если уже стоит ТОПОВОЕ железо? и быстрее на рынке ну просто ни чего нет? А добавление/удаление/исправление пары строк кода может ускорить работу в РАЗЫ

Добавил условие в запрос и уже для выборки не весь регистр считывается, а только часть (Забыли поставить условие на первое измерение в регистре, или например не поставили галочку "индексировать").

Кроме того не у всех есть ресурсы для апгрейда сервера, а грамотный специалист может ускорить за меньшие деньги.

P.S. все выше сказанное конечно не отменяет того, что железо должно быть достойно, просто хотел сказать, что железо не все может решить.
27. acanta 25.09.19 14:08 Сейчас в теме
Была замужем замечена некоторая странность, когда при одновременном монопольном проведении в двух разных ИБ, проведение ускорялось в 4-10 раз в каждой базе. Но такие чудеса теоретически могут объясняться например недонастройками в биосе или кэшированием. Проводить в одной базе разные фирмы параллельно не успела попробовать.
28. PowerBoy 3379 09.10.19 13:55 Сейчас в теме
Для экспериментов с многопоточностью и распределению потоков для различных операций с данными, не только проведение, пока есть только одна внешняя обработка, других не нашел, это PowerTools.
35. acanta 23.12.19 09:23 Сейчас в теме
Это потому что в ссылке первыми символами идёт тип метаданного, а затем двоеточие и собственно гуид?
Оставьте свое сообщение