Как ускорить 1С – Многопоточная обработка данных

Публикация № 306865 17.10.14

База данных - HighLoad оптимизация

Ускорение Производительность Запросы Оптимизация Курсы Обучение Курсы-по-1С.рф Гилев Насипов Spec8.ru Spec8 NasF

Чем будет для Вас полезна эта статья:

• Вы изучите варианты ускорения операций обработки данных
• Научитесь запускать в «1С:Предприятие 8» несколько потоков
• Узнаете об ограничениях многопоточного режима в 1С

 

Периодически возникает необходимость в ускорении некоторых участков кода, в которых при беглом ознакомлении нет потенциала для ускорения.

Рассмотрим в качестве примера выгрузку и/или загрузку большого количества данных.

В данном случае «планкой производительности» зачастую выступает непосредственно производительность аппаратных средств. При этом сами процедуры загрузки-выгрузки выполняются достаточно длительное время, часто измеряемое в часах.

Не все знают, что в платформе «1С: Предприятие 8» часть операций можно выполнять параллельно, путем одновременного выполнения в несколько потоков.

Такая многопоточная обработка вполне применима в случае, когда нужно обработать независимые блоки данных. В частности, создать большой объем элементов данных, осуществить проведение документов, не пересекающихся по значениям набора измерений, сделать массовое обновление элементов справочников, выполнить загрузку данных в регистры и т.д. Для примера рассмотрим задачу: необходимо провести обновление реквизита «Цена» для всех элементов справочника «Товары». Количество элементов справочника «Товары» равно 100 000. Самым простым и очевидным решением выступает нижеприведенный код обработки, который быстро пишется, но при этом очень долго работает: 

 

&НаСервере

Процедура ОбновитьЦену()

ВремяНачала = ТекущаяДата();


Запрос = Новый Запрос;

Запрос.Текст =

"ВЫБРАТЬ

| Товары.Ссылка

|ИЗ

| Справочник.Товары КАК Товары";


ТаблицаТоваров = Запрос.Выполнить().Выгрузить();


Наценка = 1.10;


Для каждого ТекСторока Из ТаблицаТоваров Цикл

ТоварОбъект = ТекСторока.Ссылка.ПолучитьОбъект();

ТоварОбъект.Цена = ТоварОбъект.Цена*Наценка;

ТоварОбъект.Записать();

КонецЦикла;


Длительность = ТекущаяДата()-ВремяНачала;


Сообщить("Длительность: " + Длительность + " сек.");


КонецПроцедуры

 

В нашем случае обработка выполнялась 1 187 секунд или 19,7 минуты. Теперь воспользуемся многопоточным выполнением программного кода. Перепишем код обработки следующим образом: 


&НаСервере

Процедура ОбновитьЦену()


ВремяНачала = ТекущаяДата();


Запрос = Новый Запрос;

Запрос.Текст =

"ВЫБРАТЬ

| Товары.Ссылка

|ИЗ

| Справочник.Товары КАК Товары";

ТаблицаТоваров = Запрос.Выполнить().Выгрузить();


// определяем максимальное количество потоков

ЧислоПотоков = 8;


ЧислоСтрокВТаблице = ТаблицаТоваров.Количество();


// объем порции данных для обработки каждым потоком

РазмерПорции = Цел(ЧислоСтрокаВТаблице/ЧислоПотоков);


// массив, где будут храниться фоновые задания

МассивЗаданий = НовыйМассив;


Для НомерПотока = 1 По ЧислоПотоков Цикл


// определяем индекс для начала обработки данных данным потоком

// разные потоки обрабатывают разные части таблицы

ИндексНачала = (НомерПотока - 1)*РазмерПорции;


Если (НомерПотока = ЧислоПотоков) Тогда

// если это последний поток, то он обрабатывает все оставшиеся данные

// т.к. число потоков может не быть кратно количеству строк в таблице

РазмерПорции = ЧислоСтрокВТаблице -(ЧислоПотоков*РазмерПорции)+РазмерПорции;

КонецЕсли;


// определяем массив параметров для процедуры

НаборПараметров = Новый Массив;

НаборПараметров.Добавить(ТаблицаТоваров);

НаборПараметров.Добавить(ИндексНачала);

НаборПараметров.Добавить(РазмерПорции);


// запуск фонового задания

Задание = ФоновыеЗадания.Выполнить("ОбщийМодуль1.ОбновитьЦенуТовара", НаборПараметров);


// добавляем задание в массив, чтобы потом отследить выполнение

МассивЗаданий.Добавить(Задание);


КонецЦикла;


// проверим результат выполнения фоновых заданий

Если МассивЗаданий.Количество() > 0 Тогда

Попытка

ФоновыеЗадания.ОжидатьЗавершения(МассивЗаданий);

Исключение

// действия в случае ошибки

КонецПопытки;

КонецЕсли;


Длительность = ТекущаяДата()-ВремяНачала;


Сообщить("Длительность: " + Длительность + "сек.");


КонецПроцедуры

 

Процедура ОбновитьЦенуТовара (ТаблицаТоваров,ИндексНачала,РазмерПорции) Экспорт


Наценка = 1.10; // наценка 10%


// обновляем цену только для определенной части таблицы

Для Сч = 1 По РазмерПорцииЦикл

Индекс = ?(Сч=1,ИндексНачала,Индекс+1);

ТоварОбъект = ТаблицаТоваров[Индекс].Ссылка.ПолучитьОбъект();

ТоварОбъект.Цена = ТоварОбъект.Цена * Наценка;

ТоварОбъект.Записать();

КонецЦикла;

КонецПроцедуры

 

В нашем случае использовалось восемь потоков, обновление цен было выполнено за 859 секунд или 14,3 минуты.

То есть обработка одной и той же Таблицы Значений параллельно разными потоками приводит к выигрышу в скорости.

Код выполнялся на виртуальной машине с одним процессором без RAID массивов. На реальном и хорошем «железе» выигрыш в скорости будет существенно больше.

Заметим, что данную задачу можно решить по-другому, мы привели лишь один пример реализации.

Важно! Не нужно устанавливать слишком большое количество потоков, так как большого прироста скорости вы от этого все равно не получите, а стабильность работы может нарушиться.

Наилучшим будет использование 8-10 потоков, а их оптимальное количество можно определить экспериментально. Попробуйте самостоятельно провести эксперимент, база и обработки в приложении к статье.

 


 Бурмистров Андрей

 

Другие полезные статьи и видео смотрите на нашем сайте: http://

Скачать файлы

Наименование Файл Версия Размер
Как ускорить 1С – Многопоточная обработка данных

.pdf 492,01Kb
19
.pdf 492,01Kb 19 Скачать
Multitasking.zip

.zip 169,31Kb
17
.zip 169,31Kb 17 Скачать

Специальные предложения

Автор запретил комментарии

См. также

Многопоточное выполнение процедуры с помощью ДлительныеОперации

БСП (Библиотека стандартных подсистем) Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

В публикации: Приведен шаблон для запуска многопоточной операции для различных вариантов размещения многопоточной операции, в том числе в модуле объекта внешней обработки, встроенной в справочник Дополнительные отчеты и обработки; Представлен вариант корректного отображения прогресса многопоточной операции; Приведены замеры, демонстрирующие целесообразность использования нового механизма для увеличения производительности.

1 стартмани

26.02.2023    4516    egoriy111    24    

68

Выполнение произвольного кода с регулируемым количеством потоков от 1 до 64

Обработка документов Универсальные обработки Обработка справочников Управляемые формы 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Абонемент ($m)

Данную обработку можно использовать для изменения документов, справочников и других элементов с использованием до 64 ядер процессора. Увеличение скорости выполнения операций с базой 1С, между 1 потоком и 40, составляет 437%.

1 стартмани

10.09.2018    13877    26    romanpl777    22    

13

Приемы обработки больших данных в 1С

Универсальные обработки Математика и алгоритмы Обмен между базами 1C Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Рассказ об эффективных приемах организации обработок больших объемов данных на платформе 1С

07.08.2015    75484    tormozit    29    

290