Многопоточность
База данных - HighLoad оптимизация
Добрый день, коллеги.
Небольшая статейка и готовое решение для внедрения в свою конфигурацию.
Введение
Вот, сколько я проработал и не разу всерьез не задумывался о многопоточности, пока не начал работу над проектом "Классификатор адресов Украины". При работе в рамках этого проекта столкнулся с необходимость загрузки большого объема данных в конфигурацию, а точнее - необходимо было создать множество элементов в разных справочниках, счет шел на 10-ки а то и 100-ни тысяч элементов...
И как бы меня стало очень сильно "напрягать" продолжительная загрузка данных в рамках тестирования. Ну, что же теперь? Решил поискать в "интернетах", и к сожалению, нашел только старые статьи(но по большому счету ничего с тех времен не изменилось). Да и готового, качественного решения не нашел, пришлось писать самому. И к моему удивлению, скорость загрузки я смог увеличить в 20 раз, благодаря элементарному коду... Какой же глупый я был)
НО ускорения в 20 раз я добился только на сервере, на своей печатной машинке, ускорение было всего 2 раза, при использовании 2 потоков, использовать больше не рекомендую, т.к. особого эффекта от этого не будет. Результат тестов прилагаю.
Ну, как говорится, "погнали".
Внедрение
1. Создаем общий модуль(серверный), называем его "Многопоточность".
2. Копируем в него ниже изложенный код:
#Область ПрограммныйИнтерфейс
// Запускается выполнение указанной процедуры в много поточном режиме
//
// Параметры:
// ИмяПроцедуры - Строка - имя экспортной процедуры общего модуля или модуля менеджера объекта,
// которую необходимо выполнить в фоне (ЭкспортнаяПроцедура).
// Например, "МойОбщийМодуль.МояПроцедура", "Документы.МойДокумент.МояПроцедура".
// У процедуры должен быть один формальный параметр:
// * ПараметрыЭкспортнойПроцедуры - Произвольный - произвольные параметры ПараметрыЭкспортнойПроцедуры;
// СписокДанных - Массив - массив данных, которые будут разделены на части и переданы процедуру,
// которая указа в параметре "ИмяПроцедуры".
// КоличествоПотоков - Число - количество потоков на которое необходимо разделить обработку СпискаДанных,
// значение по умолчанию равно 2.
// Ожидание - Булево - признак указывающий на необходимость ожидания выполнения всех фоновых заданий,
// Истина - ожидать пока выполнятся все задания и потом возвращать управление в вызываемый код,
// Ложь - возвращать управление в вызываемый код сразу после создания всех заданий.
//
// Возвращаемое значение:
// <Отсутствует> -
//
// Варианты вызова:
// Запустить(ИмяПроцедуры, СписокДанных) -
//
Функция Запустить(Знач ИмяПроцедуры, Знач СписокДанных, Знач КоличествоПотоков = Неопределено, Знач Ожидание = Истина) Экспорт
// Отладка.
//ИмяПроцедуры = "";
//СписокДанных = Новый Массив;
// Расчеты основных параметров для распределения потоков.
КоличествоДанных = СписокДанных.Количество();
КоличествоПотоков = РассчитатьКоличествоПотоков(КоличествоДанных, КоличествоПотоков);
РазмерПорции = РассчитатьРазмерПорции(КоличествоДанных, КоличествоПотоков);
//
СписокФоновыхЗаданий = Новый Массив;
// Создание порций данных и запуск выполнения в фоне "ЭкспортнаяПроцедура".
Данные = Новый Массив;
Для Каждого Элемент Из СписокДанных Цикл
// Добавление данных в порцию.
Данные.Добавить(Элемент);
// Проверка размера порции и при достижении рассчитаного размера,
// запуск выполнения в фоне "ЭкспортнаяПроцедура".
Если Данные.Количество() = РазмерПорции Тогда
ЗапуститьВФоне(ИмяПроцедуры, Данные, СписокФоновыхЗаданий);
КонецЕсли;
КонецЦикла;
// Проверка остатка данных,
// при необходимости выполнение "ЭкспортнаяПроцедура" с остатком данных,
// количество которых меньше рассчитаного размера порции.
Если Данные.Количество() > 0 Тогда
ЗапуститьВФоне(ИмяПроцедуры, Данные, СписокФоновыхЗаданий);
КонецЕсли;
// Ожидание при необходимости и задержка передачи управления в вызываемый код.
Если Ожидание Тогда
ФоновыеЗадания.ОжидатьЗавершенияВыполнения(СписокФоновыхЗаданий);
КонецЕсли;
КонецФункции // Запустить()
#КонецОбласти
#Область СлужебныйПрограммныйИнтерфейс
Функция ЗапуститьВФоне(ИмяПроцедуры, СписокДанных, СписокФоновыхЗаданий)
Параметры = Новый Массив;
Параметры.Добавить(СписокДанных);
СписокФоновыхЗаданий.Добавить(
ФоновыеЗадания.Выполнить(ИмяПроцедуры, Параметры));
СписокДанных.Очистить();
КонецФункции // ЗапуститьВФоне()
#КонецОбласти
#Область СлужебныеПроцедурыИФункции
Функция РассчитатьРазмерПорции(КоличествоДанных, КоличествоПотоков)
Возврат Цел(КоличествоДанных / КоличествоПотоков);
КонецФункции // РассчитатьРазмерПорции()
Функция РассчитатьКоличествоПотоков(КоличествоДанных, КоличествоПотоков)
Возврат ?(КоличествоПотоков <> Неопределено, КоличествоПотоков, 2)
КонецФункции // РассчитатьКоличествоПотоков()
#КонецОбласти
В коде прописал комментарии, так, что думаю, при внимательном чтении проблем возникнуть не должно.
3. Начинаем наслаждаться и использовать.
Использование
Теперь в любом серверном методе вам необходимо всего лишь вызвать функцию Запустить нашего созданного общего модуля Многопоточность.
Пример вызова:
Многопоточность.Запустить("КлассификаторАдресовУкраины.ЗагрузитьРайоныКОАТУУ", СписокРайонов, 10);
где:
- КлассификаторАдресовУкраины - это общий модуль(серверный)
- ЗагрузитьРайоныКОАТУУ - это экспортная процедура модуля КлассификаторАдресовУкраины
- СписокРайонов - массив данных, а в массиве у меня лично элементы с типом - Структура
- 10 - количество потоков.
Пример реализации процедуры, которою будем вызывать:
Процедура ЗагрузитьРегионыКОАТУУ(СписокДанных) Экспорт
Для Каждого Элемент Из СписокДанных Цикл
// траляля
КонецЦикла;
КонецПроцедуры // ЗагрузитьРегионыКОАТУУ
В этой процедуре в параметр попадает часть(кусок) данных из тех данных которые мы передали в функцию Многопоточность.Запустить()
Заключение
Вот собственно и все, надеюсь, все доступно объяснил, у кого есть предложения по улучшению - предлагайте. Буду рад!)
З.Ы. Использую функции, а не процедуры, т.к. планирую что-то доработать, а что, еще не придумал)))
Вступайте в нашу телеграмм-группу Инфостарт
Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».
- 0% комиссии — оплата напрямую исполнителю;
- Исполнители любого масштаба — от отдельных специалистов до команд под проект;
- Прямой обмен контактами между заказчиком и исполнителем;
- Безопасная сделка — при необходимости;
- Рейтинги, кейсы и прозрачная система откликов.
См. также
HighLoad оптимизация Разработчик 1С 8.3 1С:ERP Управление предприятием 2 Бесплатно (free)
Использование оператора «В» для полей или данных составного типа (например, Регистратор) может приводить к неочевидным проблемам.
10.11.2025 16091 ivanov660 48
HighLoad оптимизация Разработчик 1С:Предприятие 8 1C:ERP Бесплатно (free)
Приведем примеры использования различных в динамических списках и посмотрим, почему это плохо.
18.02.2025 16630 ivanov660 39
HighLoad оптимизация Системный администратор Разработчик 1C:ERP Бесплатно (free)
Не всегда индексирование с дополнительным упорядочиванием полезно.
04.02.2025 15289 ivanov660 21
HighLoad оптимизация Разработчик Россия Бесплатно (free)
А вы знали, что сервер 1С при соединении с базой на сервере PostgreSQL самостоятельно устанавливает некоторые параметры? Это важно знать при настройке сервера и отладке долгих запросов. Предлагаю разобраться.
27.08.2024 10558 soulner 10
HighLoad оптимизация Технологический журнал Системный администратор Разработчик Бесплатно (free)
Обсудим поиск и разбор причин длительных серверных вызовов CALL, SCALL.
24.06.2024 19309 ivanov660 13
HighLoad оптимизация Разработчик 1С:Предприятие 8 Бесплатно (free)
Метод очень медленно работает, когда параметр приемник содержит намного меньше свойств, чем источник.
06.06.2024 25187 Evg-Lylyk 73
HighLoad оптимизация Механизмы платформы 1С Системный администратор Разработчик Стажер 1С:Предприятие 8 Бесплатно (free)
Сравним «Регистры сведений» с «Сервисами интеграции» и узнаем, кто быстрее!
28.03.2024 14808 dsdred 27
HighLoad оптимизация Разработчик 1С:Предприятие 8 1C:Бухгалтерия Бесплатно (free)
Анализ простого плана запроса. Оптимизация нагрузки на ЦП сервера СУБД используя типовые индексы.
13.03.2024 14759 spyke 29
Ну если вы не видите разницы между одним фоновым заданием и двумя фоновыми заданиями которые выполняются параллельно. То мне сложно что-то объяснить.
И да, вы можете использовать ДлительныеОперации, только перед этим не забудьте разбить ваши данные на части.
Только тогда вам все эти циклы и разбития данных на части необходимо писать в своей форме и/или модуле, и тогда ваш код превратится в свалку, а чтобы не было свалки нужно создать отдельный модуль(о чем и написано в статье) и в этом модуле прописать практически все то-же что и у меня выложено...
А когда вам необходимо будет загрузить подряд 5 справочников(область, район, город, улица, дом) и при этом именно ПОДРЯД, т.к. каждый справочник подченен другому... Я бы посмотрел на ваш код где подряд 5 массив с разбиением данных и 10 раз запуск Длительных операций, тогда ваш код станет просто непригодным к использованию.
К тому же не стоит забывать о разных конфигурациях, где код загажен до такой степи, что плакать хочется, в том числе есть конфигурации где некоторые умники полезли править типовые механизмы, также есть самописные, и если вам приходится приходится работать только с типовыми и не "правленными" конфигурациями то вам повезло очень сильно.
А этот модуль рассчитан на то, чтобы его закинуть в любую конфигурацию, и работать сразу.
Логичнее это вынести в отдельный модуль - обертку над длительными операциями (которые есть во всех актуальных конфигурациях). В котором будет разбивка параметров и запуск необходимого числа фоновых заданий.
...
А этот модуль рассчитан на то, чтобы его закинуть в любую конфигурацию, и работать сразу.
Хорошо, давай посмотрим.
КоличествоДанных = СписокДанных.Количество();
КоличествоПотоков = РассчитатьКоличествоПотоков(КоличествоДанных, КоличествоПотоков);
РазмерПорции = Цел(КоличествоДанных / КоличествоПотоков);
Данные = Новый Массив;
Для Каждого Элемент Из СписокДанных Цикл
// Добавление данных в порцию.
Данные.Добавить(Элемент);
// Проверка размера порции и при достижении рассчитаного размера,
// запуск выполнения в фоне "ЭкспортнаяПроцедура".
Если Данные.Количество() = РазмерПорции Тогда
ЗапуститьВФоне(ИмяПроцедуры, Данные, СписокФоновыхЗаданий);
Данные = Новый Массив; // Забыли очистить данные? Или очищаем в ЗапуститьВФоне?
КонецЕсли;
КонецЦикла;
ПоказатьА что делать с остатком деления?
P.S. Если исполняемый код обхода массива был таким, как в публикации, при замере времени выполнения, а Данные не очищались - прирост "в 20 раз" как бы становится понятен. Было обработана 1\20 часть данных, потому и в 20 раз быстрее :3
да и для таких задач как классификаторы где данные можно четко разделить на порции иногда
проще запустить несколько сеансов чем связываться с капризами фоновых, которые падают как
дебютантки на балах поле первого бокала.
многопоточность в учетных задачах 1С, на данный момент, миф.
Ну, миф не миф, а у меня время загрузки сократилась в десятки раз. А главное результат.
загрузка классификатора - это не учетная задача, а нормативная.
заполнить какую-то таблицу строгими данными без блокировок, контроля и т.д., ерунда короч.
посему какое там ускорение - пабарабану, задача то разовая по сути.
не вижу смысла далее вести диалог, вы правы в своих заблуждениях)
Другое дело зачем она в 1с? - очень мало применения.
Загрузка данных из внешних источников
Обработка запросов веб-сервера
Постобработка данных
Удаление помеченных объектов
Закрытие месяца. В последних версиях платформы решение систем линейных уравнение сделали многопоточным (или обещали сделать)
Проведение по регистрам, если они не связаны особой бизнес-логикой
Комментаторы, дополнят список
А вы много знаете способов разделить массив на несколько? А какой будет эффективнее?
И потом приходится переделывать ваш г*но код приходится, где разделение массива происходит через задний проход.
Далее. Мои заказчики страдают? А вдруг я работаю госпожой в БДСМ-салоне, и они приходят ко мне именно пострадать. Через какой проход - не суть важно. Я же не публикую это на ИС: смотрите, как ускоряется код после N ударов плеткой программисту.
P.S.
В следующий раз правильно выбирайте номер поста в ответ. А то ведь оно заразно - сегодня номер поста не тот, завтра не ту переменную на вход в функцию подсунете.
https:// /articles/как-ускорить-1с-многопоточность/
Репосты и ремиксы - это наша реальность.
Ничего страшного, если автор переоформит повторно ранее написанное.
Кто-то поймет по его описанию, кто-то поймет тему по статье 7ми летней давности.
Ну а нытики с комментариями "раньше было лучше" всегда есть, были и будут.
Даже Аристотель в своих писал "молодежь уже не та".
Вот ссылка.
Ремиксы и репосты полностью с вами согласен. Кто-то поймет другою статью а кто-то эту.
У меня так часть бывает... Даже код может быть одинаковый но автор мне объяснил по другому и я сразу понял что к чему...
Поясню. Допустим, у нас есть таблица данных из, скажем из миллиона строк, которые нужно впихнуть быстро в, например, регистр сведений.
Эта таблица отлично бьется в разрезе каких-то полей, например, по полю Склад. Пусть складов в таблице 10, значит будет 10 потоков, больше не стоит, можно сильно нагрузить сервера. И это был бы наиболее верный алгоритм.
В связи с этим, правильней, я считаю, оставлять дробление данных на руки разработчика, который просто передаст в длительную операцию запись, а потом просто подождет завершения всех потоков
Ваша реализация, показанная в данной статье, САМАЯ простая. Она не учитывает множество нюансов по работе с потоками.
В далеком 2017 году я уже писал ( 52 комментарий)
Это самый простой способ распараллелить, и не самый оптимальный. Его основные минусы:
* Необходимо обдумывать как разбить обрабатываемый массив на части (порции) (В предоставленной статье порция - это склад).
*
ФоновыеЗадания.ОжидатьЗавершения(МассивЗаданий);
тут узкое место в том, что пока ПАЧКА фоновых заданий не отработает полностью новое не запуститься. Если в первую выборку попадет один гигантский склад и 9 маленьких, но при этом в общей выборке их предположи 11, то последний 11 склад будет ждать завершения всего блока, ходя 9 потоков по сути будут давно свободны.
* Не реализована обратная связь между потоками и клиентом, хотя допил не большой,
* И САМОЕ ГЛАВНОЕ, если в потоке произойдет ЛЮБАЯ ошибка, хоть ожидание захвата таблицы, он просто прекратит свою жизнь, и Вам ни как об этом не сообщит
Ваше решение имеет еще ряд недоработок, в частности:
* я скажу что мне надо 5 потоков, а будет запущено 6, т.к. в 6 попадет "хвост" данных
* а что будет если размер порции будет < 1?
* а есть ли смысл запускать в потоках если данных в подаваемой выборке мало?
* и т.д.
Если Вам будет интересно, можете ознакомиться с моей публикацией на тему многопоточности (, возможно найдете идеи для своего проекта.
спасибо, исправлю.
маловероятно если думать перед использованием сего механизма. но спасибо, доработаю.
а тут уже решает разработчик который запускает эту процедуру.
вашу статью обязательно прочту, она на первый взгляд хорошо изложена)
но допустим статья которую вы привели - , довольно сложная в понимании, к таким статьям необходимо переходить после того будут понятны элементарные вещи, которые собственно я и описал...
На мой взгляд, процедуры вообще зло, все должно быть функциями, пусть даже они будут возвращать "Неопределено", в частности боль начинается когда не можешь выполнить процедуру во время отладки, просто потому, что она процедура.
А если один или несколько из потоков будут завершены аварийно или "убиты" на кластере? Удобно ли отлаживать код, обернутый в такие конструкции? Есть и более .
Подобным способом увеличили скорость проведения документов реализации, прирост в скорости проведения получился в ускорении в 4-5 раз, по сравнению с последовательным проведением документов по 1му, и теперь склад не при каких обстоятельствах не готов возвращаться к старому механизму. Правда УППшечку пришлось перед этим очень плотно готовить, переписать механизм допроведения документов + перевести базу в RCSI, выпилить весь говнокод с обращениями через точку к полям ссылочного типа и все, вуаля, все счастливы.
Я в свое время писал две статьи про многопоток - и на 1С, без которых многопоточность местами страдает, ибо внешние компоненты не потокобезопасны (да, 1С - это ржавое желтое унылое г-но, ибо не могут программисты толково написать на сях потокобезопасный код - учитесь, желтые "сишники": , но, боюсь, там еще старая школа рулит, которая про потоки плохо знает и соответствующие тесты писать не умеет)
Вообще, тем, кто тут в комментах говорит о бессмысленности многопоточности в учетных задачах, я бы возразил, только суть возражения до них, боюсь, не дойдет.
ЗЫ: Скорость даже на ноуте, если нет кеширования в БД, растет пропорционально количеству потоков, ибо при отсутствии кеширования система утилизирует множественные ожидания на I/O.
ЗЫЗЫ: если есть сложные учетные задачи, то есть масса способов их распараллелить. Многопоточность в лоб - это не лучший вариант для таких задач, а вот распараллеливание записи изменений и кеширование исторических данных - это может очень серьезно повысить производительность любой задачи, пишущей множество транзакций.
Вы можете заказать платную консультацию или разработку у автора. Будет создан приватный заказ на «Бирже заказов» для автора.
№ 1211860
Создание 18.03.20 07:54
Обновление 18.03.20 07:54
Просмотры 14416
Загрузки 0
Рейтинг
43
Комментарии 45
Код открыт Да
Рубрики HighLoad оптимизация
Кому Разработчик
Тип файла Нет файла
Платформа 1С:Предприятие 8
Конфигурация Универсальные
Операционная система Не имеет значения
Страна Не имеет значения
Отрасль Не имеет значения
Налоги Не имеет значения
Вид учета Не имеет значения
Доступ к файлу Бесплатно (free)