Простая параллельная обработка данных

10.02.20

Разработка - Инструментарий разработчика

Предлагаю способ быстрой параллельной обработки "неких" данных. Методика проста как дважды два. Предварительно подготовленная обработка запускается вручную в нескольких сеансах, и каждый сеанс занимается обработкой своей части (случайного диапазона). Может пригодиться для ускоренной обработки данных. К примеру, необходимо заполнить реквизит большого справочника, заполнение в один поток идёт долго, а сроки поджимают.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование	Скачано	Купить файл	По подписке PRO
Простая параллельная обработка данных: .epf 8,13Kb ver:1.0 2	2	2 500 руб. Купить	1 SM Скачать

Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».

0% комиссии — оплата напрямую исполнителю;
Исполнители любого масштаба — от отдельных специалистов до команд под проект;
Прямой обмен контактами между заказчиком и исполнителем;
Безопасная сделка — при необходимости;
Рейтинги, кейсы и прозрачная система откликов.

Предыстория:

Как-то появилась необходимость быстро выполнить обработчики обновления после перехода на новый релиз. Стандартная обработка занимала неделю. Надо было уложиться в 2 стандартных выходных. Как же это сделать быстро и желательно без модификации конфигурации?

Можно написать обработку и запустить в нескольких сеансах вручную. Но обработка в разных сеансах будет обрабатывать одни и те же "куски" данных. Как просто выйти из этой ситуации?

Вариант решения: Каждый сеанс должен обрабатывать свой случайный диапазон данных.

Конечно, иногда они будут пересекаться. На этот случай перед обработкой диапазона устанавливаем управляемую блокировку. Да, время от времени блокировки сеансов будут "натыкаться" друг на друга, но при больших размерах выборки и малой порции это будет происходить редко.

Как использовать обработку:

1. В функцию "Получить запрос", помещаем свой запрос для получения обрабатываемых данных

ПолучитьЗапрос()

&НаСервере
Функция ПолучитьЗапрос()

	Запрос = Новый Запрос;
	Запрос.Текст = 
		"ВЫБРАТЬ
		|	Номенклатура.Ссылка
		|ИЗ
		|	Справочник.Номенклатура КАК Номенклатура
		|ГДЕ
		|	Номенклатура.ИсточникДанных = &ИсточникДанных";
	
	Запрос.УстановитьПараметр("ИсточникДанных", Справочники.НастройкиОбменаДаннымиСУчетнымиСистемами.ПустаяСсылка());
	
	Запрос.Текст = СтрЗаменить(Запрос.Текст, "ВЫБРАТЬ", "ВЫБРАТЬ ПЕРВЫЕ " + Формат(РазмерПорции*1000,"ЧГ="));
	
	Возврат Запрос;
	
КонецФункции

2. При необходимости, в процедуре "ЗаблокироватьДанные" разрабатываем алгоритм блокировки:

ЗаблокироватьДанные

&НаСервере
Процедура ЗаблокироватьДанные(ТаблицаДанных)

	// блокировка данных, чтобы парралельный сеанс не обработал их повторно
	// в некоторых случаях можно блокировку и не использовать, некоторые объекты обработаются повторно, 
	// в некоторых случая это допустимо, в некоторых опасно.
	// К примеру, на основании одного документа создаётся второй, и повторная обработка приведёт к созданию двух
	// документов вместо одного
	// всё зависит от логики конкретной обработки
	// тут для примера использую блокировку, хотя в этой задаче она не обязательна и будет вызывать лишние блокировки.
	
	Блокировка = Новый БлокировкаДанных;
	
	ЭлементБлокировки = Блокировка.Добавить("Справочник.Номенклатура");
	ЭлементБлокировки.ИсточникДанных = ТаблицаДанных;
	ЭлементБлокировки.ИспользоватьИзИсточникаДанных("Ссылка", "Ссылка");
	ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
	
	Блокировка.Заблокировать();
	
КонецПроцедуры

3. В процедуре "ОбработатьОбъекты" непосредственно реализуем процесс обработки.

ОбработатьОбъекты

&НаСервере
Процедура ОбработатьОбъекты(ТаблицаДанных)

	Для каждого Данные Из ТаблицаДанных Цикл
		
		// ОБРАБОТКА ДАННЫХ
		// Заменеяем на то что нам надо
		
		ОбъНоменклатура = Данные.Ссылка.ПолучитьОбъект();
		ОбъНоменклатура.ИсточникДанных = Справочники.НастройкиОбменаДаннымиСУчетнымиСистемами.SAP;
		ОбъНоменклатура.ОбменДанными.Загрузка = Истина;
		ОбъНоменклатура.Записать();
		
	КонецЦикла;

КонецПроцедуры

4. Готовую обработку запускаем в нескольких сеансах.

5. Время от времени поглядываем на процесс, если она остановилась из-за блокировки, то запускаем заново.

Дополнительное описание работы обработки:

Основная рабочая лошадка - функция "ОбработатьПорцию". Она вызывается с помощью обработчика ожидания, пока возвращаемое значение отлично от 0-ля:

ОбработатьПорцию()

&НаСервере
Функция ОбработатьПорцию()
	
	НачатьТранзакцию();
	
	Попытка
		ДанныеПорцииДляОбработки = ПолучитьДанныеПорцииДляОбработки();
		ЗаблокироватьДанные(ДанныеПорцииДляОбработки);
		ОбработатьОбъекты(ДанныеПорцииДляОбработки);	
		ЗафиксироватьТранзакцию();
	Исключение
		ОтменитьТранзакцию();
		ВызватьИсключение;
	КонецПопытки;
	
	Возврат ПолучитьКоличествоОставшихсяДанных();
	
КонецФункции

Основная функция для обработки порции данных и выбора случайного диапазона:

ПолучитьДанныеПорцииДляОбработки()

&НаСервере
Функция ПолучитьДанныеПорцииДляОбработки()

	Запрос = ПолучитьЗапрос();
		
	ТаблицаДанныхИсходная = Запрос.Выполнить().Выгрузить();
	
	// Определим случайный диапазон для обработки
	ГСЧ = Новый ГенераторСлучайныхЧисел(ТекущаяУниверсальнаяДатаВМиллисекундах());
	НомерСтрокиНачальный = ГСЧ.СлучайноеЧисло(0,ТаблицаДанныхИсходная.Количество()- 1);
	НомерСтрокиКонечный  = Мин(НомерСтрокиНачальный + РазмерПорции - 1, ТаблицаДанныхИсходная.Количество()-1);
	
	// скопируем строки в этом диапазоне в результат
	ТаблицаДанныхДляОбработки = ТаблицаДанныхИсходная.СкопироватьКолонки();
	
	Для ТекНомерСтроки = НомерСтрокиНачальный ПО НомерСтрокиКонечный Цикл
		НоваяСтрока = ТаблицаДанныхДляОбработки.Добавить();
		ЗаполнитьЗначенияСвойств(НоваяСтрока, ТаблицаДанныхИсходная[ТекНомерСтроки]);
	КонецЦикла;
	
	Возврат ТаблицаДанныхДляОбработки;
	
КонецФункции

Требования: Управляемые формы

Протестировано на: 1С:Предприятие 8.3 (8.3.13.1644)

Вступайте в нашу телеграмм-группу Инфостарт

параллельная многопоточная обработка данные экспресс

+8 –

См. также

Онлайн-курс «Разработка на 1С с AI-агентами»

Разработка Инструментарий разработчика Групповая разработка (Git, хранилище) Разработчик Платные (руб)

Практический курс по работе с AI-агентами для разработчиков 1С уровня middle и senior, а также тимлидов команд: от постановки задач и передачи контекста до создания расширений, интеграций, MCP-инструментов, тестов и проверки готового решения.

50000 руб.

10.09.2026 14357 124 0

Database Compression Tool: Инструмент для свертки и сжатия баз данных 1С

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Разработчик Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы, интерфейс 8.5. Может выполнять свертку одновременно в несколько потоков, а также без непосредственного участия пользователя. Решение в Реестре отечественного ПО.

24900 руб.

20.08.2024 83832 433 171

364

Infostart Toolkit Air: Инструменты разработки в 1С:8.3 и 8.5

Инструментарий разработчика Роли и права Запросы СКД Разработчик Руководитель проекта 1С:Предприятие 8 Платные (руб)

Инструменты для разработчиков 1С 8.3 и 8.5: Infostart Toolkit. Автоматизация и ускорение разработки на управляемых формах. Легкость работы с 1С.

16500 руб.

02.09.2020 286432 1611 423

1220

Infostart PrintWizard (конструктор печатных форм)

Пакетная печать Печатные формы Инструментарий разработчика Разработчик 1С:Предприятие 8 Платные (руб)

Расширение для создания и редактирования печатных форм в системе 1С:Предприятие 8.3. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и прозрачность разработки, а также навести порядок в многообразии корпоративных печатных форм. Обновление версии от 21.04.26

22570 руб.

06.10.2023 44476 123 54

135

Infostart MCP: готовые MCP серверы для вайбкодинга в 1С

Инструментарий разработчика Нейросети Платные (руб)

Первые попытки разработки на 1С с использованием больших языковых моделей (LLM) могут разочаровать. LLMки сильно галлюцинируют, потому что не знают устройства конфигураций 1С, не знают нюансов синтаксиса. Но если дать им подсказки с помощью MCP, то результат получается кардинально лучше. Далее в публикации: MCP для поиска по метаданным 1С, справке синтакс-помощника и проверки синтаксиса.

15250 руб.

25.08.2025 77604 147 41

154

Infostart DataFormWizard: Управление вводом данных в 1С 8.3

Инструменты администратора БД Инструментарий разработчика Роли и права Разработчик 1С:Предприятие 8 1C:Бухгалтерия Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

17000 руб.

10.11.2023 28884 104 46

107

PowerTools: Инструменты администратора 1С 8.3/8.5

Инструментарий разработчика Инструменты администратора БД Системный администратор Разработчик Аналитик 1С:Предприятие 8 1С 8.3 1С 8.5 1C:ERP 1С:УТ 1С:ДО 1С:Бухгалтерия 3.0 1С:ERP. Управление холдингом 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 11 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

5000 руб.

14.01.2013 217563 1256 0

971

Поиск и исправление отрицательных остатков во всех регистрах накопления (с детализацией до документов) в 1С

Задачи пользователя Инструментарий разработчика Корректировка данных Закрытие периода Разработчик Аналитик Бухгалтер Пользователь Руководитель проекта Стажер 1С 8.3 1С:ERP Управление предприятием 2 1С:Управление нашей фирмой 3.0 Управленческий учет Платные (руб)

Обработка предназначена для поиска, анализа и исправления отрицательных остатков во всех регистрах накопления информационной базы 1С.

6100 руб.

27.02.2026 3324 19 3

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. PowerBoy 3504 11.02.20 06:11 Сейчас в теме

Запустил бы процесс в фоновый многопоток, да и случайный выбор диаппазона обработки данных это ...

2. Amadeus007 10 11.02.20 07:18 Сейчас в теме

(1)как запустить в фоновый многопоток без модификации конфигурации? тем более для разовых обработок, оно надо?
Случайный выбор вполне себе работоспособно. не идеальное но решение

3. KUAvanesov 11.02.20 07:30 Сейчас в теме

(2) можно в расширении в ом прописать процедуру и отправить ее в длительныеоперации.

4. Amadeus007 10 11.02.20 07:36 Сейчас в теме

(3) да можно. но расширения не всегда доступны и его потом желательно удалить из продуктивна. ИМХО. мой вариант проще и универсальнее. в последний раз доделка заняла минут 10... А так, буду рад если кто предложит решение ещё проще.

5. PowerBoy 3504 11.02.20 10:28 Сейчас в теме

(4) Не рекламы ради :)
PowerTools

6. Amadeus007 10 11.02.20 11:33 Сейчас в теме

(5) А её внедрять надо в конфигурацию?

7. PowerBoy 3504 11.02.20 11:58 Сейчас в теме

(6) Нет, внешняя обработка, для многопоточной обработки даже можно не регистрировать, ну конечно только для клиент - сервера и БСП в конфигурации должно быть.

8. Amadeus007 10 11.02.20 12:01 Сейчас в теме

(7) Как только наберу sm так сразу загружу и изучу :) а пока буду пользоваться своим...

Для отправки сообщения требуется регистрация/авторизация

Автор:

Рафис Тухватуллин (Amadeus007)

Рейтинг: 10

Вы можете заказать платную консультацию или разработку у автора. Будет создан приватный заказ на «Бирже заказов» для автора.

Публикация:

№ 1192125

Создание 10.02.20 19:10

Обновление 10.02.20 19:10

Статистика:

Просмотры 12676

Загрузки 2

Рейтинг 8

Комментарии 8

Характеристики:

Код открыт Да

Рубрики Инструментарий разработчика

Кому Разработчик

Тип файла Внешняя обработка (ert,epf)

Платформа 1С:Предприятие 8

Конфигурация 1C:Бухгалтерия

Операционная система Не имеет значения

Страна Не имеет значения

Отрасль Не имеет значения

Налоги Не имеет значения

Вид учета Не имеет значения

Доступ к файлу Абонемент ($m)

Простая параллельная обработка данных

Файлы

Предыстория:

Как использовать обработку:

Дополнительное описание работы обработки:

Требования: Управляемые формы

См. также

Журнал

База знаний

Лаборатория

Анализ & Управление

Сопровождение 1С

Корпоративные решения

Обучение

Маркетплейс

Проектный офис

Мероприятия

Видеозаписи

Биржа заказов

Форум

Мерч

О компании