Загрузи кучу данных и подчисти хвосты

30.09.24

Разработка - Универсальные функции

Описан подход к пакетной загрузке большого количества данных (либо все, либо ничего) с фиксацией ошибок на каждом шаге загрузки.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Конфигурация пример реализации
.cf 83,38Kb
0
0 Скачать (1 SM) Купить за 1 850 руб.
Схемы в исходном формате
.drawio 6,26Kb
0
0 Скачать (1 SM) Купить за 1 850 руб.

Сценарий

  • Имеется длинная транзакция, которая должна либо завершиться, либо полностью отмениться
  • Внутри транзакции создается большое количество объектов в БД
  • Необходимо собрать все возможные ошибки обрабатываемых объектов, а не падать на первой попавшейся ошибке

Описание приложенной конфигурации

  • Документ1 - документ, инициирующий длинную транзакцию. Служит для сохранения ошибок
  • Документ2 - документ, способный вызвать исключение:
    • вне транзакции - события модуля объекта ОбработкаПроверкиЗаполнения. Генерируем случайное число. Если не делится на 2, то вызываем исключение
    • в транзакции - событие модуля объекта ПриЗаписи. Генерируем случайное число. Если не делится на 3, то вызываем исключение
  • Команда Обработать в форме списка документа Документ1
    • Создает документ Документ1
    • Начинает длинную транзакцию
    • Создает 100 документов Документ2 в цикле
    • Для каждого документа проверяется заполнение и запись - соответственно будет исключение в транзакции или без
    • Сохраняет ошибки создания документов Документ2
    • Записывает документ Документ1

 

Классическая схема

  • Правила использования транзакций описаны на сайте ИТС: Транзакции: правила использования
  • Пример кода из приложенной конфигурации:
    • Создается документ Документ1 - служит для хранения ошибок обработки
    • Начинается длинная транзакция
    • Внутри транзакции создаются документы Документ2 (код будет ниже), которые могут вызывать исключения (в транзакции или без)
Процедура СоздатьДокумент1()

  Док = Документы.Документ1.СоздатьДокумент();
  Док.Дата = ТекущаяДатаСеанса();

  НачатьТранзакцию();
  Попытка
    СоздатьДокументы2(Док);

    ЗафиксироватьТранзакцию();
  Исключение
    ОтменитьТранзакцию();
    Сообщить(ОбработкаОшибок.КраткоеПредставлениеОшибки(ИнформацияОбОшибке()));
  КонецПопытки;

  Док.Записать();

КонецПроцедуры

МИНУСЫ:

  • Первое исключение внутри транзакции останавливает дальнейшую обработку объектов
  • Нет возможности увидеть ошибки после исключения (картинка ниже)

 

Вариант 1. Добавляем попытку

  • Каждый обрабатываемый объект внутри длинной транзакции оборачиваем в попытку
  • В случае исключения длинная транзакция продолжается
  • Если в попытке есть своя транзакция (явная или неявная) и в ней произошло исключение (кружок №2 на картинке), то все последующие обращения к БД будут вызывать ошибку В данной транзакции уже происходили ошибки
Процедура СоздатьДокументы2(Док)
 
  БылиОшибки = Ложь;
 
  Для Индекс = 1 По 100 Цикл
    НоваяСтрока = Док.Данные.Добавить(); // Новая строка в документе 1 (для ошибки)
    
    Попытка
      СоздатьДокумент2(); // Тут возможны исключения в транзакции и без
      
      НоваяСтрока.Ошибка = НСтр("ru = 'Ошибок нет'");
    Исключение
      БылиОшибки = Истина;
      НоваяСтрока.Ошибка = КраткоеПредставлениеОшибки(ИнформацияОбОшибке());
    КонецПопытки;
  КонецЦикла;
 
  Если БылиОшибки Тогда
    ВызватьИсключение НСтр("ru = 'В процессе обработки были ошибки, изменения не сохраняем'");
  КонецЕсли;
 
КонецПроцедуры

МИНУСЫ:

  • После первого исключения внутри "маленькой" транзакции все последующие ошибки будут неинформативными (картинка ниже)
  • И даже если в обрабатываемой строке не должно быть ошибки (но есть запись в БД), то все равно будет ошибка В данной транзакции уже происходили ошибки

 

Вариант 2. Находим сломанные транзакции

  • Выявляем момент, когда в транзакции уже происходили ошибки
  • Это можно сделать выполнив простейший запрос ВЫБРАТЬ 1 (решение предложено тут Безопасная работа с транзакциями на встроенном языке)
  • Если такой момент выявили, то отменяем транзакцию и тут же начинаем новую
  • Получается мы "режем" длинную транзакцию на части, давая возможность продолжить обращаться к БД и выявлять все последующие ошибки
  • Если во время длинной транзакции не произошло ни одной ошибки, то она успешно завершится
  • Если произошла хотя бы одна ошибка в конце обработчика отменяем транзакцию
Процедура СоздатьДокументы2(Док)
 
  БылиОшибки = Ложь;
 
  Для Индекс = 1 По 100 Цикл
    НоваяСтрока = Док.Данные.Добавить(); // Новая строка в документе 1 (для ошибки)
    
    Попытка
      Если ВТранзакцииПроисходилиОшибки() Тогда
        ОтменитьТранзакцию();
        НачатьТранзакцию();
      КонецЕсли;
    
      СоздатьДокумент2(); // Тут возможны исключения в транзакции и без
      
      НоваяСтрока.Ошибка = НСтр("ru = 'Ошибок нет'");
    Исключение
      БылиОшибки = Истина;
      НоваяСтрока.Ошибка = КраткоеПредставлениеОшибки(ИнформацияОбОшибке());
    КонецПопытки;
  КонецЦикла;
 
  Если БылиОшибки Тогда
    ВызватьИсключение НСтр("ru = 'В процессе обработки были ошибки, изменения не сохраняем'");
  КонецЕсли;
 
КонецПроцедуры

Ожидаемый результат:

 

PS. Вариант без транзакций

  • Создаем объекты (каждый в своей попытке) и сохраняем на них ссылки (в массив)
  • Если произошла ошибка, то сохраняем её (в массив ошибок)
  • Если в процессе обработки произошла хоть одна ошибка, то помечаем объекты массива на удаление и затем физически удаляем, а пользователю выводим ошибки из массива ошибок

МИНУСЫ:

  • Появляется куча объектов, которые нужно корректно удалить
  • Если в процессе удаления произойдет сбой, то объекты останутся в системе и тут только ручное вмешательство
  • Если на созданные объекты будут ссылки в других объектах, то так же автоматически они не удалятся, опять ручное вмешательство

Именно от такого подхода избавлялся

Транзакция

См. также

Универсальные функции Программист Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

Благодаря этим пяти строчкам можно больше не заморачиваться с загрузкой из внешних файлов. Пользуюсь везде, всегда и постоянно.

21.05.2024    26756    dimanich70    83    

149

Универсальные функции Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Задача: вставить картинку из буфера обмена на форму средствами платформы 1С.

1 стартмани

18.03.2024    4625    4    John_d    11    

57

Универсальные функции Программист Стажер Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

Пришлось помучиться с GUID-ами немного, решил поделиться опытом, мало ли кому пригодится.

12.02.2024    28092    atdonya    25    

58

Универсальные функции Программист Платформа 1С v8.3 Бесплатно (free)

На заключительных этапах, когда идет отладка или доработка интерфейса, необходимо много раз переоткрыть внешний объект. Вот один из способов автоматизации этого.

30.11.2023    6226    ke.92@mail.ru    17    

65

WEB-интеграция Универсальные функции Механизмы платформы 1С Программист Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

При работе с интеграциями рано или поздно придется столкнуться с получением JSON файлов. И, конечно же, жизнь заставит проверять файлы перед тем, как записывать данные в БД.

28.08.2023    17056    YA_418728146    8    

170

Пакетная печать Печатные формы Адаптация типовых решений Универсальные функции Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Абонемент ($m)

Расширение для программ 1С:Управление торговлей, 1С:Комплексная автоматизация, 1С:ERP, которое позволяет распечатывать печатные формы для непроведенных документов. Можно настроить, каким пользователям, какие конкретные формы документов разрешено печатать без проведения документа.

2 стартмани

22.08.2023    4431    75    progmaster    11    

4

Инструментарий разработчика Универсальные функции Платформа 1С v8.3 1C:Бухгалтерия 1С:Розница 2 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Абонемент ($m)

Копирует в буфер значения из списков, из ячеек отчетов, таблиц, настроек списков, других отборов и вставляет в выбранную настройку отбора. Работает с Объект не найден. Работает как в одной так и между разными базами 1С. Использует комбинации [Alt+C] Копировать список, [Alt+V] Вставить список. Также для копирования данных используется стандартная [Ctrl+C] (например из открытого xls, mxl, doc и т.п. файла скопировать список наименований)

1 стартмани

13.10.2022    19367    184    sapervodichka    112    

137
Оставьте свое сообщение