Загрузи кучу данных и подчисти хвосты

30.09.24

Разработка - Универсальные функции

Описан подход к пакетной загрузке большого количества данных (либо все, либо ничего) с фиксацией ошибок на каждом шаге загрузки.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Конфигурация пример реализации
.cf 83,38Kb
0
0 Скачать (1 SM) Купить за 1 850 руб.
Схемы в исходном формате
.drawio 6,26Kb
0
0 Скачать (1 SM) Купить за 1 850 руб.

Сценарий

  • Имеется длинная транзакция, которая должна либо завершиться, либо полностью отмениться
  • Внутри транзакции создается большое количество объектов в БД
  • Необходимо собрать все возможные ошибки обрабатываемых объектов, а не падать на первой попавшейся ошибке

Описание приложенной конфигурации

  • Документ1 - документ, инициирующий длинную транзакцию. Служит для сохранения ошибок
  • Документ2 - документ, способный вызвать исключение:
    • вне транзакции - события модуля объекта ОбработкаПроверкиЗаполнения. Генерируем случайное число. Если не делится на 2, то вызываем исключение
    • в транзакции - событие модуля объекта ПриЗаписи. Генерируем случайное число. Если не делится на 3, то вызываем исключение
  • Команда Обработать в форме списка документа Документ1
    • Создает документ Документ1
    • Начинает длинную транзакцию
    • Создает 100 документов Документ2 в цикле
    • Для каждого документа проверяется заполнение и запись - соответственно будет исключение в транзакции или без
    • Сохраняет ошибки создания документов Документ2
    • Записывает документ Документ1

 

Классическая схема

  • Правила использования транзакций описаны на сайте ИТС: Транзакции: правила использования
  • Пример кода из приложенной конфигурации:
    • Создается документ Документ1 - служит для хранения ошибок обработки
    • Начинается длинная транзакция
    • Внутри транзакции создаются документы Документ2 (код будет ниже), которые могут вызывать исключения (в транзакции или без)
Процедура СоздатьДокумент1()

  Док = Документы.Документ1.СоздатьДокумент();
  Док.Дата = ТекущаяДатаСеанса();

  НачатьТранзакцию();
  Попытка
    СоздатьДокументы2(Док);

    ЗафиксироватьТранзакцию();
  Исключение
    ОтменитьТранзакцию();
    Сообщить(ОбработкаОшибок.КраткоеПредставлениеОшибки(ИнформацияОбОшибке()));
  КонецПопытки;

  Док.Записать();

КонецПроцедуры

МИНУСЫ:

  • Первое исключение внутри транзакции останавливает дальнейшую обработку объектов
  • Нет возможности увидеть ошибки после исключения (картинка ниже)

 

Вариант 1. Добавляем попытку

  • Каждый обрабатываемый объект внутри длинной транзакции оборачиваем в попытку
  • В случае исключения длинная транзакция продолжается
  • Если в попытке есть своя транзакция (явная или неявная) и в ней произошло исключение (кружок №2 на картинке), то все последующие обращения к БД будут вызывать ошибку В данной транзакции уже происходили ошибки
Процедура СоздатьДокументы2(Док)
 
  БылиОшибки = Ложь;
 
  Для Индекс = 1 По 100 Цикл
    НоваяСтрока = Док.Данные.Добавить(); // Новая строка в документе 1 (для ошибки)
    
    Попытка
      СоздатьДокумент2(); // Тут возможны исключения в транзакции и без
      
      НоваяСтрока.Ошибка = НСтр("ru = 'Ошибок нет'");
    Исключение
      БылиОшибки = Истина;
      НоваяСтрока.Ошибка = КраткоеПредставлениеОшибки(ИнформацияОбОшибке());
    КонецПопытки;
  КонецЦикла;
 
  Если БылиОшибки Тогда
    ВызватьИсключение НСтр("ru = 'В процессе обработки были ошибки, изменения не сохраняем'");
  КонецЕсли;
 
КонецПроцедуры

МИНУСЫ:

  • После первого исключения внутри "маленькой" транзакции все последующие ошибки будут неинформативными (картинка ниже)
  • И даже если в обрабатываемой строке не должно быть ошибки (но есть запись в БД), то все равно будет ошибка В данной транзакции уже происходили ошибки

 

Вариант 2. Находим сломанные транзакции

  • Выявляем момент, когда в транзакции уже происходили ошибки
  • Это можно сделать выполнив простейший запрос ВЫБРАТЬ 1 (решение предложено тут Безопасная работа с транзакциями на встроенном языке)
  • Если такой момент выявили, то отменяем транзакцию и тут же начинаем новую
  • Получается мы "режем" длинную транзакцию на части, давая возможность продолжить обращаться к БД и выявлять все последующие ошибки
  • Если во время длинной транзакции не произошло ни одной ошибки, то она успешно завершится
  • Если произошла хотя бы одна ошибка в конце обработчика отменяем транзакцию
Процедура СоздатьДокументы2(Док)
 
  БылиОшибки = Ложь;
 
  Для Индекс = 1 По 100 Цикл
    НоваяСтрока = Док.Данные.Добавить(); // Новая строка в документе 1 (для ошибки)
    
    Попытка
      Если ВТранзакцииПроисходилиОшибки() Тогда
        ОтменитьТранзакцию();
        НачатьТранзакцию();
      КонецЕсли;
    
      СоздатьДокумент2(); // Тут возможны исключения в транзакции и без
      
      НоваяСтрока.Ошибка = НСтр("ru = 'Ошибок нет'");
    Исключение
      БылиОшибки = Истина;
      НоваяСтрока.Ошибка = КраткоеПредставлениеОшибки(ИнформацияОбОшибке());
    КонецПопытки;
  КонецЦикла;
 
  Если БылиОшибки Тогда
    ВызватьИсключение НСтр("ru = 'В процессе обработки были ошибки, изменения не сохраняем'");
  КонецЕсли;
 
КонецПроцедуры

Ожидаемый результат:

 

PS. Вариант без транзакций

  • Создаем объекты (каждый в своей попытке) и сохраняем на них ссылки (в массив)
  • Если произошла ошибка, то сохраняем её (в массив ошибок)
  • Если в процессе обработки произошла хоть одна ошибка, то помечаем объекты массива на удаление и затем физически удаляем, а пользователю выводим ошибки из массива ошибок

МИНУСЫ:

  • Появляется куча объектов, которые нужно корректно удалить
  • Если в процессе удаления произойдет сбой, то объекты останутся в системе и тут только ручное вмешательство
  • Если на созданные объекты будут ссылки в других объектах, то так же автоматически они не удалятся, опять ручное вмешательство

Именно от такого подхода избавлялся

Транзакция

См. также

Универсальные функции Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Благодаря этим пяти строчкам можно больше не заморачиваться с загрузкой из внешних файлов. Пользуюсь везде, всегда и постоянно.

21.05.2024    17227    dimanich70    81    

135

Универсальные функции Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Задача: вставить картинку из буфера обмена на форму средствами платформы 1С.

1 стартмани

18.03.2024    3837    3    John_d    11    

57

Универсальные функции Программист Стажер Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Пришлось помучиться с GUID-ами немного, решил поделиться опытом, мало ли кому пригодится.

12.02.2024    14342    atdonya    23    

56

Универсальные функции Программист Платформа 1С v8.3 Бесплатно (free)

На заключительных этапах, когда идет отладка или доработка интерфейса, необходимо много раз переоткрыть внешний объект. Вот один из способов автоматизации этого.

30.11.2023    5240    ke.92@mail.ru    16    

65

WEB-интеграция Универсальные функции Механизмы платформы 1С Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

При работе с интеграциями рано или поздно придется столкнуться с получением JSON файлов. И, конечно же, жизнь заставит проверять файлы перед тем, как записывать данные в БД.

28.08.2023    13624    YA_418728146    7    

165

Пакетная печать Печатные формы Адаптация типовых решений Универсальные функции Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Абонемент ($m)

Расширение для программ 1С:Управление торговлей, 1С:Комплексная автоматизация, 1С:ERP, которое позволяет распечатывать печатные формы для непроведенных документов. Можно настроить, каким пользователям, какие конкретные формы документов разрешено печатать без проведения документа.

2 стартмани

22.08.2023    3311    52    progmaster    8    

4

Инструментарий разработчика Универсальные функции Платформа 1С v8.3 Конфигурации 1cv8 1С:Розница 2 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Абонемент ($m)

Копирует в буфер значения из списков, из ячеек отчетов, таблиц, настроек списков, других отборов и вставляет в выбранную настройку отбора. Работает с Объект не найден. Работает как в одной так и между разными базами 1С. Использует комбинации [Alt+C] Копировать список, [Alt+V] Вставить список. Также для копирования данных используется стандартная [Ctrl+C] (например из открытого xls, mxl, doc и т.п. файла скопировать список наименований)

1 стартмани

13.10.2022    18098    160    sapervodichka    112    

134
Оставьте свое сообщение