Последовательная загрузка XML

14.03.24

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

–

Обработка для последовательной загрузки файлов через универсальный обмен данными в формате XML.

Скачать исходный код

	Наименование	Файл	Версия	Размер
	Последовательная загрузка XML: .epf 8,40Kb 27	.epf		8,40Kb	27	Скачать бесплатно

Добрый день.

Небольшая обработка, которая позволяет грузить файлы через универсальный обмен данными xml последовательно.

Для чего это нужно?

На проектах внедрения часто возникают ситуации, когда выполняется перенос данных через разовые загрузки/выгрузки с помощью универсального обмена данными xml. Иногда случается так, что файл выгрузки вырастает до очень больших размеров, на который может уйти несколько часов на выгрузку и так же много часов на загрузку. И никто не застрахован от случайного прерывания загрузки в базу источник.

Решением может быть разбивка файлов на более мелкие файлы. При этом возникает проблема загрузки этих файлов, потому что надо следить за окончанием загрузки файла и запускать новую загрузку нового файла.

Целью обработки была возможность закинуть список файлов в одно место и чтобы всё грузилось автоматически.

Обработка работает на типовой обработке "Универсальный обмен данными в формате XML".

Основной принцип работы:

Проходим циклом по списку файлов на клиенте;
Каждый файл передается на сервер;
Инициализируется обработка по обмену данными;
Происходит загрузка.

В обработке присутствует минималистичный интерфейс:

Адрес файла, начало и окончание загрузки, а также результат загрузки.

Надеюсь, что кому-нибудь может пригодиться эта обработка.

Обработка тестировалась на версии 8.3.20, хотя в принципе должна работать на всех конфигурациях, где есть обработка "Универсальный обмен данными в формате XML".

обработка загрузка xml

–

См. также

[ED3] Обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 руб.

12.06.2017 135981 731 291

393

SALE! 10%

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

~~38500~~ 34650 руб.

15.04.2019 69156 181 139

111

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.226.x) и БП 3.0 (3.0.151.x). Правила подходят для версии ПРОФ и КОРП.

28000 руб.

15.12.2021 20791 136 38

Перенос данных из УТ 10.3 в УТ 11.5. Переносятся документы (обороты за период), справочная информация и остатки

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.87.x) и УТ 11.5 (11.5.16.x).

28000 руб.

23.07.2020 47095 201 64

162

SALE! 10%

Перенос данных из БП 3.0 в УНФ 3.0 / УНФ 1.6. Переносятся остатки, документы и справочная информация

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

В продаже с 2018г. | Воспользовались более 41 предприятия! | Правила конвертации (КД 2) для переноса данных из БП 3 в УНФ | Переносятся все виды документов, начальные остатки и вся возможная справочная информация | Есть фильтр по организациям | Оперативно обновляем на новые релизы | Оказываем техподдержку | В комплект файлов входит инструкция, авторская версия обработки "Универсальный обмен...", актуальные правила переноса данных и архив старых версий переноса | Учет в БП 3 должен быть корректным, некорректные данные не переносятся | Можно бесплатно проверить на вашем сервере до покупки!

50722 руб.

10.07.2018 68030 41 123

SALE! 10%

Перенос данных из ERP 2 / КА 2 в ЗУП 3. Переносятся остатки, документы и справочники

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Воспользовались более 79 предприятий! | Предлагаем приобрести готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | В продаже с 2020г. | Оперативно обновляем правила до актуальных релизов 1С | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

~~48278~~ 43450 руб.

03.12.2020 34618 83 58

SALE! 10%

Перенос данных из УТ 10.3 в УТ 11 / КА 2 / ERP 2. Переносятся документы, справочники и остатки

Перенос данных 1C Взаиморасчеты Оптовая торговля Логистика, склад и ТМЦ Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Управленческий учет Платные (руб)

Можно проверить до покупки, оставьте заявку! Воспользовались более 268 компаний! Перенос в продаже с 2015г., и мы постоянно работаем над его развитием. Перенос данных из УТ 10.3 в УТ 11 | из УТ 10.3 в КА 2 | из УТ 10.3 в ERP. Предлагаем качественное и проверенное временем решение для перехода с УТ 10.3. Можно перенести начальные остатки, нормативно-справочную информацию и все возможные документы. При выгрузке можно установить отбор по периоду, организациям и складам. При выходе новых релизов конфигураций 1C оперативно выпускаем обновление переноса данных.

~~50722~~ 45650 руб.

24.04.2015 191276 270 239

270

Загрузка номенклатуры c картинками (несколько потоков одновременно) и сопутствующими данными в базу и любые документы из yml, xls, xlsx, xlsm, ods, ots, csv для УТ 10.3, УТ 11 (все), БП 3, КА 2, ERP 2, УНФ 1.6/3.0, Розница 2

Загрузка и выгрузка в Excel Логистика, склад и ТМЦ Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Эволюция не стоит на месте - новая удобная версия функциональной обработки для Вашего бизнеса! Что же Вы получаете? Удобный и интуитивно понятный интерфейс с 3-мя этапами работы. 2 режима - автоматический и ручной. Чтение XLSX, XLSM, CSV, XML/YML форматов без офиса, на любом сервере! Визуальное связывание колонок файла и реквизитов простым перетаскиванием колонок. Создание или обновление номенклатуры с иерархией, характеристик, доп. реквизитов, упаковок, загрузка практически неограниченного количества картинок на одну номенклатуру (с возможностью загрузки в несколько потоков одновременно), с хранением в томах или в базе. Загрузка номенклатуры поставщиков или поиск по их данным номенклатуры. Загрузка доп. реквизитов в характеристики. Загрузка штрихкодов с генерацией новых. Создание элементов справочников и ПВХ "на лету" для выбранных реквизитов. (Обновление от 09.04.2024, версия 9.9 - 9.10)

14400 руб.

20.11.2015 152149 368 376

503

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. mszsuz 323 14.03.24 14:48 Сейчас в теме

А пробовали эти загрузки параллельно запускать? В разных фоновых заданиях?

2. moiseeves 196 14.03.24 16:00 Сейчас в теме

(1) Добрый день. В том то и суть обработки, что параллельная загрузка может наслаиваться друг на друга и блокировать одни и те же данные, с которыми работают объекты загрузки. Поэтому смысла параллельной нет. Таким образом можно было бы просто в разных сеансах запускать загрузку разных файлов.

3. starik-2005 3040 14.03.24 16:07 Сейчас в теме

(2) Если у вас стопиццот точек со стопиццот пакетами, то грузить их последовательно - это такое...

4. moiseeves 196 15.03.24 07:12 Сейчас в теме

(3) Грузить один файл весом 10 гб, 6 часов - это такое..., а загрузить 20 файлов по 500 мб - снизится вероятность ошибки загрузки большого файла.

5. starik-2005 3040 15.03.24 10:19 Сейчас в теме

(4)

один файл

20 файлов

И в чем связь? Сейчас все в разработке идет в сторону масштабирования: параллельность, шардинг, микросервисы, ... И параллельно грузить 500 файлов - это нормально, а вот грузить их последовательно - это типа как прийти на гонки формулы один и надеяться выиграть, взяв с собой запорожец горбатый. Да, впечатление, конечно, будет, но выиграть не получится по массе причин, каждая из которых будет ухудшать результат: от парусности до крутящего момента.

6. moiseeves 196 15.03.24 14:55 Сейчас в теме

(5) Ну не знаю. Попробуйте загрузить параллельно 200 реализаций товаров, с учетом того, что они будут читать остатки товаров все одновременно.

7. veonize 16.03.24 02:30 Сейчас в теме

(6)а зачем читать остатки товаров? В смысле если грузим реализацию существующих документов, то проверка на остатки уже произошла при проведении этих документов.

8. moiseeves 196 16.03.24 08:33 Сейчас в теме

(7) Тут речь идет еще и о последовательности. Мы можем списать товар документом от 01.02 и документом от 15.02. В этом случае должен будет провестись документ от 01.02, а если не хватит остатков на второй, то он не должен провестись. При параллельной загрузке может случиться вероятность, что документы с разными датами могут грузиться одновременно, и возникнет ситуация, когда товар спишется документом поздней даты. Может это всё выглядит надуманно, но ситуации бывают разные.

Вообще эта обработка была придумана для облегчения загрузки: У нас было много очень больших файлов. Сроки поджимали, и каждый файл грузился часов по 5-6, поэтому приходилось мониторить, когда закончится загрузка предыдущего файла и можно запускать следующий. Грузили спецификации номенклатуры.

9. mszsuz 323 16.03.24 13:25 Сейчас в теме

Казалось бы - откуда в "ЗК" взялось "списание товаров"?)
А если серьезно, то при загрузке обычно отключаются все проверки - главное загрузить:
https://its.1c.ru/db/v8std/content/773/hdoc

Процедура ПриЗаписи(Отказ)
	
	Если ОбменДанными.Загрузка Тогда
		Возврат;
	КонецЕсли;

Если же "ЦБ" это "БП", то все равно перепроводить придется для восстановления последовательности.
Так что разбив загрузку на 6 потоков будете вместо 6 часов делать это за 1 час.
Для загрузки спецификаций тем более не должно быть никаких препятствий делить по потокам.