Последовательная загрузка XML

14.03.24

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

+13 –
  • Screen.jpg
Обработка для последовательной загрузки файлов через универсальный обмен данными в формате XML.

Бесплатные

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Узнавайте о новых бесплатных решениях в нашей телеграм-группе Инфостарт БЕСПЛАТНО

Наименование Скачано Бесплатно
Последовательная загрузка XML:
.epf 8,40Kb
53 Скачать бесплатно

Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

Добрый день.

Небольшая обработка, которая позволяет грузить файлы через универсальный обмен данными xml последовательно.

 

Для чего это нужно? 

На проектах внедрения часто возникают ситуации, когда выполняется перенос данных через разовые загрузки/выгрузки с помощью универсального обмена данными xml. Иногда случается так, что файл выгрузки вырастает до очень больших размеров, на который может уйти несколько часов на выгрузку и так же много часов на загрузку. И никто не застрахован от случайного прерывания загрузки в базу источник. 

Решением может быть разбивка файлов на более мелкие файлы. При этом возникает проблема загрузки этих файлов, потому что надо следить за окончанием загрузки файла и запускать новую загрузку нового файла.

Целью обработки была возможность закинуть список файлов в одно место и чтобы всё грузилось автоматически.

Обработка работает на типовой обработке "Универсальный обмен данными в формате XML".

 

Основной принцип работы:

  • Проходим циклом по списку файлов на клиенте;
  • Каждый файл передается на сервер;
  • Инициализируется обработка по обмену данными;
  • Происходит загрузка.

В обработке присутствует минималистичный интерфейс:

Адрес файла, начало и окончание загрузки, а также результат загрузки.

Надеюсь, что кому-нибудь может пригодиться эта обработка.

 

Обработка тестировалась на версии 8.3.20, хотя в принципе должна работать на всех конфигурациях, где есть обработка "Универсальный обмен данными в формате XML".

Вступайте в нашу телеграмм-группу Инфостарт

обработка загрузка xml

+13 –

См. также

Перенос данных из УПП 1.3 / КА 1.1 в БП 3. Переносятся документы, справочники и начальные остатки

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

50050 руб.

25.02.2015    190022    369    292    

426
Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой

58000 руб.

15.04.2019    85555    229    180    

166

SALE! 20%

ED для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ. Новые

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

27633 руб.

12.06.2017    162384    980    324    

483

SALE! 10%

Перенос данных 1С из УПП 1.3 в Бухгалтерию 3.0

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Переносите справочную информацию, остатки и документы из УПП 1.3 в Бухгалтерию 3.0 с помощью готовых правил. Переносится более 50 видов документов. Простой интерфейс и понятные настройки.

42000 37800 руб.

15.12.2021    35151    261    64    

199
Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Перенос данных 1C Программист 1С:Предприятие 8 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактическим удержаниям, НДФЛ, вычетам, страховым взносам из базы Парус 10 учреждений (далее Парус) в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (далее 1С) и начать с ней работать с любого месяца года.

85400 руб.

05.10.2022    13989    16    8    

17
Переход и перенос данных из БП 2.0 в БП 3.0. Переносятся документы, остатки и справочники

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Бухгалтер 1С:Предприятие 8 1С:Бухгалтерия 2.0 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Налоговый учет Платные (руб)

Перенос данных из БП 2 в БП 3 готовые правила конвертации данных (КД 2), сэкономьте свое время! | Выполнить переход с БП 2 на БП 3 в ситуациях, когда простым обновлением перейти не получается | Переносится вся справочная информация, документы за выбранный период, а также начальные остатки на выбранную дату (то есть можно еще и свертку базы сделать при переносе) | Есть фильтр по организациям при выгрузке данных | Перенос можно проверить перед покупкой прямо на вашем сервере! Обращайтесь за проверкой!

50600 руб.

21.05.2019    59089    81    134    

73
Загрузка ГТД в 1С из файлов XML (грузовых таможенных деклараций) из файлов ФТС (Альта софт, Сигма софт, Декларант +)

Операции по ВЭД Файловый обмен (TXT, XML, DBF), FTP Программист Бухгалтер 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Бухгалтерский учет Платные (руб)

Федеральная таможенная служба России давно поддерживает унифицированный формат электронных документов для обмена с информационными системами предприятий. xmlns="urn:customs.ru:Information:ExchangeDocuments:". Структура, утвержденная комиссией Таможенного союза. Осталось только сделать загрузку в 1С из этого формата. На выходе - два документа ГТД по импорту и Поступление (акты, накладные) Обработка актуализирована на начало 2026 года (ставка НДС 22%)

24400 руб.

09.08.2016    95608    372    379    

117
Перенос данных из УПП 1.3 в ЗУП 3.1 или из КА 1.1 в ЗУП 3.1. Переносятся начальные остатки, обороты и справочная информация

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Платные (руб)

Правила переноса кадровых и расчетных данных и справочной информации из "1С:УПП1.3" или "1С:КА 1.1" в "1С:ЗУП 3.1 | Разработан в формате КД 2 (правила конвертации данных) | При выгрузке есть фильтр по организациям | Обновляется при выходе новых релизов 1С | Развитие алгоритмов | Расчетные документы переносятся в документ "Перенос данных" | Создаются документы "Начальная штатная расстановка" и "Начальная задолженность по зарплате", переносятся кадровые документы

58000 руб.

29.10.2018    63386    83    134    

82
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. mszsuz 349 14.03.24 14:48 Сейчас в теме
А пробовали эти загрузки параллельно запускать? В разных фоновых заданиях?
+ – Ответить
2. moiseeves 201 14.03.24 16:00 Сейчас в теме
(1) Добрый день. В том то и суть обработки, что параллельная загрузка может наслаиваться друг на друга и блокировать одни и те же данные, с которыми работают объекты загрузки. Поэтому смысла параллельной нет. Таким образом можно было бы просто в разных сеансах запускать загрузку разных файлов.
+ – Ответить
3. starik-2005 3293 14.03.24 16:07 Сейчас в теме
(2) Если у вас стопиццот точек со стопиццот пакетами, то грузить их последовательно - это такое...
+ – Ответить
4. moiseeves 201 15.03.24 07:12 Сейчас в теме
(3) Грузить один файл весом 10 гб, 6 часов - это такое..., а загрузить 20 файлов по 500 мб - снизится вероятность ошибки загрузки большого файла.
+ – Ответить
5. starik-2005 3293 15.03.24 10:19 Сейчас в теме
(4)
один файл
20 файлов
И в чем связь? Сейчас все в разработке идет в сторону масштабирования: параллельность, шардинг, микросервисы, ... И параллельно грузить 500 файлов - это нормально, а вот грузить их последовательно - это типа как прийти на гонки формулы один и надеяться выиграть, взяв с собой запорожец горбатый. Да, впечатление, конечно, будет, но выиграть не получится по массе причин, каждая из которых будет ухудшать результат: от парусности до крутящего момента.
+ – Ответить
6. moiseeves 201 15.03.24 14:55 Сейчас в теме
(5) Ну не знаю. Попробуйте загрузить параллельно 200 реализаций товаров, с учетом того, что они будут читать остатки товаров все одновременно.
+ – Ответить
7. veonize 16.03.24 02:30 Сейчас в теме
(6)а зачем читать остатки товаров? В смысле если грузим реализацию существующих документов, то проверка на остатки уже произошла при проведении этих документов.
+ – Ответить
10. e-9 62 06.11.24 20:59 Сейчас в теме
(1) недавно завершил такой проект. Полсотни фоновых заданий выгружали данные (с блокировкой данных от "наложения" процессов), дюжина загружали. В базе источнике, в одном регистре сведений, например, было около 48 миллионов записей. Если просто штатно выгружать порциями - около 30 тысяч объектов выгружались по несколько часов, и в итоге падало с нехваткой места на диске. При том что на всех ПКО стояла галка "Не выгружать объекты свойств по ссылкам".
Порции нумеровались, но чисто для именования файлов. Никакой последовательности выгрузки-загрузки эта нумерация не задавала.
Само собой, понадобилось творить нетленку, подсистему с несколькими регистрами (один содержит настройки распараллеливания, остальные чисто "статистические"), и двумя планами обмена - один для регистрации данных к выгрузке (десятка два узлов), второй чисто для выгрузки порций записей регистров сведений. Ну и по мелочам кое-что.
А сама выгрузка - через штатную обработку, по правилам обмена КД2.
...Да, есть несколько сложных нерешенных моментов; точнее, их решение в корне подорвало бы примененный подход - а именно он позволил перенести все данные в приемлемое время. Но, в моем проекте, удалось сделать "постобработку" полученных данных. Заказчик доволен, в итоге.
+ – Ответить
8. moiseeves 201 16.03.24 08:33 Сейчас в теме
(7) Тут речь идет еще и о последовательности. Мы можем списать товар документом от 01.02 и документом от 15.02. В этом случае должен будет провестись документ от 01.02, а если не хватит остатков на второй, то он не должен провестись. При параллельной загрузке может случиться вероятность, что документы с разными датами могут грузиться одновременно, и возникнет ситуация, когда товар спишется документом поздней даты. Может это всё выглядит надуманно, но ситуации бывают разные.

Вообще эта обработка была придумана для облегчения загрузки: У нас было много очень больших файлов. Сроки поджимали, и каждый файл грузился часов по 5-6, поэтому приходилось мониторить, когда закончится загрузка предыдущего файла и можно запускать следующий. Грузили спецификации номенклатуры.
+ – Ответить
9. mszsuz 349 16.03.24 13:25 Сейчас в теме
Казалось бы - откуда в "ЗК" взялось "списание товаров"?)
А если серьезно, то при загрузке обычно отключаются все проверки - главное загрузить:
https://its.1c.ru/db/v8std/content/773/hdoc 
Процедура ПриЗаписи(Отказ)
	
	Если ОбменДанными.Загрузка Тогда
		Возврат;
	КонецЕсли;

Если же "ЦБ" это "БП", то все равно перепроводить придется для восстановления последовательности.
Так что разбив загрузку на 6 потоков будете вместо 6 часов делать это за 1 час.
Для загрузки спецификаций тем более не должно быть никаких препятствий делить по потокам.
+ – Ответить
Для отправки сообщения требуется регистрация/авторизация