Разбор XML Документа с помощью XDTO, без использования XDTO-пакетов и XML-схем (для очень ленивых)

14.11.15

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

Как разобрать XML Документ с помощью XDTO без изменений в конфигурации, без XML-схем данных, и при этом не выпасть с ошибкой "не достаточно памяти" ? Тем более что вам этот XML Документ нужно считать разово.

Скачать исходный код

Наименование Файл Версия Размер
Обработка по Чтению XML и тестовый файл XML
.zip 16,31Kb
45
.zip 1 16,31Kb 45 Скачать

          Освоив однажды простое последовательное чтение XML, для одноразового считывания XML файлов, я не прибегал к каким то другим способам, до того пока мне не встретилась задача по загрузке данных из "Бешеного" файла.

          Задача состояла в том чтоб прочитать одноразово данные выгруженные с сайта (там клиент в течении нескольких лет заполнял описания товара и картинки и т.д. благо синхронизировать можно было по УИД-у) И затянуть их в базу, после чего забыть за эту обработку. И мне не захотелось писать кучу проверок, тем более в этом файле очень часто повторялись имена вложенных узлов, которые обозначали разные поля объекта. Пересмотрев статьи посвященные чтению XML, я пошел по пути наименьшего сопротивления и пришел к XDTO. В основном меня вдохновляла статья от svenderevsky. И на тестовых данных все даже прекрасно заработало, и можно было бы на этом успокоиться и не было бы необходимости создавть эту статью, но как правильно было подмечено Armando все к той же статье, я тоже процитирую:

ИТС: Оптимизация использования оперативной памяти:
Недопустимо работать с большими XML документами с помощью объектов встроенного языка, предназначенных для обработки файлов целиком: текстовые документы в ТекстовыйДокумент, XML в ДокументDOM и HTML в ДокументHTML, а также создавать в памяти XDTO-пакеты размером с весь XML-файл целиком.

В противном случае, весь файл загружается в оперативную память целиком. Исключения составляют отдельные случаи, когда необходим произвольный доступ к содержимому файла, к какой-то конкретной его части.

Следует использовать объекты для последовательной записи и последовательного чтения: ЧтениеXML, ЧтениеТекста, ЗаписьXML, ЗаписьТекста, с помощью которых можно прочитать файл порциями и расходовать память экономно.

При использовании механизмов XDTO неправильно зачитывать в память весь XML-файл целиком (ФабрикаXTDO.ПрочитатьXML(ЧтениеXML)). Вместо этого следует зачитывать XML-файл последовательно, с помощью объекта ЧтениеXML, а его отдельные фрагменты (теги) десериализовывать с помощью фабрики XDTO.

... я как и полагается уже на файле в 300 МБ, уверенно нащупал стандартное 1С-кое "Не достаточно памяти" и аут... Убедился на практике что в XDTO пихать весь файл не хорошо. Но вернусь к цитате с ИТС-а, в ней ведь есть часть ответа, что делать и как. И я вот не нашел реального примера, который бы был прост, без использования XDTO-пакетов, XML-схем и в то же время отвечал требованиям 1С в части оптимизации использования оперативной памяти. И пришлось немного подумать и вот что из этого вышло:

 

          В этом примере XML документ начинает разбираться обычным чтением, пока не дойдет до нужного узла. Этот узел как раз представляет искомый объект, в нашем случае это Номенклатура ( далее как в XML-файле "ПРЕДЛОЖЕНИЕ") и далее файл разбирается уже по узлам, последовательно. Одно предложение за другим. В каждом из предложений, я уже получаю разделенные данные, относящиеся именно к этому объекту(предложению). Скорость работы: 29 000 предложений (а одно предложение содержит кучу реквизитов и свойств часть из них видно на первом скриншоте) на средненьком ноутбуке были разобраны за 1,5 минуты.

В приложенном файле лежат: Обработка - пример читающая данные по вышеописанному алгоритму и XML файл пример содержащий 10 позиций для того чтоб можно было протестировать обработку, и посмотреть более детально на все в отладчике. Обработка писалась под платформой 8.2 для обычных форм.

PS

Возможно, посчитаете это извращением, возможно нет. Оставляйте пожалуйста свое мнение, интересно узнать может этот путь можно было пройти по другому.

XML XDTO Загрузка

См. также

SALE! 10%

Синхронизация и обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 22572 руб.

12.06.2017    136612    730    292    

393

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

34650 руб.

15.04.2019    69487    166    141    

112

SALE! 10%

Перенос данных из УТ 10.3 в УТ 11.5. Переносятся документы (обороты за период), справочная информация и остатки

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.87.x) и УТ 11.5 (11.5.16.x).

28000 25200 руб.

23.07.2020    47482    203    64    

164

SALE! 10%

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.227.x) и БП 3.0 (3.0.151.x). Правила подходят для версии ПРОФ и КОРП.

28000 25200 руб.

15.12.2021    21065    138    38    

97

Перенос данных из ERP 2 / КА 2 в ЗУП 3. Переносятся остатки, документы и справочники

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Воспользовались более 79 предприятий! | Предлагаем приобрести готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | В продаже с 2020г. | Оперативно обновляем правила до актуальных релизов 1С | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

43450 руб.

03.12.2020    34801    83    58    

81

[ED2] Обмен УПП 1.3, КА 1.1, УТ 10.3 с EnterpriseData (универсальный формат обмена), обработка

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Платформа 1C v8.2 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Управление производственным предприятием Россия Платные (руб)

Регулярный обмен, выгрузка, перенос из КА 1.1, УПП 1.3, УТ 10.3 для обмена с любыми конфигурациями, поддерживающими обмен в формате EnterpriseData (КД3) - БП 3.0, ERP, КА 2, УТ 11, Розница 2, УНФ 1.6 и другими. Правила для старых и доработанных конфигураций не требуют синхронного обновления и совместимы с новыми и будущими конфигурациями. Обмен по расписанию, через папку, FTP, почту.

14580 руб.

18.02.2016    183605    565    508    

509

SALE! 10%

Переход и перенос данных из УПП 1.3 в ERP 2.5, КА 2.5. Переносятся документы (обороты за период), справочная информация и остатки

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 Бухгалтерский учет Управленческий учет Платные (руб)

Переход и перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:ERP Управление предприятием 2.5 и 1С:Комплексную автоматизацию 2.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.227.x), ERP 2.5 (2.5.16.x), КА 2.5 (2.5.16.x) .

28000 25200 руб.

24.06.2020    61668    45    27    

75

Перенос данных из БП 3.0 в УНФ 3.0 / УНФ 1.6. Переносятся остатки, документы и справочная информация

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

В продаже с 2018г. | Воспользовались более 41 предприятия! | Правила конвертации (КД 2) для переноса данных из БП 3 в УНФ | Переносятся все виды документов, начальные остатки и вся возможная справочная информация | Есть фильтр по организациям | Оперативно обновляем на новые релизы | Оказываем техподдержку | В комплект файлов входит инструкция, авторская версия обработки "Универсальный обмен...", актуальные правила переноса данных и архив старых версий переноса | Учет в БП 3 должен быть корректным, некорректные данные не переносятся | Можно бесплатно проверить на вашем сервере до покупки!

45650 руб.

10.07.2018    68398    41    124    

46
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Константин С. 668 16.11.15 10:46 Сейчас в теме
Вот что за жлобство, выкладывать Код виде картинки.
LCLNN; dj_serega; +2 Ответить
2. TESL 107 16.11.15 11:46 Сейчас в теме
(1) Константин С., Доброго времени суток, в этом примере не более 10 ключевых строк кода, которые набрать даже очень начинающему программисту не составит труда. Цель статьи - донести идею.
3. Константин С. 668 16.11.15 12:26 Сейчас в теме
(2) а понятно вы строник развития мелкой моторики
4. rozer 309 16.11.15 14:05 Сейчас в теме
(3) Константин С., а у кого не развита мелкая моторика тому и стартмани не жалко )
Den_D; TESL; +2 Ответить
5. Evil Beaver 8136 16.11.15 18:09 Сейчас в теме
XML в 1С вообще сделан очень интересно (на мой субъективный взгляд)

У нас есть объекты-источники (ЧтениеXML, FastInfoset, ЧтениеУзломDOM) и объекты-приемники (ЗаписьXML, ЗаписьУзловDOM и т.п.) Так вот, вы можете гонять XML-потоки между любыми этими объектами, каждый из них имеет свое состояние - позицию внутри потока XML. Именно этот способ вы и описали в статье.

Но это лишь одна из возможностей. Вы, например, можете скидывать кусочки XML в DOM, считывая их из файла, либо получая в виде XDTO-объекта в веб-сервисе... Короче, их можно комбинировать как угодно. И да уйдет в прошлое гадкая практика чтения XML по принципу "запихать в ОЗУ все за один раз, словить нехватку памяти, обвинить в этом 1С".

P.S. Обратите внимание на метод "ЗаписатьТекущий" у объектов-приемников.
TESL; CratosX; MRAK; artbear; +4 Ответить
6. zerg17 24.11.16 16:19 Сейчас в теме
На >ОписаниеНом = ОбXDTO.ЗначенияСвойств.ЗначенияСвойства.Получить(40).Значение;
ругается: Поле объекта не обнаружено (ЗначенияСвойств)
Там в вашем примере просто описание товара? (По другому xml-файлу пытаюсь прочитать).
7. zerg17 24.11.16 17:26 Сейчас в теме
Оставьте свое сообщение