gifts2017

Выгрузка Загрузка Данных COM-XML v8.1

Опубликовал в раздел Обмен - Обмен через XML

Универсальная обработка для выгрузки загрузки данных в идентичную конфигурацию. Может использовать файл для переноса данных, а возможно использование прямого подключения к БД.
Используется для перенесения данных в идентичную конфигурацию через сериализацию объектов. Адаптировано для переноса данных сверх-больших объемов!!!

Обработка создана на основе типовой из КД 2.0.28. 

Функционал:

  • Выгрузка данных в идентичную конфигураци
  • Обмен через файл (XML или FastInfoset)
  • Выгрузка движений с документом
  • Добавлена работа с COM-соединением - для прямой выгрузки в БД-приемник.
  • Получение данных из плана обмена - для перегрузки изменений.

Почему не устраивает типовая? Т.к. для переноса данных очень больших баз - 1С:Предприятие набирает более 1200 мб оперативной памяти и вылетает с ошибкой "Нехватка памяти".

Данная обработка для использования прямого обмена (COM) с БД должна быть включена в состав конфигурации (хотя бы временно) в ИБ-приемнике.

Планируется:

  • Отчет-сравнение состояния объектов в базе данных

 

История:

v.3:

Доработана "поддержка большого объема данных".

v.2:

Добавлена возможность использовать ПланОбмена в качестве источника данных.

v.1:

Добавлена работа по COM-соединению в типовую обработку.

Скачать файлы

Наименование Файл Версия Размер
Выгрузка Загрузка Данных COM-XML81.epf v3 3176
.epf 84,70Kb
08.12.09
.epf 84,70Kb Скачать
Выгрузка Загрузка Данных COM-XML81.epf v2 318
.epf 81,75Kb
08.12.09
318
.epf 81,75Kb Скачать
Выгрузка Загрузка Данных COM-XML81.epf 333
.epf 80,85Kb
25.11.09
333
.epf 80,85Kb Скачать

См. также

Подписаться Добавить вознаграждение
Комментарии
1. Руслан Микулович (rumik007) 23.11.09 15:00
А файлик мона загрузить, или мы тока увидим ссылку ???
2. marmyshev 23.11.09 15:02
(1) не нервничайте! просто Хром не грузил что-то файлы на сервер.. ;)
Залил, все ок.

Пишите ваши комментарии!!! :D
3. Алексей Коробов (WiseSnake) 23.11.09 15:30
>>Добавлена работа с COM-соединением - для прямой выгрузки в БД-приемник.
Так вроде типовая так же умеет подключаться к базе приемнику и без включения в конфигурацию. Вы стандартным прямым переносом пробовали делать?
4. Алексей Коробов (WiseSnake) 23.11.09 15:32
А Конвертация данных 2.1.1 и с регистрацией данных работает
5. marmyshev 23.11.09 16:13
(3) похоже вы никогда не проверяли эту функцию сами лично! ;)
Стандартный прямой перенос??? Это что такое? есть выгрузка по правилам обмена... и есть выгрузка через сериализацию объектов. Я использую последнюю - только дописанную для работы с COM.
6. marmyshev 23.11.09 16:25
(4) тут речь не о самой КД!!! А о возможности получать из плана обмена ссылки для переноса только измененных данных. Перенос только в идентичную конфигурацию.
7. Ulcer (KapasMordorov) 23.11.09 17:25
(3)
Это типовая, но другая обработка, для переноса по идентичным конфигурациям.
И в ней для COM отсутствует.
8. Алексей Коробов (WiseSnake) 23.11.09 17:37
(5,6) Стандартный прямой перенос это написать правила переноса (для идентичных баз это плевое дело) и выгружать стандартной обработкой (которая в новой версии поддерживает регистрацию в планах обмена).
Я говорю о том, что стандартной обработкой ИМХО можно добиться тех же результатов.

>>есть выгрузка по правилам обмена... и есть выгрузка через сериализацию объектов. Я использую последнюю - только дописанную для работы с COM.

А типовая по Вашему как делает перенос? Через COM и делает по правилам обмена..

Да и таких простых задач когда тупо перенести из базы в базу это 1% из всех. Мне, кстати, так ни разу и не попалась такая задача.

P.S. Может я чего не понял, я ж всего лишь человек ;). Объясните дурню..
9. Алексей Коробов (WiseSnake) 23.11.09 17:40
(5,6,7) От ексель-моксель, точно :oops: Я ее просто никогда не пользовался... Извините! :)
10. marmyshev 23.11.09 17:57
(9) Судя по всему вы не "дурень" ;) Правильные вопросы задаете! ;)

Типовая обработка - это загрузка-выгрузка по правилам. Это очень "энергоемкий" процесс.
Когда нужно перенести из одной базы в другую - самый быстрый способ - это "сериализация" объектов. (такого в типовом обмене XML нет!).
Для сериализации есть типовая обработка ВыгрузкаЗагрузкаДанныхXML81.epf - и все бы хорошо!!! НО! именно у этой обработки нет COM-подключения к ИБ-приемнику!!! Можно было бы через файл - но эта обработка вылетает на очень больших объемах баз - более 10 ГБ! (Мы выгружаем 250 ГБ!!!!). При этом встает вопрос переноса движений документа - если конфигурация часто и много менялась - то перенести правильно движения практически не возможно с помощью обмена по правилам!!! - Опять же спасет только сериализация наборов записей!

В итоге - эта обработка! Кому интересно - пользуйтесь! ;) И не забывайте ставить плюсики! ;)
11. Алексей Коробов (WiseSnake) 23.11.09 18:13
(10) За правильные вопросы спасибо, конечно, тока они не правильные :) и не успокаивайте. И 1совцы подвели меня, как же так, не запихнуть COM в стандартный обмен :). Просто я не догнал, что за обработка переноса через сериализацию :oops:

ПС: Плюсик то я поставил, вот только из поста (10) можно убрать фразу о плюсиках, а то расценим как попрошайничество и насуем минусов :). К тому же за вас уже давно все написали (возле бАльшой звездочки) ;)
12. naus (Danil.Potapov) 23.11.09 19:30
(10) Кстати, если взял за основу ВыгрузкаЗагрузкаДанныхXML81.epf, то там есть серьезная ошибка, каждый набор записей выгружаются столько раз сколько строк в нем содержится, поэтому файл так пухнет. Но почему обработка вылетает на больших объемах не разбирался, возможно это ограничение объекта Чтениеxml.
13. Vakil Khafizov (vkl) 25.11.09 14:02
V2 чем отличается? У меня выдает "Недостаточно памяти", точно такое же выдает при выгрузке в файл, как стандартной так и представленной обработкой.
14. Влад Петров (fox06) 25.11.09 17:43
15. Vakil Khafizov (vkl) 25.11.09 19:58
to fox06: Ну и кому нужны рожицы (разве что любителям сортировать файлы :-)
Кто нибудь ответит на вопрос?
Что значит фраза "Т.к. для переноса данных очень больших баз - 1С:Предприятие набирает более 1200 мб оперативной памяти и вылетает с ошибкой "Нехватка памяти"" - данная обработка c использованием "прямого обмена" дает такой же результат.
16. marmyshev 25.11.09 20:14
(15) Как раз работаю над этой проблемой!
Применил пошаговую выгрузку данных - все равно тот же результат... :(
"На подходе" еще один вариант решения проблемы - тестирую...
Проблема не в объектах Чтениеxml или Записьxml - проблема в кэшировании данных - когда выгружается более 300 тыс. ссылок... у меня процесс уже 1500мб в оперативке, но пока еще не вылетел. :)
При использовании данных из плана обмена - увеличение памяти вообще не происходит!
17. naus (Danil.Potapov) 25.11.09 22:06
(16) Постой, а зачем этот дуралей кэширует?
18. marmyshev 26.11.09 00:08
19. Надежда Иванова (Nadezhda09) 26.11.09 14:42
Здравствуйте!
Очень понравилась обработка! Большое спасибо!
Жалко только, что не работает для обмена данными между ЗУП и УПП
20. marmyshev 26.11.09 16:29
(19) в описании написано:
> Используется для перенесения данных в идентичную конфигурацию

Это не для обмена - а для переноса.
21. Елена Королева (bearcat) 27.11.09 00:17
Всем доброго времени суток.
Разработчику и тем, кто уже скачал, плиз, ответьте, если не трудно на три вопроса:

1. этой обработкой можно пользоваться для выгрузки из 1С 8.1 УТ в 1С 8.1 БП (базовая) ?

2. в этой обработке можно "отключать" нежелаетльные для выгрузки документы?

3. в этой обработке как происходит "сравнение" контрагентов на совместимость? Как в типовой 1С по всем параметрам : (внутренний код, краткое наименование, полное наименвоание, ИНн, КПП, код догвора)? Или сделано по уму, только по ИНН (так как всем же понятно, что ИНН может быть присвоен налоговыми органами только одному контрагенту, а не ста и даже не двум. Так зачем 1С-овцы нагромоздили, чтобы совпадало все, абсолюно непонятно. Менелджеры постоянно меняют название, то кавычку добавят, то буквы изменят, а программа считает это уже другим контрагентом и выгружает его втрой строкой рядом с уж имеющимся!!!

Как в предложенной обработке решены эти вопросы?

22. marmyshev 27.11.09 00:22
(21) Вот ответы:
1) - нет.
2) - да.
3) - нет.

Вообще-то вы не по адресу! Эта обработка предназначена совершенно для других целей!
Поищите обработку УниверсальныОбменДаннымиXML.epf
23. anton448 garcov (anton448) 27.11.09 09:33
по ходу дела смотрю и сразу же пришу вопросы...

Узел-источник - для какой цели этот реквизит необходим?

24. anton448 garcov (anton448) 27.11.09 09:34
А так в общем и в целом плюс за идею...
25. Надежда Иванова (Nadezhda09) 27.11.09 09:39
Главным было сочетание ЗУП-УПП
26. marmyshev 27.11.09 10:47
(23) Узел-источник - это источник получения данных для обмена. В противном случае объекты выбираются запросом к базе.
27. Rustem Galin (rustemg) 03.12.09 11:20
Пытаюсь этой штучкой перекинуть константы справочники из УТ10.3.3.3 на УТ 10.3.8.9. Пишет:
При попытке создания объекта ВыгрузкаЗагрузкаДанныхCOMXML произошла ошибка:{ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML(2959)}: Поле объекта не обнаружено (ВыгрузкаЗагрузкаДанныхCOMXML)
28. marmyshev 04.12.09 09:46
(27)
1) эта обработка - ТОЛЬКО ДЛЯ ИДЕНТИЧНЫХ КОНФИГУРАЦИЙ! (а вы уже не идентичные конфигурации используете)
2) с константами там немного сложнее работа. Но попытайтесь проверить соответствуют ли константы в конфигурациях...
29. Rustem Galin (rustemg) 07.12.09 09:10
Не могу же оставаться на старой версии УТ, надо как то продвигаться. Как еще перекинуть большие данные..
30. marmyshev 07.12.09 13:08
(29) На самом деле можно использовать и не для идентичных конфигураций - нужно только убедиться что метаданные объектов источника и приемника совпадают. С константами точно есть расхождения в этих версиях - попробуйте по одной вручную перекинуть то что совпадает.
31. Rustem Galin (rustemg) 07.12.09 21:24
Классно было бы сделать кнопку при COM-соединении: "Выбрать совпадающие объекты ". Можно будет перекидывать справочники между любыми конфами.
32. ut2k5 (ut2k5) 11.12.09 12:53
... Уважаемы комментаторы, прежде чем писать замечания, внимательно читайте описание, зачем Вы человека мучаете, он же написал, обработка используется для переноса данных ИДЕНТИЧНЫХ КОНФИГУРАЦИЙ..., предмет использования узко-специализированный..., хотя в моем случае случается часто :)
автору спасибо :) щас найду, где ставить +
33. Александр Медведев (anig99) 14.12.09 11:31
Выгрузка чисто движение по регистрам бухгалтерии работает неверно - нет субконто.
34. Евгений Изотов (Letos) 19.12.09 15:14
А есть что-нибудь подобное для 1с7.7. А то надо сделать выгрузку с 7 в 8 а база слишком большая, и выгрузку не удаётся выполнить.
36. Игорь (Igor_A) 14.03.10 18:11
А в 8.2 версии не работает :( Пишет, что не поддерживается данной версией.
37. marmyshev 14.03.10 20:40
(36) Советую вам прежде прочитать заголовок! ;)
38. dushelov (Душелов) 14.03.10 23:03
(37) Тогда стоит подправить рубрики: "Внешний отчет, обработка для 1С: Предприятие 8.0; 1С: Предприятие 8.1; 1С: Предприятие 8.2"
39. Роман Зиновьев (Широкий) 07.05.10 10:40
Обмен в формате FastInfoset - только у меня не работает или это в принципе не работает?
40. marmyshev 07.05.10 14:29
(39) Вообще работает FastInfoset. Правда с ним не все так просто как с XML, но вобщем переносить можно. Если пишите - пожалуйста по конкретней проблему описывайте!
41. marmyshev 07.05.10 14:32
(36) Для версии 8.2 достаточно сконвертировать обработку и запустить приложение в режиме толстого клиента.
42. Роман Зиновьев (Широкий) 07.05.10 14:33
(40) Конкретнее - выгружаю твоей обработкой справочник в файл и гружу в эту же конфу.
Выгружается нормально, но при загрузке вываливает ошибку.
43. Роман Зиновьев (Широкий) 07.05.10 14:34
44. marmyshev 07.05.10 18:07
(42) А текст ошибки можно? Но таких проблем никогда не возникало - скорее вопрос в данных...
45. Павел (danpir) 19.05.10 14:41
Платформа (8.2.10.82) . Режим толстого клиента.

При выгрузке данных на прямую в ИБ через COM. Возникает такая ошибка:
"При попытке создания объекта ВыгрузкаЗагрузкаДанныхCOMXML произошла ошибка:{ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML.МодульОбъекта(3123)}: Поле объекта не обнаружено (ВыгрузкаЗагрузкаДанныхCOMXML)
"
46. Игорь Игорь (uri97) 25.05.10 17:33
Как сделать так, что бы при загрузке элементов справочника коды не дублировались, а назначались новые?
47. Дмитрий Медведев (dimbasbear) 15.06.10 11:08
при выгрузке из УТ 10.3.4.10 документа "Реализация товаров и услуг" - все время выгружает 0. Хотя все в обработке выбрано правильно....Сначало выгружала,теперь нет :(
48. Evgeniy Tikhomirov (jominal) 17.04.11 14:22
49. Dimel 29.04.11 06:12
Обработка то неплохая, только баги из типовой тянутся. Например галочка "Отключить использование итогов во время загрузки данных" работает наоборот т.е. при установленном флаге итоги не выключаются, а при снятом отключает использование итогов.
50. Сабир Абдурахманов (Nigelist) 19.05.11 08:05
Плиз, закиньте кто-нибудь последнюю версию обработки на какой нибудь файлообменник. Или прямую ссылку в личку.
51. lakomka финиш (lakomka) 25.08.11 12:51
Подойдет ли эта обработка для объединения 3 баз по трем разным организациям БП 2.0 в одну ?
52. Алексей Меркулов (Без бекапа) 14.09.11 18:33
Здраствуйте! Скачал обработку, пробую тестировать...
Возник вопрос:

1)Имею 2 идентичные конфигурации УПП (1.3) Источник-(А), Приемник-(Б).
Переношу через xml справочник "Статьи движения денежных средств".

2)До переноса - в базе (Б-приемнике) часть элементов справочника существует и одинакова с некоторыми элементами того же справочника базы (А-источника).

3)После переноса - элементы с одинаковыми кодами в базе Б задваиваются, т.е. вместо того чтобы проигнорировать такой перенос - система создает с тем же кодом новые, и с тем же наименованием.

Возможно я чего-то не понимаю в настройке обработки.
Друзья подскажите пж-та!
53. ediks (ediks) 14.09.11 18:42
(52) Это означает, что внутренние идентификаторы объектов не совпадают, несмотря на все остальные одинаковые реквизиты (наименование, код и т.д.). Возможная ситуация - данные переносились какими-либо обработками или копировались вручную.
54. Алексей Меркулов (Без бекапа) 14.09.11 18:47
(53) И как же тогда на Ваш взгляд лучше поступить?
В базе Б, часть указанных элементов, что задвоились - однозначно вручную была введена...
И удалить их нет уже никакой возможности - провели ряд документов в базе Б с этими ручными элементами справочника.
55. ediks (ediks) 14.09.11 19:51
(54)
1) По идее нужно воспользоваться конвертацией данных, создать правила обмена этого справочника. Но указать в свойствах объекта синхронизацию по коду (ну или какой там синхронизирующий реквизит).
Создание правил для переноса одного справочника не займет много времени.
2) найти обработку для переноса справочников - их здесь немеряно.
Без бекапа; +1 Ответить
56. Vit Ast (astvit15) 07.10.11 14:40
57. Надежда М (jiggli) 11.10.11 08:59
хорошая идея, мне понравилась. Спасибо!
58. icemurm (icemurm) 19.10.11 18:58
59. icemurm (icemurm) 19.10.11 19:03
60. Ирина Борисова (gorchiha) 21.10.11 14:09
Большое спасибо, очень удобная программа.
61. Иван Сидоров (itit) 26.10.11 11:56
хорошо помогла в свое время
62. Вадим Д. (Komp-as) 27.10.11 17:22
Искал данную обработку очень давно! хотелось бы проверить как она работает в Зарплате и кадрах бюджетного учреждени!
63. Алина Алинова (Acasta) 30.10.11 21:17
Очень пригодилась обработка, спасибо!
64. Сергей Маслов (sirm) 01.11.11 21:04
Очень пригодилась.
Выгружаю УТ 10.3 <--> УТ 10.3 (баз).
Правда иногда выгружает с ошибками.
Почему непонятно...
65. Иван Васильев (LevSon) 11.11.11 10:13
66. Michael ss (Mic) 25.11.11 12:58
нашел версию 2.1.2 (скачать v.3 нет прав)
добавил флажок на запрет выгрузки движений регистров у документов по ссылкам (при вводе остатков)
а в остальном все ОК
67. achikunov achikunov (achikunov) 28.11.11 13:46
Удобная обработка для переноса документов.
69. Катерина Ситалова (kotyas) 16.01.12 12:38
70. Ярослав --- (JinTropin) 20.01.12 10:58
Спасибо, удобная обработка, часто пользуюсь.
71. coollerok (Coollerok) 20.01.12 17:24
72. Брест Беларусь (zhleonid8) 01.02.12 02:15
сверх-больших объемов это радует
73. Брест Беларусь (zhleonid8) 01.02.12 02:15
74. Брест Беларусь (zhleonid8) 01.02.12 02:17
перенос нужен из нетиповой обратно в типовую изменения минимальны
75. Ден Володин (Voloden) 13.02.12 18:17
76. psih12 15.02.12 16:48
Кто знает, почему, если обработка загружена в "Бухгалтерию 2.0" сохранение настроек работает нормально, а если в "УТ 10.3" платформы 8.2 вылетает ошибка, что не может записать несериализуемый элемент? И как это победить?
77. Гость 20.02.12 10:29
Спасибо за обработку, пригодилась
78. Сергей Бурыка (BurSer) 22.02.12 06:01
Спасибо ! Срочно понадобилось перенести данные из сбойной базы, искал, нашел. Автор - молодец ! Тем более, что история этой обработки заслуживает отдеьного внимания. Всем рекомендую сначала прочитать комментарии к этой обработке - много интересного почерпнёте.
80. WWWolfy (WWWolfy) 21.03.12 13:09
Пригодилась при переносе УТ-УТ
Типовая падала при выгрузке в xml-файл с криком "Недостаточно памяти"
81. protlt (protlt) 25.03.12 18:36
А для Бухгалтерии 2.0. подходит?
82. Роман Валеев (baralgin1003) 26.03.12 10:05
При попытке создания объекта ВыгрузкаЗагрузкаДанныхCOMXML произошла ошибка:{ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML.МодульОбъекта(3123)}: Поле объекта не обнаружено (ВыгрузкаЗагрузкаДанныхCOMXML)

в чем может быть причина?
83. Роман Валеев (baralgin1003) 26.03.12 10:08
и еще

{ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML.МодульОбъекта(230)}: Ошибка при вызове метода контекста (ПрочитатьXML)
ЗаписанноеЗначение = ПрочитатьXML(ЧтениеXML);
по причине:
Ошибка преобразования данных XML: [file://C:/Users/adam/Desktop/Временная/выгрузка.xml][63,16]

выгружал-загружал только этой обработкой. Спасибо
84. marmyshev 26.03.12 11:13
(82) baralgin1003,
COM-режим можно использовать только при определенных условиях. См. описание.
85. marmyshev 26.03.12 11:16
(83) baralgin1003,
Вероятнее всего:
1. в процессе выгрузки была ошибка - файл не дописан до конца.
2. структуры объектов выгрузки и загрузки разные.

Полагаю что второй вариант, т.к. ЧтениеXML прошло успешно.
86. AllaS (lady_lace@mail.ru) 17.04.12 10:36
Добрый день. Спасибо за обработку.
87. Рамиль Хафизов (jump0) 04.10.12 13:49
Отличная обработка. Буду пробовать объединять базы.
88. Piotr (Tolpinski) 18.10.12 09:54
Такая же ошибка как у baralgin1003
Пытаюсь штатное расписание из ЗУП грузить, конфигурации одинаковые.
89. Евгений Рачковский (eugen91) 04.01.13 13:18
Как загрузить в 1с 8.2 ут 10.3 даныне из Ут 11?
90. Сергей Маслов (sirm) 12.04.14 14:04
А работу по FTP не планируется добавить?
91. Kostya Zhurov (It-developer) 27.11.14 13:50
Отбор походу Вы не допиляли :((( В регистрах сведений. Хотя то, наверно, не Ваш косяк, а типовой обработины ВыгрузкаЗагрузкаXML
92. Константин Юрин (kostyaomsk) 10.12.14 07:00
Вопрос автору и форумчанам: насколько эффективна по сравнению со стандартной загрузкой-выгрузкой в XML? Вижу что 2009 год. Может подойдет для древних конфигураций 8.1 Кто как использовал?
93. Kostya Zhurov (It-developer) 11.12.14 17:43
(92) Крутая вещь - быстрее грузим. Точнее - ставим выгрузку-загрузку, идем на обед и видим, что все сделано :))) Сейчас юзаю очень активно. Пришлось допилять регистры накопления и регистры сведений фильтры. Не удобно то, что используется построитель отчета, в котором нельзя поставить условие ИЛИ