Дано, 1С-база источник, доступная по COM-соединению, в идеале, имеющая общий файловый ресурс.
Файловый ресурс, который нужен исключительно для того, чтобы можно было положить ".xml" файл с результатами выборки, чтобы всякий раз (при отладке настройки соответствия данных) не дергать COM-соединение на стороне источника.
Суть предлагаемого подхода в следующем:
Написана обработка, которая помещается во внешние обработки базы-источника, в которой она собирает все необходимые данные (согласно ее параметрам) и либо сохраняет их в указанный файл, либо, если данные не велики, передачу обратно в структуре ответа как результат вызова функции. В ее общем модуле созданы специальные функции, которые обеспечивают выборку нужных данных, и их сохранение во внешний файл.
Для универсальности, эта же обработка запускается в базе приемнике, за счет чего мы имеем часть общего кода, что оптимизирует разработку и избавляет от необходимости синхронных правок в двух местах. Из базы приемника она обращается по COM-соединению к базе Источника, вызывает специальный метод во внешней обработке, которому передает текст запроса (с параметрами или без), получая в ответ таблицу значений из структур, заполненных результатом выполнения (на стороне базы источника) переданного запроса.
&НаКлиенте
Процедура Тест_Источника(Команда)
ОбработатьТаблицу("Валюты", "ВЫБРАТЬ ПЕРВЫЕ 1 т.Ссылка КАК Ссылка из СПРАВОЧНИК.Валюты КАК т");
КонецПроцедуры
&НаСервере
Процедура ОбработатьТаблицу(имяТабл, текстЗапроса)
тз = Ист_xml_ПолучитьТаблицу(имяТабл, текстЗапроса); // таблица значений со структурами данных объектов источника.
для каждого стр из тз цикл
// если тип совпадает, то стр._MetName, иначе нужное имя.
хВладелец = Неопределено;
хЭл = СоздатьЭлСправочника(стр._MetName, стр, 1, Ложь, хВладелец );
КонецЦикла
КонецПроцедуры
&НаСервере
Функция Ист_xml_ПолучитьТаблицу(имяТабл, текстЗапроса)
ПараметрыВызова = Новый Структура("Действие, ПараметрыКоманды", "COM_Вызов" , Новый Структура());
ПараметрыВызова.ПараметрыКоманды.Вставить("СтрокаПодлючения", "Srvr=""CLS-1C-8-1:2541"" ; Ref=""41165_578_74408""; usr= ""web"" ; pwd= ""12345"" ");
ПараметрыВызова.ПараметрыКоманды.Вставить("ИмяТабл", имяТабл);
ПараметрыВызова.ПараметрыКоманды.Вставить("текстЗапроса",текстЗапроса);
ПараметрыВызова.ПараметрыКоманды.Вставить("XML", Неопределено);
хРез = ВызовОбщ(ПараметрыВызова);
если НЕ хРез.Свойство("XML") или хРез.XML = "" Тогда
ВызватьИсключение хРез.текстОшибка;
Конецесли;
возврат СериализаторXDTO.XMLЗначение(Тип("ХранилищеЗначения"), хРез.XML ).Получить();
КонецФункции
/// Функция создания элемента справочника
Функция СобздатьЭлСправочника(НаимМет, хД, УровеньРекрс, СохрУИД, Владелец)
ъЭл = Справочники[НаимМет].СоздатьЭлемент(); // тип совпадает ??
ЗаполнитьЗначенияСвойств(ъЭл, хД);
если СохрУИД Тогда
ъЭл.УстановитьСсылкуНового(Справочники[НаимМет].ПолучитьСсылку(хД._UID));
Конецесли;
ъЭл.Владелец = Владелец;
Парам = Новый Структура();
хРез3 = ЗаполнитьПоИерархии(ъЭл, хД, УровеньРекрс+1, Парам);
возврат ъЭл.Ссылка;
КонецФункции
В результате приходит структура, позволяющая оценить успешность выполнения по количеству строк, или тексту ошибки.
Здесь мdT это массив замеров времени на выполнение самой функции и времени записи данных в файл, т.к при больших объемах это может занимать несколько минут (при десятке тысяч документов + их вложенные по иерархии объекты, файл занимает сотни мегабайт). После преобразования XML в Таблицу значений, при таком вызове получаем таблицу значений, содержащую 1 строку, в которой объект, это структура данных элемента справочника Валюты базы источника.
Все вложенные объекты так же раскрываются в виде структур.
для запроса ДоговорКонтрагента это выглядит так
В данном примере тип Перечисление передан в виде структуры, с текстовым представлением его значений.
Далее уже предстоит обработать полученные данные с помощью рекурсивных процедур создать\заполнить реквизиты в базе источнике: реквизиты простых типов переносятся автоматически, например так:
ТипЗначения = ТипЗнч( ъОб[Реквизит.Имя]);
ОбъектМетаданных = Метаданные.НайтиПоТипу(ТипЗначения);
ИмяТипаМетдТекРеквизита = "";
если ОбъектМетаданных <> Неопределено Тогда
ИмяТипаМетдТекРеквизита = ОбъектМетаданных.Имя;
Конецесли;
если хД.Свойство(Реквизит.Имя) Тогда
если ТипЗначения = Тип("Число") или
ТипЗначения = Тип("Строка") или
ТипЗначения = Тип("Дата") или
ТипЗначения = Тип("УникальныйИдентификатор") или
ТипЗначения = Тип("Булево") или
ТипЗначения = Тип("Null") или
ТипЗначения = Тип("неопределено") тогда
ъОб[Реквизит.Имя] = хД[Реквизит.Имя];
продолжить;
иначеесли Строка(ТипЗначения) = "Хранилище значения" Тогда
продолжить;
Конецесли;
если Реквизит.Имя = "Владелец" Тогда
ъОб.Владелец = Справочники[хД.Владелец._MetName].ПолучитьСсылку(хД.Владелец._UID);
Конецесли;
если Реквизит.Имя = "Родитель" Тогда
ъОб.Родитель = Справочники[хД.Родитель._MetName].ПолучитьСсылку(хД.Родитель._UID);
Конецесли;
C перечислениями, увы, приходится делать функцию, возвращающую соответствующее значение соответствующего перечисления в базе приемника, имея на входе структуру с максимальной информацией об источнике (см. рис).
так же функция передачи объекта в структуры обрабатывает не все виды метаданных., если они Вам встретятся, то придется доделать эту часть руками (по аналогии с тем что уже есть по другим веткам)
ОбъектМетаданных = Метаданные.НайтиПоТипу(ТипЗначения);
Если Метаданные.Справочники.Содержит(ОбъектМетаданных) или
Метаданные.Документы.Содержит(ОбъектМетаданных) Тогда
если ЗначениеЗаполнено(ъОб[Реквизит.Имя]) Тогда
если 0 <> Найти(ИмяРеквизита, "/" + Реквизит.Имя ) Тогда // закрутка!
если Неопределено <> щХэш[ъОб[Реквизит.Имя].Ссылка.УникальныйИдентификатор()] Тогда
Результат.Вставить(Реквизит.Имя, щХэш[ъОб.Ссылка.УникальныйИдентификатор()] );
иначе
Результат.Вставить(Реквизит.Имя, null );
КонецЕсли;
иначе
Результат.Вставить(Реквизит.Имя, РеквизитыОбъектаВСтруктуруEx(ъОб[Реквизит.Имя], левел+1, ИмяРеквизита + "/" + Реквизит.Имя, щХэш ) );
КонецЕсли;
иначе
Результат.Вставить(Реквизит.Имя, Неопределено);
Конецесли;
иначеесли Строка(ОбъектМетаданных) = "План счетов бухгалтерского учета" Тогда
иначеесли Строка(ОбъектМетаданных) = "Дополнительные реквизиты и сведения" Тогда
иначе
Результат.Вставить(Реквизит.Имя, Строка(ъОб[Реквизит.Имя]));
Конецесли;
При создании элементов на стороне приемника
Важно определить методику поиска соответствующего парного объекта в базе Источнике, особенно, если меняется тип, например, док. типа. АктВыполненныхРабот в ЕРП кладется в УХ в док. типа РеализацияТоваровУслуг., вопрос, будет ли переноситься номер из ЕРП в УХ, или он там будет со своим номером ? В некоторых случаях во все документы в приемнике я добавлял временный реквизит EX_UID, в который сохранялся уид базы источника., теем самым позволяя жестко связать документы между собой для заполнения остальных реквизитов.
xОб = Документы[ИмяТипа].НайтиПоРеквизиту("EX_Uid", Новый УникальныйИдентификатор(хД.UID));
//xОб = ПолучитьСсылку(Новый УникальныйИдентификатор(хД.UID));
ъОб = xОб.ПолучитьОбъект();
если ъОб = Неопределено Тогда
ъОб =Документы[ИмяТипа].СоздатьДокумент();
ъОб.EX_Uid= Новый УникальныйИдентификатор(хД.UID);
//
В случае справочника, необходимые объекты ищутся соответствующими их типу способами (что то по ссылке, если она одинакова, что то по набору реквизитов (код, Владелец, Родитель), что то просто по наименованию., и, если их нет, они либо создаются рекурсивным вызовом в этой же функции, либо создаются заранее, при специальных предыдущих выборках.
Это важное преимущество этого варианта от стандартного обмена.
Преимущество данного подхода состоит в максимальной открытости и контролируемости процесса стыковки всяких сложных сущностей. Например, предварительно вытянув необходимые данные (спр.ГруппыФинансовогоУчетаРасчетов), можно программно сгенерировать текст подобной функции, которая потом может быть использована для стыковки счетов в приемнике через наименование в источнике.
&НаСервере
Функция Получить_Соотве_СчетовГФУ()
х = Новый Соответствие();
х.Вставить("Расчеты через 76.09 (в рублях) - клиенты", Новый Структура("Долг,Авансы,Претензии, Валюта,ui", "76.09","76.09", "", Ложь, "e1cib/data/Справочник.ГруппыФинансовогоУчетаРасчетов?ref=..." ));
х.Вставить("Расчеты через 76.09 (в рублях) - поставщики", Новый Структура("Долг,Авансы,Претензии, Валюта,ui", "76.09","76.09", "76.02", Ложь, "e1cib/data/Справочник.ГруппыФинансовогоУчетаРасчетов?ref=..." ));
х.Вставить("Расчеты через 76.39 (в валюте)", Новый Структура("Долг,Авансы,Претензии, Валюта,ui", "76.39","76.39", "76.39", Истина, "e1cib/data/Справочник.ГруппыФинансовогоУчетаРасчетов?ref=..." ));
х.Вставить("Расчеты через 76.29 (в валюте) с поставщиками", Новый Структура("Долг,Авансы,Претензии, Валюта,ui", "76.29","76.29", "76.29", Истина, "e1cib/data/Справочник.ГруппыФинансовогоУчетаРасчетов?ref=..." ));
// и т.д.
.
возврат х;
КонецФункции
В случае, когда имя метаданных меняется, как то мы наблюдаем между УХ и ЕРП в док. ЗаказКлиента я сделал специальную функцию, которая возвращает имя метаданных в базе приемника. Эти данные можно вытянуть из КД из их готового плана обмена.
&НаСервере
Функция Мут(_MetName, Имя)
если _MetName = "ЗаказКлиента" Тогда
если Имя = "Валюта" Тогда возврат "ВалютаДокумента"; Конецесли;
если Имя = "Договор" Тогда возврат "ДоговорКонтрагента"; Конецесли;
// и т.д.
Конецесли;
возврат Имя;
КонецФункции
При огромных объемах можно разбить на этапы
1. Не перетаскивать лишнее, в т.ч. дубли и иной мусор. Вытащить только все значимые (не пустые) элементы типа справочник, участвующие в нужных документах за переносимый период, сохранить полученную таблицу структур в ".xml" файл, далее, работая уже с ним, постепенно сформировать все элементы в базе приемника, рекурсивно, со всеми вложенными сущностями как то, например для Договора это будут валюты, организации, контрагенты и их контактные данные., или, если лень завязываться с рекурсией, разделить на типы, и пройтись по каждому типу (Валюты, Контрагенты) по отдельности., последовательно, создав все множество объектов.
2. перенести сами документы. Все необходимые им реквизиты с типом справочника должны будут найтись, тк были созданы ранее.
3. Если документы связаны между собой основанием или участвуют в табличной части, в возвращаемую таблицу можно добавить колонки для этих документов, выгрузить данные для свей связки документов одновременно, после чего так же одновременно сформировать все объекты в базе Приемнике, обеспечив корректные ссылки в реквизитах.
Код выгрузки связки документов на примере Счета - ПКО, Приобретения, сетов фактуры мог бы выглядеть так:
тз1 = Новый ТаблицаЗначений;
тз1.Колонки.Добавить("_UID", , "UID 1C", 1);
тз1.Колонки.Добавить("_Тип", , "ТипЗнч", 1);
тз1.Колонки.Добавить("_ТипО", , "ТипЗнч", 1);
тз1.Колонки.Добавить("_MetName", , "Имя метаданных", 1);
тз1.Колонки.Добавить("_Наим", , "Наим", 1);
тз1.Колонки.Добавить("_ОбъектЗаказКл", , "Заказ клиента", 1);
// связанные с ним документы:
тз1.Колонки.Добавить("_ОбъектAктВыпРаб", , "АктВыполненныхРабот", 1);
тз1.Колонки.Добавить("_ОбъектНакл", , "ПриобретениеТоваровУслуг", 1);
тз1.Колонки.Добавить("_ОбъектСфВыд", , "СчетФактураВыданный", 1);
тз1.Колонки.Добавить("_ОбъектСфПолуч", , "СчетФактураПолученный", 1);
для каждого хД из мСсылокЗаказы цикл
если ЗначениеЗаполнено(хД) и ЗначениеЗаполнено(хД.Ссылка) Тогда
попытка
новСтр = тз1.Добавить();
новСтр["_UID"] = хД.Ссылка.УникальныйИдентификатор();
новСтр["_Тип"] = Строка(ТипЗнч(хД.Ссылка));
ъОб = хД.Ссылка.ПолучитьОбъект();
ТипЗначения = ТипЗнч( ъОб);
новСтр["_ТипО"] = Строка(ТипЗначения);
ОбъектМетаданных = Метаданные.НайтиПоТипу(ТипЗначения);
новСтр["_MetName"] = ОбъектМетаданных.Имя; // ЗаказКлиента
// головной объект
новСтр["_ОбъектЗаказКл"] = РеквизитыОбъектаВСтруктуруEx(хД.Ссылка,1, ОбъектМетаданных.Имя, щХэш );
новСтр["_Наим"] = Строка(ъОб);
если "Документ объект: Заказ клиента" = новСтр["_ТипО"] Тогда
// Поступление безналичных ДС
для каждого стрПбнДс из ПродажиСервер.ПолучитьДокументыНаОсновании(хД.Ссылка).ВыгрузкаДокументов.НайтиСтроки(Новый Структура("Тип", Тип("ДокументСсылка.ПоступлениеБезналичныхДенежныхСредств"),)) цикл
//если ЗначениеЗаполнено(стрПбнДс.Ссылка) Тогда
// ////ОбъектМетаданных1 = Метаданные.НайтиПоТипу(ТипЗнч( стрПбнДс.Ссылка.ПолучитьОбъект()));
// новСтр["_ОбъектФ1"] = РеквизитыОбъектаВСтруктуруEx(стрПбнДс.Ссылка,1, "Поступление безналичных денежных средств", щХэш );
// прервать; // он один...
//Конецесли;
КонецЦикла;
// Акт выполненных работ
для каждого стрАкт из ПродажиСервер.ПолучитьДокументыНаОсновании(хД.Ссылка).ВыгрузкаДокументов.НайтиСтроки(Новый Структура("Тип", Тип("ДокументСсылка.АктВыполненныхРабот"),)) цикл
если ЗначениеЗаполнено(стрАкт.Ссылка) Тогда
//ОбъектМетаданных1 = Метаданные.НайтиПоТипу(ТипЗнч( стрАкт.Ссылка.ПолучитьОбъект()));
новСтр["_ОбъектAктВыпРаб"] = РеквизитыОбъектаВСтруктуруEx(стрАкт.Ссылка,1, "АктВыполненныхРабот", щХэш );
Запрос = Новый Запрос("ВЫБРАТЬ д.Ссылка КАК Ссылка
|ИЗ
| Документ.СчетФактураВыданный.ДокументыОснования КАК д
|ГДЕ
| д.Ссылка.Проведен И д.ДокументОснование = &ДокументОснование");
Запрос.УстановитьПараметр("ДокументОснование", стрАкт.Ссылка);
м1 = Запрос.Выполнить().Выгрузить().ВыгрузитьКолонку("Ссылка");
если м1.Количество() > 0 Тогда
ОбъектМетаданных1 = Метаданные.НайтиПоТипу(ТипЗнч( м1[0].Ссылка.ПолучитьОбъект()));
новСтр["_ОбъектСфВыд"] = РеквизитыОбъектаВСтруктуруEx(м1[0].Ссылка,1, ОбъектМетаданных1.Имя, щХэш );
Конецесли;
// ПриобретениеТоваровУслуг
для каждого стрАктПту из ПродажиСервер.ПолучитьДокументыНаОсновании(стрАкт.Ссылка).ВыгрузкаДокументов.НайтиСтроки(Новый Структура("Тип", Тип("ДокументСсылка.ПриобретениеТоваровУслуг"),)) цикл
если ЗначениеЗаполнено(стрАктПту.Ссылка) Тогда
ОбъектМетаданных1 = Метаданные.НайтиПоТипу(ТипЗнч( стрАктПту.Ссылка.ПолучитьОбъект()));
новСтр["_ОбъектНакл"] = РеквизитыОбъектаВСтруктуруEx(стрАктПту.Ссылка,1, ОбъектМетаданных1.Имя, щХэш );
Запрос = Новый Запрос("ВЫБРАТЬ д.Ссылка КАК Ссылка,
|ИЗ
| Документ.СчетФактураПолученный.ДокументыОснования КАК д
|ГДЕ
| д.Ссылка.Проведен И д.ДокументОснование = &ДокументОснование");
Запрос.УстановитьПараметр("ДокументОснование", стрАктПту.Ссылка);
м1 = Запрос.Выполнить().Выгрузить().ВыгрузитьКолонку("Ссылка");
если м1.Количество() > 0 Тогда
ОбъектМетаданных1 = Метаданные.НайтиПоТипу(ТипЗнч( м1[0].Ссылка.ПолучитьОбъект()));
новСтр["_ОбъектСфПолуч"] = РеквизитыОбъектаВСтруктуруEx(м1[0].Ссылка,1, ОбъектМетаданных1.Имя, щХэш );
Конецесли;
прервать; // он один...
Конецесли;
КонецЦикла;
прервать; // он один...
Конецесли;
КонецЦикла
иначе
// чо то другое
Конецесли;
исключение
т = Строка(хД.Ссылка) + ", " + ОписаниеОшибки();
ВызватьИсключение "хрень!" + т;
КонецПопытки;
КонецЕсли;
Конеццикла;
Здесь мСсылокЗаказы это результат выгрузки колонки из результат работы запроса типа
Запрос.Текст = "ВЫБРАТЬ д.Ссылка КАК Ссылка
|ИЗ
| Документ.ЗаказКлиента КАК д
|ГДЕ ГОД(д.Дата) = 2019 И МЕСЯЦ(д.Дата) В (1,2,3) и д.Проведен
|УПОРЯДОЧИТЬ ПО д.Дата";
В приложении обработка, которая описана Выше, но, функция формирования объекта на стороне приемника представлена в виде базового скелета по основным реквизитам... общего подхода нет, у каждой базы свои нюансы, их нужно делать руками.
Буду рад, если кому то окажется полезным.
