Загрузка информации из внешних данных с помощью конфигурации "Конвертация данных"

Опубликовал K_A_O в раздел Обмен - Загрузка и выгрузка в Excel

Обработка, позволяющая создавать правила обмена в конфигурации "Конвертация данных 2" и загружать данные из файлов Excel, DBF, CSV, XML и любых источников, поддерживающих интерфейс ADO. Имеет обычную и управляемую форму.

Файл с данными (например Excel) рассматривается как конфигурация базы данных 1С, состоящая из справочников - их можно перенести как набор объектов в справочник "Конфигурации" конвертации данных. Соответственно можно типовым способом создавать правила конвертаций. Причем конфигурация "Конвертация данных 2" не изменяется и может обновляться на новые версии.

Описание загрузки каждого формата - это внешняя обработка. Она хранится в макете в виде двоичных данных, что позволяет легко расширять набор обрабатываемых источников.

Идея обработки взята из http://infostart.ru/projects/2060/, но код свой. Сам по себе механизм работает у меня уже давно (XML правила менялись на основе шаблонов), однако возможность автоматической загрузки в конвертацию данных резко увеличивает возможности. Человек, умеющий работать с конвертацией данных, может визуально настроить любые правила переноса.

Обработка содержит механизмы:
• Выгрузка структуры внешних файлов, как типовой XML-файл структуры конфигурации. Этот файл должен быть загружен в конфигурацию КД.
• Возможность хранения файла правил в макете обработки.
• Загрузка правил обмена, выбор правил выгрузки и ввод параметров.
• Возможность предварительной обработки источника данных, осуществляемой после загрузки файла правил и до получения данных.
• Загрузка данных из внешних источников по алгоритмам, описанным в файле правил обмена.
• Редактирование данных в табличных полях в случае необходимости небольшой ручной правки (для обычных и управляемых форм).
• Создание файла данных в стандартном формате XML.
• Загрузка данных из XML файла данных. Кроме того, для этого может использоваться стандартная обработка загрузки, как в версии 1С77, так и 8.0-8.1. В упрощенном для пользователя режиме загрузки последние два пункта объединены и выполняются автоматически при нажатии на одну кнопку.

• В модуль обработки добавлены функции, позволяющие использовать обработку из скриптов или других программ, когда 1С открывается как COM-объект V82.Application.
• Используя специальный файл описаний можно запускать обработку с ключом /EXECUTE

=================================

07.09.2008 Вер.4.2.1 Добавлена поддержка ADO.

14.09.2008 Вер.4.2.2 Если обработка открывается в конфигурации "Конвертация данных", можно показать тексты событий для конкретной конвертации

08.12.2008 Вер.4.2.3
- Добавлен пример загрузки данных в табличную часть документа/справочника.
- В случае загрузки в формате Excel есть возможность автоматического заполнения имен/описаний и типов колонок файла данных.

16.12.2008 Вер.4.2.4
- Обработка обновлена до версии 2.0.26.1 типовой V8Exchan81.epf (появилась возможность отладки обработчиков событий). 
- Дополнено описание.

26.12.2008 Вер. 4.2.7
- Добавлена возможность предобработки источника данных

17.01.2009 Вер. 4.2.8
- Анализ структуры метаданных может осуществляться из существующего файла XML.

25.02.2010 Вер.4.3.1

- Добавлена поддержка XML.

30.03.2010 Вер. 4.3.2
Загрузка из XLS: разрешено использование пробелов в именах листов файла excel

10.10.2010 Вер. 4.3.4
Загрузка с помощью DBF: позволяет работать с длинным именем файла DBF

15.12.2010 Вер. 4.3.8
Загрузка с помощью XML: добавлена проверка на уникальность реквизитов

25.12.2010 Вер. 4.4.1
Выгрузка структуры метаданных: поддерживается 2 формата, старый формат и формат, начиная с версии КД 2.1.4

01.11.2011 Вер. 4.4.8
Изменения в настройках загрузки через ADO

03.01.2013 Вер.5.1.1

Принципиально изменено получение данных из разных источников. Сейчас каждый вариант - это внешняя обработка, сохраненая в макете в виде двоичных данных.
Это изменение дает новые возможности:
- использование обработки в управляемом приложении в тонком клиенте. Добавлена управляемая форма;
- самостоятельное использование обработок загрузок данных для получения таблиц значений из разных источников;
- в конвертации данных можно использовать типовую обработку "Универсальный обмен данными XML", если вставить обработку загрузки данных как подключаемую.  

Нужно иметь в виду, что в случае клиент-серверной конфигурации обработка источника данных ведется на сервере. Поэтому необходимо обеспечить доступность данных. Например, установленный MS Office для обработки Excel, или верный путь к источнику данных в случае ADO. 

05.01.2013 Вер. 5.1.2
В управляемой форме есть воможность просмотра загруженных внешних данных

08.02.2013 Вер. 5.1.3
Загрузка с помощью XLS: Исправлена ошибка. Excel оставался в памяти.

28.10.2013 Вер. 5.2.1

Сериализация ТЗ с данными может осуществляться двумя способами: как хранилище значения (более компактно), XML сериализация (занимает больше места, однако ТЗ можно подправить прямо в обработчике, не меняя структуры конфигурации).

В модуль обработки добавлены функции, позволяющие использовать обработку из скриптов или других программ, когда 1С открывается как COM-объект V82.Application.

Используя специальный файл описаний можно запускать обработку с ключом /EXECUTE

14.09.2015 Вер. 5.3.1
Управляемая форма обработки изменена для использования в безмодальном режиме. 

23.11.2015 Вер. 5.3.3
Добавлена процедура СведенияОВнешнейОбработке() для использования обработки как внешней.


 

Файлы

Наименование Файл Версия Размер Кол. Скачив.
Все файлы в архиве (последняя версия обработки под 8.2 от 28.10.2013)
.zip 1,94Mb
15.10.15
431
.zip 5.2.1 1,94Mb 431 Скачать
Все файлы в архиве (текущая версия для платформы 8.3 от 23.11.2015)
.zip 2,51Mb
25.11.15
48
.zip 5.3.3 2,51Mb 48 Скачать
Все файлы в архиве (последняя версия обработки под 8.1 от 01.11.2011)
.rar 1,11Mb
03.01.13
2616
.rar 1,11Mb 2616 Скачать
Описание (25.02.2010)
.pdf 742,31Kb
13.02.12
1207
.pdf 742,31Kb 1207 Бесплатно
Файлы примеров (15.12.2010)
.rar 64,29Kb
15.10.15
1029
.rar 64,29Kb 1029 Бесплатно
V8ExchanFull.2.0.24.1 (08.12.2008)
.1229456405 346,61Kb
13.02.12
341
.1229456405 346,61Kb 341 Скачать

См. также

Комментарии

1. Valentin57 03.09.2008 10:03
На первый взгляд труд славный, достойный уважения.
Интеграция систем всегда приветствуется.
Буду тестировать.
# Ответить
2. WiseSnake 03.09.2008 14:46
За то что меня не забыл спасибо ;)
Но у меня вопрос. Хотел потестить обработку, но не смог выбрать папку с данными. Так можно только из 1го файла грузить или я что то не так делаю?
Ответили: (4)
# Ответить
3. DeepDiver 03.09.2008 19:00
Класс! Штковина реально помогла...
# Ответить
4. K_A_O 03.09.2008 23:32
(2) Можно выбрать только один файл. В принципе, в старой версии у меня была обработка папок - но сейчас перевожу на новый формат то, что мне требуется. С папками задачи реже - лучше наверно добавлю форму загрузки по ADO.

Пока обновил обработку - изменены формы загрузки из одного файла DBF и одного файла CSV.
# Ответить
5. WiseSnake 04.09.2008 01:10
Ну не знаю... значит у тебя другие задачи... У меня ни одной задачи не было чтобы только из одного файла грузить, да и смысла в написании правил тогда мало. Вот если бы ты сделал из многих файлов. А так, извини, но для меня она бесполезна
Ответили: (6)
# Ответить
6. K_A_O 07.09.2008 22:37
(5) Папку с несколькими файлами DBF можно открыть с помощью ADO. В файлах примеров выложил настройку.
# Ответить
7. ОРС 09.09.2008 09:09
Да надо бы потестить........
# Ответить
9. rhtr 26.12.2008 00:04
Надо глянуть А вот насчет Папки с несколькими файлами это ХОРОШО.
# Ответить
10. manoff 31.03.2009 01:41
Господа, а есть ли возможность при помощи данной обработки из произвольного XML файла структуру загрузить? Или может какие еще методы знаете?
Ответили: (11) (18)
# Ответить
11. K_A_O 31.03.2009 07:55
(10) Пока, с помощью предобработки источника данных. XML файл разбирается, преобразуется, например, в CSV, а дальше загружается обычным образом.
Я все хочу вставить поддержку XML - но времени не хватает.
# Ответить
12. manoff 31.03.2009 08:26
Ясно :( А можно подробнее как из XML сделать CSV ?
Ответили: (13)
# Ответить
13. K_A_O 31.03.2009 09:14
(12) Механизмов-то работы с XML много. Можно с помощью XLST преобразования. Ну или ЧтениеXML

Текст = Новый ЗаписьТекста("d:\test.csv", КодировкаТекста.ANSI);
ЧтениеXML = Новый ЧтениеXML;
Пока ЧтениеXML.Прочитать() Цикл
Если ЧтениеXML.ТипУзла = ТипУзлаXML.НачалоЭлемента И
ЧтениеXML.ЛокальноеИмя = "НужноеИмя" тогда
Поле1 = ЧтениеXML.ПолучитьАтрибут("Поле1");
Поле2 = ЧтениеXML.ПолучитьАтрибут("Поле2");
Текст.ЗаписатьСтроку(Поле1+";"+Поле2);
КонецЕсли ;
КонецЦикла;
Текст.Закрыть();
# Ответить
14. manoff 31.03.2009 09:19
Спасибо большое - поэкспериментируем! Было бы не плохо все-таки увидеть такую возможность в обработке - замечательная вещь!
# Ответить
15. octoberhammer 08.10.2009 19:16
Я прошу прощения, я вот в конце концов создал файл правил в базе КД2.0, а собственно файл данных какой - так и остается Excel'вский или должен появиться xml? Если первое, то в базе-приемнике обработка пишет "Не найден файл данных " если второе - то я каким-то образом пропустил в какой момент он у нас появляется... просвятите, плиз
Ответили: (16)
# Ответить
16. K_A_O 14.10.2009 21:32
(15) Загрузка ведется из файла excel. Необходимо не забыть вставить созданный обработкой текст после загрузки правил обмена.
# Ответить
17. octoberhammer 15.10.2009 10:03
да я уже разобрался.. Это из-за того, что скажем mxl файл сохраняется сразу в лист ексель, а нужно в книгу с листами... И тогда все происходит корректно
# Ответить
18. K_A_O 25.02.2010 22:41
(10) добавлена загрузка из файла XML
# Ответить
19. Alef 04.03.2010 09:59
В названиях листов нельзя указывать пробелы, выдается ошибка с кодом 0x8002000b
Ответили: (20)
# Ответить
20. K_A_O 04.03.2010 14:26
(19) исправлено
# Ответить
21. konfed 16.06.2010 11:42
Автор, подскажите , как посмотреть источник, что Вас вдохновил:
http://infostart.ru/projects/2060/ - Публикация не найдена
Ответили: (22)
# Ответить
22. K_A_O 16.06.2010 15:22
(21) вот автор обработки http://infostart.ru/profile/15778/
Ответили: (23)
# Ответить
24. Makcum32 24.12.2010 17:56
Автор, большое спасибо, будем тестить.
# Ответить
25. K_A_O 25.12.2010 11:36
25.12.2010 Вер. 4.4.1
Выгрузка структуры метаданных: поддерживается 2 формата, старый формат и формат, начиная с версии КД 2.1.4
# Ответить
26. Arin 29.09.2011 18:16
спасибо!!!
# Ответить
27. Bruk 20.10.2011 12:05
Спасибо !!! очень полезная разработка, думаю в дальнейшем пригодиться!
# Ответить
28. shkl1 25.10.2011 12:05
Автор молодец. Интересное решение.
# Ответить
29. Масянька 05.11.2011 01:26
В принципи идея не новая но ооочень инетресная.Спасибо за труд будем тестить.
# Ответить
30. Dimonis 08.11.2011 15:50
Присоединяюсь к 29 комментарию - спасибо, буду тестировать (и править при необходимости.
А необходимость всплывет).
# Ответить
31. che444 10.11.2011 19:28
Спасибо за труд и конечно +
# Ответить
32. Mudrii_Gankster 16.11.2011 15:08
Я так понимаю что благодаря данной обработке можно наплодить правил загрузки накладных от разных контрагентов и по правилам вливать их в базу. Супер +
# Ответить
33. soba 09.12.2011 13:24
Спасибо, отличная работа. Использую для обмена стандартной базы Агент+ (как промежуточной) и своей рабочей базы.
# Ответить
34. Скиминок 09.12.2011 13:25
Посмотрим. Должно быть интересно)
# Ответить
35. itit 12.12.2011 12:21
спасибоо и удобно решил перенос баз спасибо
# Ответить
36. soba 14.12.2011 04:15
Добавь, пожалуйста все одним файлом, а то по одному скачивать неудобно (с учетом баллов за скачку)
Ответили: (37)
# Ответить
37. K_A_O 14.12.2011 13:04
(36) Там только обработка с доступом для пользователей, а разве тип доступа "Все" требует баллы?
Ответили: (38)
# Ответить
38. soba 14.12.2011 16:35
(37) K_A_O, Как ни странно- требует. Без авторизации не дает скачивать, а с авторизацией снимает по баллу за файл
# Ответить
39. nll.jojo 20.01.2012 15:18
баллы жалко...можно одним файлом
# Ответить
40. chainick 10.02.2012 11:58
Обработка классная, но правда хотелось бы одним файлом, если можно
# Ответить
41. K_A_O 13.02.2012 17:27
Выложил одним файлом
# Ответить
43. Mishka_78 20.03.2012 16:00
Спасибо! Разработка помогла!
# Ответить
44. daho 21.03.2012 08:21
Все равно универсальных обработок не бывает.. только в самых простых случаях..
Но авторам спасибо.. Хорошая вещь, удивительно что еще и бесплатная...
# Ответить
45. electronik 26.03.2012 17:07
Буду тестировать но вещь полезная
# Ответить
46. vprus 09.04.2012 18:39
Спасибо за обработку. А может стоит добавить чтение папок с несколькими файлами, например, *.csv?
Ответили: (47)
# Ответить
47. K_A_O 10.04.2012 13:29
(46) Есть специальный механизм предобработки. Можно подготовить нужные данные из этих csv, в зависимости от задачи. В архиве есть пример.
# Ответить
49. AlexKoso 21.05.2012 08:20
И как я раньше ее не видел?
# Ответить
50. Sairys 21.05.2012 11:39
Интересное творение. Во многих компаниях как правило сталкивался с интеграцией из одних систем в другие с помощью различных выгрузок и загрузок. Разных форматов файлов. А эта обработка как раз пригодиться для более быстрой обработки данных.
# Ответить
51. Region102 27.05.2012 14:31
А как механизм "Внешние источники данных"? А за работу респект!
Ответили: (52)
# Ответить
52. K_A_O 27.05.2012 19:36
(51) Смысл обработки в возможности использовать таблицы значений как справочники в структуре конвертации данных. А это позволяет визуально настраивать сложные загрузки.

Все равно большинство данных приходится хранить в объектах 1C, ну например, если база распределенная, опасно строить отчеты по внешним источникам, безопаснее загрузить в регистр сведений. Но я собирался добавить в данную обработку возможность получать данные из внешних источников, не через ADO. Но пока этот механизм у 1С недоработан, чуть более сложные запросы не работают. А скорость ADO + GameWithFire на клиенте больше.

Даже с учетом перехода на работу на сервере и в УФ, "Внешние источники данных" пока могут занимать крайне узкую нишу, если вы можете изменить свою конфу, получать простые данные всегда из одних таблиц, и нет необходимости загружать их в объекты 1С.
# Ответить
53. Serg3141 28.05.2012 15:29
При попытке выгрузки метаданных из внешнего файла через ADO и создании файла с расширением udl и содержимым, указанным в инструкции выскакивала ошибка: "Ошибка при установке значения атрибута контекста (ActiveConnection): Произошла исключительная ситуация (Microsoft OLE DB Service Components): Недопустимый составной файл"
(сначала выскакивала ошибка на функции "сообщить", пока я через конфигуратор не удалил второй параметр с тремя восклицательными знаками полностью). Исправил я ситуацию так: на созданном файле с расширением udl щелкнул правой кнопкой и выбрал диалог свойств. Далее - закладка "Соединения", переключатель в положение "использовать строку соединения" и кнопка "Сборка". Затем спокойно настроил источник данных - для программеров по крайней мере там все интуитивно понятно. После сохранения всех изменений выбрал получившийся файл. Все стало нормально. У меня ОС Wındows 7, 64-бит (если это играет какую-то роль). Содержимое файла udl такое:
[oledb]
; Everything after this line is an OLE DB initstring
Provider=MSDASQL.1;Persist Security Info=False;Extended Properties="DSN=DataExcel;DBQ=C:\1C\trade\ОбразецДанных.xls;DefaultDir=C:\1C\trade;DriverId=790;FIL=excel 8.0;MaxBufferSize=2048;PageTimeout=5;"

Но, я думаю, логично будет в инструкции указать способ получения такого файла - это спасет некоторое время пользователей и отведет подозрения в неработоспособности от обработки :-)

с ув. Сергей
Ответили: (54)
# Ответить
54. K_A_O 28.05.2012 20:24
(53) Хорошо, исправлю инструкцию, действительно, файл udl стоит собирать средствами Windows для использования на конкретном компьютере.
# Ответить
55. Serg3141 31.05.2012 23:41
разобрался, из файла в формате excel с помощью ADO в конфигурации "Управление торговлей 11" формируются элементы для нескольких справочников и ряд документов. Огромное спасибо за удобный инструмент, вполне возможно, что он мне сэкономит много времени.
# Ответить
56. Jonny_wk 17.06.2012 19:43
Как заработаю здешние money - обязательно скачаю! :)
# Ответить
57. Wladymyr 18.06.2012 18:47
спасибо автору за проделаной труд, полезная вещь
# Ответить
58. sr5 11.09.2012 13:16
K_A_O, не подскажите, можно настроить Вашу обработку под работу с tps - файлами (ПУ5)? Не в курсе, 1С может работать с такими базами данных?
# Ответить
59. K_A_O 11.09.2012 14:58
Через ODBC можно.

Это формат Clarion, я попробовал скачать драйвер ODBC c http://www.hardforum.ru/upload/TopspeedODBC.zip
Файлы кладр считывает нормально. Но не знаю, как будет другими файлами ПУ5, возможно там пароль стоит.
Ну тогда можно делать экспорт в DBF.
# Ответить
60. vahate 04.10.2012 12:27
очень интересует обработка для перехода (переноса) с Розница 1.0 для Украины (от российской почти ничем не отдичается) на Розница 2.0 для России.
# Ответить
61. K_A_O 03.01.2013 16:12
Принципиально изменено получение данных из разных источников. Сейчас каждый вариант - это внешняя обработка, сохраненая в макете в виде двоичных данных.
Это изменение дает новые возможности:
- использование обработки в управляемом приложении в тонком клиенте. Добавлена управляемая форма;
- самостоятельное использование обработок загрузок данных для получения таблиц значений из разных источников;
- в конвертации данных можно использовать типовую обработку "Универсальный обмен данными XML", если вставить обработку загрузки данных как подключаемую.

Нужно иметь в виду, что в случае клиент-серверной конфигурации обработка источника данных ведется на сервере. Поэтому необходимо обеспечить доступность данных. Например, установленный MS Office для обработки Excel, или верный путь к источнику данных в случае ADO.
# Ответить
62. kovgard 07.02.2013 00:24
Супер! Только нужно добавить код, чтобы Excel закрывался после считывания данных, а то всю память у компа съел пока занимался отладкой правил.
Ответили: (63)
# Ответить
63. K_A_O 08.02.2013 16:56
(62) Да, действительно, в одном из добавлений ошибку внес. Обновляю на исправленный вариант.
# Ответить
64. TbSasha 16.05.2013 08:47
А нет ни у кого правил для загрузки прайсов в УТ 11? Я может даже купил бы если не дорого.
# Ответить
65. ccserg 01.10.2014 19:05
супер !
# Ответить
Внимание! За постинг в данном форуме $m не начисляются.
Внимание! Для написания сообщения необходимо авторизоваться
Текст сообщения*
Прикрепить файл