gifts2017

Загрузка информации из внешних данных с помощью конфигурации "Конвертация данных"

Опубликовал Андрей Крутских (K_A_O) в раздел Обмен - Загрузка и выгрузка в Excel

Обработка, позволяющая создавать правила обмена в конфигурации "Конвертация данных 2" и загружать данные из файлов Excel, DBF, CSV, XML и любых источников, поддерживающих интерфейс ADO. Имеет обычную и управляемую форму.

Файл с данными (например Excel) рассматривается как конфигурация базы данных 1С, состоящая из справочников - их можно перенести как набор объектов в справочник "Конфигурации" конвертации данных. Соответственно можно типовым способом создавать правила конвертаций. Причем конфигурация "Конвертация данных 2" не изменяется и может обновляться на новые версии.

Описание загрузки каждого формата - это внешняя обработка. Она хранится в макете в виде двоичных данных, что позволяет легко расширять набор обрабатываемых источников.

Идея обработки взята из http://infostart.ru/projects/2060/, но код свой. Сам по себе механизм работает у меня уже давно (XML правила менялись на основе шаблонов), однако возможность автоматической загрузки в конвертацию данных резко увеличивает возможности. Человек, умеющий работать с конвертацией данных, может визуально настроить любые правила переноса.

Обработка содержит механизмы:
• Выгрузка структуры внешних файлов, как типовой XML-файл структуры конфигурации. Этот файл должен быть загружен в конфигурацию КД.
• Возможность хранения файла правил в макете обработки.
• Загрузка правил обмена, выбор правил выгрузки и ввод параметров.
• Возможность предварительной обработки источника данных, осуществляемой после загрузки файла правил и до получения данных.
• Загрузка данных из внешних источников по алгоритмам, описанным в файле правил обмена.
• Редактирование данных в табличных полях в случае необходимости небольшой ручной правки (для обычных и управляемых форм).
• Создание файла данных в стандартном формате XML.
• Загрузка данных из XML файла данных. Кроме того, для этого может использоваться стандартная обработка загрузки, как в версии 1С77, так и 8.0-8.1. В упрощенном для пользователя режиме загрузки последние два пункта объединены и выполняются автоматически при нажатии на одну кнопку.

• В модуль обработки добавлены функции, позволяющие использовать обработку из скриптов или других программ, когда 1С открывается как COM-объект V82.Application.
• Используя специальный файл описаний можно запускать обработку с ключом /EXECUTE

=================================

07.09.2008 Вер.4.2.1 Добавлена поддержка ADO.

14.09.2008 Вер.4.2.2 Если обработка открывается в конфигурации "Конвертация данных", можно показать тексты событий для конкретной конвертации

08.12.2008 Вер.4.2.3
- Добавлен пример загрузки данных в табличную часть документа/справочника.
- В случае загрузки в формате Excel есть возможность автоматического заполнения имен/описаний и типов колонок файла данных.

16.12.2008 Вер.4.2.4
- Обработка обновлена до версии 2.0.26.1 типовой V8Exchan81.epf (появилась возможность отладки обработчиков событий). 
- Дополнено описание.

26.12.2008 Вер. 4.2.7
- Добавлена возможность предобработки источника данных

17.01.2009 Вер. 4.2.8
- Анализ структуры метаданных может осуществляться из существующего файла XML.

25.02.2010 Вер.4.3.1

- Добавлена поддержка XML.

30.03.2010 Вер. 4.3.2
Загрузка из XLS: разрешено использование пробелов в именах листов файла excel

10.10.2010 Вер. 4.3.4
Загрузка с помощью DBF: позволяет работать с длинным именем файла DBF

15.12.2010 Вер. 4.3.8
Загрузка с помощью XML: добавлена проверка на уникальность реквизитов

25.12.2010 Вер. 4.4.1
Выгрузка структуры метаданных: поддерживается 2 формата, старый формат и формат, начиная с версии КД 2.1.4

01.11.2011 Вер. 4.4.8
Изменения в настройках загрузки через ADO

03.01.2013 Вер.5.1.1

Принципиально изменено получение данных из разных источников. Сейчас каждый вариант - это внешняя обработка, сохраненая в макете в виде двоичных данных.
Это изменение дает новые возможности:
- использование обработки в управляемом приложении в тонком клиенте. Добавлена управляемая форма;
- самостоятельное использование обработок загрузок данных для получения таблиц значений из разных источников;
- в конвертации данных можно использовать типовую обработку "Универсальный обмен данными XML", если вставить обработку загрузки данных как подключаемую.  

Нужно иметь в виду, что в случае клиент-серверной конфигурации обработка источника данных ведется на сервере. Поэтому необходимо обеспечить доступность данных. Например, установленный MS Office для обработки Excel, или верный путь к источнику данных в случае ADO. 

05.01.2013 Вер. 5.1.2
В управляемой форме есть воможность просмотра загруженных внешних данных

08.02.2013 Вер. 5.1.3
Загрузка с помощью XLS: Исправлена ошибка. Excel оставался в памяти.

28.10.2013 Вер. 5.2.1

Сериализация ТЗ с данными может осуществляться двумя способами: как хранилище значения (более компактно), XML сериализация (занимает больше места, однако ТЗ можно подправить прямо в обработчике, не меняя структуры конфигурации).

В модуль обработки добавлены функции, позволяющие использовать обработку из скриптов или других программ, когда 1С открывается как COM-объект V82.Application.

Используя специальный файл описаний можно запускать обработку с ключом /EXECUTE

14.09.2015 Вер. 5.3.1
Управляемая форма обработки изменена для использования в безмодальном режиме. 

23.11.2015 Вер. 5.3.3
Добавлена процедура СведенияОВнешнейОбработке() для использования обработки как внешней.


 

Скачать файлы

Наименование Файл Версия Размер Кол. Скачив.
Все файлы в архиве (последняя версия обработки под 8.2 от 28.10.2013)
.zip 1,94Mb
15.10.15
439
.zip 5.2.1 1,94Mb 439 Скачать
Все файлы в архиве (текущая версия для платформы 8.3 от 23.11.2015)
.zip 2,51Mb
25.11.15
72
.zip 5.3.3 2,51Mb 72 Скачать
Все файлы в архиве (последняя версия обработки под 8.1 от 01.11.2011)
.rar 1,11Mb
03.01.13
2616
.rar 1,11Mb 2616 Скачать
Описание (25.02.2010)
.pdf 742,31Kb
13.02.12
1239
.pdf 742,31Kb 1239 Бесплатно
Файлы примеров (15.12.2010)
.rar 64,29Kb
15.10.15
1056
.rar 64,29Kb 1056 Бесплатно
V8ExchanFull.2.0.24.1 (08.12.2008)
.1229456405 346,61Kb
13.02.12
342
.1229456405 346,61Kb 342 Скачать

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Valentin57 (ValentinV) 03.09.08 10:03
На первый взгляд труд славный, достойный уважения.
Интеграция систем всегда приветствуется.
Буду тестировать.
2. Алексей Коробов (WiseSnake) 03.09.08 14:46
За то что меня не забыл спасибо ;)
Но у меня вопрос. Хотел потестить обработку, но не смог выбрать папку с данными. Так можно только из 1го файла грузить или я что то не так делаю?
3. Слава (DeepDiver) 03.09.08 19:00
Класс! Штковина реально помогла...
4. Андрей Крутских (K_A_O) 03.09.08 23:32
(2) Можно выбрать только один файл. В принципе, в старой версии у меня была обработка папок - но сейчас перевожу на новый формат то, что мне требуется. С папками задачи реже - лучше наверно добавлю форму загрузки по ADO.

Пока обновил обработку - изменены формы загрузки из одного файла DBF и одного файла CSV.
5. Алексей Коробов (WiseSnake) 04.09.08 01:10
Ну не знаю... значит у тебя другие задачи... У меня ни одной задачи не было чтобы только из одного файла грузить, да и смысла в написании правил тогда мало. Вот если бы ты сделал из многих файлов. А так, извини, но для меня она бесполезна
6. Андрей Крутских (K_A_O) 07.09.08 22:37
(5) Папку с несколькими файлами DBF можно открыть с помощью ADO. В файлах примеров выложил настройку.
7. ДМИТРИЙ ВЛАДИМИРОВИЧ КУЗНЕЦОВ (ОРС) 09.09.08 09:09
Да надо бы потестить........
9. rhtr Иванов (rhtr) 26.12.08 00:04
Надо глянуть А вот насчет Папки с несколькими файлами это ХОРОШО.
10. Алексей (manoff) 31.03.09 01:41
Господа, а есть ли возможность при помощи данной обработки из произвольного XML файла структуру загрузить? Или может какие еще методы знаете?
11. Андрей Крутских (K_A_O) 31.03.09 07:55
(10) Пока, с помощью предобработки источника данных. XML файл разбирается, преобразуется, например, в CSV, а дальше загружается обычным образом.
Я все хочу вставить поддержку XML - но времени не хватает.
12. Алексей (manoff) 31.03.09 08:26
Ясно :( А можно подробнее как из XML сделать CSV ?
13. Андрей Крутских (K_A_O) 31.03.09 09:14
(12) Механизмов-то работы с XML много. Можно с помощью XLST преобразования. Ну или ЧтениеXML

Текст = Новый ЗаписьТекста("d:\test.csv", КодировкаТекста.ANSI);
ЧтениеXML = Новый ЧтениеXML;
Пока ЧтениеXML.Прочитать() Цикл
Если ЧтениеXML.ТипУзла = ТипУзлаXML.НачалоЭлемента И
ЧтениеXML.ЛокальноеИмя = "НужноеИмя" тогда
Поле1 = ЧтениеXML.ПолучитьАтрибут("Поле1");
Поле2 = ЧтениеXML.ПолучитьАтрибут("Поле2");
Текст.ЗаписатьСтроку(Поле1+";"+Поле2);
КонецЕсли ;
КонецЦикла;
Текст.Закрыть();
14. Алексей (manoff) 31.03.09 09:19
Спасибо большое - поэкспериментируем! Было бы не плохо все-таки увидеть такую возможность в обработке - замечательная вещь!
15. Андрей (octoberhammer) 08.10.09 19:16
Я прошу прощения, я вот в конце концов создал файл правил в базе КД2.0, а собственно файл данных какой - так и остается Excel'вский или должен появиться xml? Если первое, то в базе-приемнике обработка пишет "Не найден файл данных " если второе - то я каким-то образом пропустил в какой момент он у нас появляется... просвятите, плиз
16. Андрей Крутских (K_A_O) 14.10.09 21:32
(15) Загрузка ведется из файла excel. Необходимо не забыть вставить созданный обработкой текст после загрузки правил обмена.
17. Андрей (octoberhammer) 15.10.09 10:03
да я уже разобрался.. Это из-за того, что скажем mxl файл сохраняется сразу в лист ексель, а нужно в книгу с листами... И тогда все происходит корректно
18. Андрей Крутских (K_A_O) 25.02.10 22:41
(10) добавлена загрузка из файла XML
19. Алекс (Alef) 04.03.10 09:59
В названиях листов нельзя указывать пробелы, выдается ошибка с кодом 0x8002000b
20. Андрей Крутских (K_A_O) 04.03.10 14:26
21. Konstantin _Konstantin (konfed) 16.06.10 11:42
Автор, подскажите , как посмотреть источник, что Вас вдохновил:
http://infostart.ru/projects/2060/ - Публикация не найдена
22. Андрей Крутских (K_A_O) 16.06.10 15:22
24. Makcum Korovin (Makcum32) 24.12.10 17:56
Автор, большое спасибо, будем тестить.
25. Андрей Крутских (K_A_O) 25.12.10 11:36
25.12.2010 Вер. 4.4.1
Выгрузка структуры метаданных: поддерживается 2 формата, старый формат и формат, начиная с версии КД 2.1.4
26. Ирина Нечаева (Arin) 29.09.11 18:16
27. Helen I (Bruk) 20.10.11 12:05
Спасибо !!! очень полезная разработка, думаю в дальнейшем пригодиться!
28. Alex Shklqewe (shkl1) 25.10.11 12:05
Автор молодец. Интересное решение.
29. Татьяна Беляева (Масянька) 05.11.11 01:26
В принципи идея не новая но ооочень инетресная.Спасибо за труд будем тестить.
30. Дмитрий Карпенко (Dimonis) 08.11.11 15:50
Присоединяюсь к 29 комментарию - спасибо, буду тестировать (и править при необходимости.
А необходимость всплывет).
31. Svetlana Ivanova (che444) 10.11.11 19:28
Спасибо за труд и конечно +
32. Руслан Программист 1с (Mudrii_Gankster) 16.11.11 15:08
Я так понимаю что благодаря данной обработке можно наплодить правил загрузки накладных от разных контрагентов и по правилам вливать их в базу. Супер +
33. soba (soba) 09.12.11 13:24
Спасибо, отличная работа. Использую для обмена стандартной базы Агент+ (как промежуточной) и своей рабочей базы.
34. Скиминок фффф (Скиминок) 09.12.11 13:25
Посмотрим. Должно быть интересно)
35. Иван Сидоров (itit) 12.12.11 12:21
спасибоо и удобно решил перенос баз спасибо
36. soba (soba) 14.12.11 04:15
Добавь, пожалуйста все одним файлом, а то по одному скачивать неудобно (с учетом баллов за скачку)
37. Андрей Крутских (K_A_O) 14.12.11 13:04
(36) Там только обработка с доступом для пользователей, а разве тип доступа "Все" требует баллы?
38. soba (soba) 14.12.11 16:35
(37) K_A_O, Как ни странно- требует. Без авторизации не дает скачивать, а с авторизацией снимает по баллу за файл
39. jojo nll (nll.jojo) 20.01.12 15:18
баллы жалко...можно одним файлом
40. chainick (kurmanov) 10.02.12 11:58
Обработка классная, но правда хотелось бы одним файлом, если можно
41. Андрей Крутских (K_A_O) 13.02.12 17:27
43. Михаил Петрович (Mishka_78) 20.03.12 16:00
Спасибо! Разработка помогла!
44. Dmitriy (daho) 21.03.12 08:21
Все равно универсальных обработок не бывает.. только в самых простых случаях..
Но авторам спасибо.. Хорошая вещь, удивительно что еще и бесплатная...
45. Andrey Dyak (electronik) 26.03.12 17:07
Буду тестировать но вещь полезная
46. Виктор Прус (vprus) 09.04.12 18:39
Спасибо за обработку. А может стоит добавить чтение папок с несколькими файлами, например, *.csv?
47. Андрей Крутских (K_A_O) 10.04.12 13:29
(46) Есть специальный механизм предобработки. Можно подготовить нужные данные из этих csv, в зависимости от задачи. В архиве есть пример.
49. Alex Koso (AlexKoso) 21.05.12 08:20
И как я раньше ее не видел?
50. Иван (Sairys) 21.05.12 11:39
Интересное творение. Во многих компаниях как правило сталкивался с интеграцией из одних систем в другие с помощью различных выгрузок и загрузок. Разных форматов файлов. А эта обработка как раз пригодиться для более быстрой обработки данных.
51. Илья Низамов (Region102) 27.05.12 14:31
А как механизм "Внешние источники данных"? А за работу респект!
52. Андрей Крутских (K_A_O) 27.05.12 19:36
(51) Смысл обработки в возможности использовать таблицы значений как справочники в структуре конвертации данных. А это позволяет визуально настраивать сложные загрузки.

Все равно большинство данных приходится хранить в объектах 1C, ну например, если база распределенная, опасно строить отчеты по внешним источникам, безопаснее загрузить в регистр сведений. Но я собирался добавить в данную обработку возможность получать данные из внешних источников, не через ADO. Но пока этот механизм у 1С недоработан, чуть более сложные запросы не работают. А скорость ADO + GameWithFire на клиенте больше.

Даже с учетом перехода на работу на сервере и в УФ, "Внешние источники данных" пока могут занимать крайне узкую нишу, если вы можете изменить свою конфу, получать простые данные всегда из одних таблиц, и нет необходимости загружать их в объекты 1С.
53. Сергей Артюхов (Serg3141) 28.05.12 15:29
При попытке выгрузки метаданных из внешнего файла через ADO и создании файла с расширением udl и содержимым, указанным в инструкции выскакивала ошибка: "Ошибка при установке значения атрибута контекста (ActiveConnection): Произошла исключительная ситуация (Microsoft OLE DB Service Components): Недопустимый составной файл"
(сначала выскакивала ошибка на функции "сообщить", пока я через конфигуратор не удалил второй параметр с тремя восклицательными знаками полностью). Исправил я ситуацию так: на созданном файле с расширением udl щелкнул правой кнопкой и выбрал диалог свойств. Далее - закладка "Соединения", переключатель в положение "использовать строку соединения" и кнопка "Сборка". Затем спокойно настроил источник данных - для программеров по крайней мере там все интуитивно понятно. После сохранения всех изменений выбрал получившийся файл. Все стало нормально. У меня ОС Wındows 7, 64-бит (если это играет какую-то роль). Содержимое файла udl такое:
[oledb]
; Everything after this line is an OLE DB initstring
Provider=MSDASQL.1;Persist Security Info=False;Extended Properties="DSN=DataExcel;DBQ=C:\1C\trade\ОбразецДанных.xls;DefaultDir=C:\1C\trade;DriverId=790;FIL=excel 8.0;MaxBufferSize=2048;PageTimeout=5;"

Но, я думаю, логично будет в инструкции указать способ получения такого файла - это спасет некоторое время пользователей и отведет подозрения в неработоспособности от обработки :-)

с ув. Сергей
54. Андрей Крутских (K_A_O) 28.05.12 20:24
(53) Хорошо, исправлю инструкцию, действительно, файл udl стоит собирать средствами Windows для использования на конкретном компьютере.
55. Сергей Артюхов (Serg3141) 31.05.12 23:41
разобрался, из файла в формате excel с помощью ADO в конфигурации "Управление торговлей 11" формируются элементы для нескольких справочников и ряд документов. Огромное спасибо за удобный инструмент, вполне возможно, что он мне сэкономит много времени.
56. Евгений Сущенков (Jonny_wk) 17.06.12 19:43
Как заработаю здешние money - обязательно скачаю! :)
57. sws sws (Wladymyr) 18.06.12 18:47
спасибо автору за проделаной труд, полезная вещь
58. sr (sr5) 11.09.12 13:16
K_A_O, не подскажите, можно настроить Вашу обработку под работу с tps - файлами (ПУ5)? Не в курсе, 1С может работать с такими базами данных?
59. Андрей Крутских (K_A_O) 11.09.12 14:58
Через ODBC можно.

Это формат Clarion, я попробовал скачать драйвер ODBC c http://www.hardforum.ru/upload/TopspeedODBC.zip
Файлы кладр считывает нормально. Но не знаю, как будет другими файлами ПУ5, возможно там пароль стоит.
Ну тогда можно делать экспорт в DBF.
60. vadim ttv ttv (vahate) 04.10.12 12:27
очень интересует обработка для перехода (переноса) с Розница 1.0 для Украины (от российской почти ничем не отдичается) на Розница 2.0 для России.
61. Андрей Крутских (K_A_O) 03.01.13 16:12
Принципиально изменено получение данных из разных источников. Сейчас каждый вариант - это внешняя обработка, сохраненая в макете в виде двоичных данных.
Это изменение дает новые возможности:
- использование обработки в управляемом приложении в тонком клиенте. Добавлена управляемая форма;
- самостоятельное использование обработок загрузок данных для получения таблиц значений из разных источников;
- в конвертации данных можно использовать типовую обработку "Универсальный обмен данными XML", если вставить обработку загрузки данных как подключаемую.

Нужно иметь в виду, что в случае клиент-серверной конфигурации обработка источника данных ведется на сервере. Поэтому необходимо обеспечить доступность данных. Например, установленный MS Office для обработки Excel, или верный путь к источнику данных в случае ADO.
62. Владимир Епифанов (kovgard) 07.02.13 00:24
Супер! Только нужно добавить код, чтобы Excel закрывался после считывания данных, а то всю память у компа съел пока занимался отладкой правил.
63. Андрей Крутских (K_A_O) 08.02.13 16:56
(62) Да, действительно, в одном из добавлений ошибку внес. Обновляю на исправленный вариант.
64. Саша (TbSasha) 16.05.13 08:47
А нет ни у кого правил для загрузки прайсов в УТ 11? Я может даже купил бы если не дорого.
65. Сергей Крайнов (ccserg) 01.10.14 19:05
66. Антон Афанасов (labirk) 02.12.16 15:38
Отличная обработка, да еще и в комплекте с подробной справкой. Спасибо автору!
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа