Технология проведения миграции данных в крупных проектах

Публикация № 525315

Разработка - Системная интеграция - Внешние источники данных

миграция данные ETL migration data загрузка опыт проект корпоративный технология статья описание инструмент рекомендации методика

В статье систематизируется проектный опыт проведения миграции данных в крупных проектах, связанных с переходом Заказчиков на работу в конфигурациях «1С:Предприятие 8».

Введение

В данной статье мы хотели бы систематизировать наш опыт проведения миграции данных в крупных корпоративных проектах, связанных с переходом Заказчиков на работу в конфигурациях «1С:Предприятие 8».

При этом основной акцент в статье будет сделан, прежде всего, на технологическую составляющую процесса миграции. Организационная составляющая также затронута, но в меньшей степени.

Термины и определения

Под миграцией данных принято понимать конечную последовательность работ, проект, направленный на разовое массовое перемещение данных из систем-источников (исторические системы) в систему-приёмник. При этом эксплуатация этих данных в системах-источниках прекращается.

Следует отличать миграцию данных от интеграции данных. Интеграция, в отличие от миграции – это постоянная часть архитектуры IT, и ответственна за потоки данных между различными системами и хранилищами данных – и является процессом, а не деятельностью по осуществлению проекта[1].

Схема миграции в общем случае выглядит следующим образом:

Рис. 1

Исторические системы – базы данных компании Заказчика, которые планируется полностью или частично заменить при внедрении новой системы.

Система-приёмник – целевая система, произвольная конфигурация «1С:Предприятие 8».

Исходные данные – данные, выгруженные из исторических систем в произвольный формат xls-файлов. В данном случае формат xlsпредставляется, как один из самых удобных, поскольку возможность выгрузки в xls-файл присутствует во многих учетных системах «предыдущих поколений».

Как современную альтернативу в качестве транспорта возможно рассматривать формат xml-файлов.

Также существуют варианты использования промежуточной базы данных.

Трансформация, конвертация – процесс преобразования исходных данных в данные для загрузки. Трансформация данных происходит в соответствии с шаблонами для загрузки. Результатом трансформации являются данные для загрузки.

Данные для загрузки – данные, предназначенные для загрузки в систему-приёмник. В данной статье, так же как и исходные данные, рассматривается xls-формат.

Шаблоны данных для загрузки – описание таблиц данных для загрузки в целевую систему.

 

Этапы миграции

Рассмотрим поэтапно процесс подготовки и проведения миграции.

К организационным этапам миграции можно отнести следующие пункты:

·         Определение стратегии миграции. На данном этапе Исполнитель и Заказчик договариваются о технологии проведения миграционных работ;

·         Определение состава рабочей группы по миграции. В рабочую группу должны входить специалисты и Исполнителя и Заказчика, знакомые в достаточной степени с работой исторических систем (со стороны Заказчика) и целевой системы (со стороны Исполнителя);

·         Предварительный план миграции. План миграции по ходу проекта будет неоднократно корректироваться;

·         Периоды дат выгрузки данных из исторических систем, объемы данных. Периоды среза данных для миграций, даты тестовых и итоговой миграций. Данную информацию можно отнести к плану миграции;

·         Состав данных, подлежащих миграции. Справочные данные, классификаторы, транзакционные данные, остатки, обороты и пр.;

·         Вопросы проверки качества, корректности и целостности данных в процессе миграции и по итогам;

·         Вопросы отката к предыдущему состоянию в случае сбоев.

Остановимся подробнее на технологических этапах миграции.

Рис. 2

1.     Подготовка шаблонов загрузки данных

Шаблон загрузки данных содержит технические описания таблиц данных для загрузки, алгоритмы и правила загрузки для текущего шаблона.

Каждый шаблон в общем случае предназначен для одной или нескольких связанных таблиц в целевой системе-приёмнике.

В шаблоне указывается:

·         Описание всех полей xls-файла данных для загрузки, включая:

o   Имя поля

o   Признак обязательности заполнения поля

o   Пример заполнения поля

o   Примечание

·         Описание правил загрузки таблицы целевой системы на основании данных для загрузки (очередность в случае нескольких связанных таблиц, алгоритмы поиска по ключевым полям и т.п.)

·         Описание заполнения непосредственно полей таблиц целевой системы в случае, если предусматривается что-либо отличное от переноса данных «один в один» из файла данных для загрузки. Актуально для ссылочных полей, например.

 

В процессе работ по данному этапу Исполнитель также должен подготовить загрузчик файлов данных для загрузки. В случае работы с файлами xlsданная задача не представляет особой сложности.

2.     Выявление источников данных

Данный этап может начинаться вместе с предыдущим этапом «1. Подготовка шаблонов загрузки данных».

В рамках данного этапа специалисты Заказчика определяют из каких систем и какие данные могут быть выгружены. Также следует определить какие данные возможно могут понадобиться.

Как правило, в больших проектах миграции выявление полного исчерпывающего списка источников данных может занимать достаточно продолжительное время и происходит по мере работ на последующих этапах.

Нередки ситуации, когда для обеспечения в дальнейшем целостности информации некоторые данные приходится переносить с печатных источников (оцифровывать) или даже заносить в таблицы со слов ключевых сотрудников Заказчика.

Тем не менее, на данном этапе нужно постараться выявить как можно больше необходимых данных.

 

3.     Выгрузка исходных данных

Процесс выгрузки данных из исторических систем может занять достаточное количество времени, особенно, если систем много, они разные и за них ответственны разные подразделения Заказчика. Необходимо учитывать данный момент при тестовых и итоговой миграциях.

Наиболее удобным вариантом представляется выгрузка в xlsфайлы. Многие старые IT-системы поддерживают такой вариант.

Также могут быть варианты выгрузки в csvформат, dbf, xml форматы и прочие.

Стоит отметить, что по тем или иным причинам (вопросы безопасности, например) Заказчик не всегда может предоставить выгрузки данных в полном объеме на этом этапе! Только структура данных и несколько тестовых позиций. Таким образом, может сложиться такая ситуация, что при тестовых и итоговой загрузках будут обнаруживаться некачественные данные в исходных таблицах, что будет приводить к незапланированным ошибкам.

Для минимизации данной проблемы следует оговорить заранее объемы тестовых выгрузок из исторических систем.

4.     Мэппинг данных

Мэппинг (data mapping) – в общем случае процесс сопоставления данных исторических систем и системы-приемника. То есть, исходных данных и данных для загрузки.

Этап мэппинга - наиболее трудоёмкий этап и может занимать более 50% всех работ по задаче миграции.

На данном этапе в полной мере задействуется вся рабочая группа проекта по миграции.

В процессе мэппинга данных необходимо выделить подэтапы мэппинга таблиц и мэппинга полей.

·         Мэппинг таблиц, или мэппинг шаблонов – сопоставление таблиц исходных данных и шаблонов данных для загрузки. Соответствие может быть как 1:1, так и N:N. В результате данной работы составляется и поддерживается реестр мэппинга таблиц. Данный подэтап необходим для следующего подэтапа мэппинга полей и для отслеживания общего состояния дел по мэппингу.

 

Примерное содержание реестра мэппинга таблиц может быть следующее:

Группа шаблонов 1С

Наименование шаблона 1С

Наименование файла-

источника

Правила формирования файла-источника

Ответственный

Статус

Примечание

НСИ

Шаблон_

Номенклатура

Номенк

латура.xls

• В системе N установить отбор
• Сохранить в txt
• Открыть в xls, колонки - текстовые
• Первая строка - шапка
• Кол-во столбцов - 15
• Сверить кол-во строк в txt и xls
• Наименование листа всегда "Лист1"

Иванов И.И.

в работе

 

 

 

·         Мэппинг полей – сопоставление полей таблиц в рамках уже определенного мэппинга таблиц. Результатом данной работы является реестр мэппинга полей.

 

Примерное содержание реестра мэппинга полей может быть следующее:

№пп

Кл. поле

Обязательный

Имя поля шаблона 1С «Шаблон_Номенклатура»

Описание

Имя поля «Номенклатура.xls»

Алгоритм заполнения

 

 

 

Код

Код элемента справочника

Код

 

 

 

 

Наименование

Наименование элемента справочника

Наименование

 

 

 

Да

Это группа

Содержит одно из значений:
• 1 – для групп
• 0 – для элементов
 

 

Если длина кода=11 символов и последние 4 символа <> "0000", то это элемент - "0", иначе группа - "1".

 

 

 

Полное наименование

Наименование элемента справочника

Наименование

Если ЭтоГруппа =1 , То "", ИначеЕсли ЭтоГруппа=0, то Наименование.

                             

 

В рамках данного этапа также следует провести возможные работы по нормализации данных.

 

5.     Подготовка правил трансформации

В отличие от предыдущих этапов, данный этап – технический и предполагает работу разработчика Исполнителя.

На основании согласованных реестров мэппинга полей специалисты Исполнителя разрабатывают правила трансформации данных.

Для оперативной работы в процессе подготовительных миграционных этапов и дальше, в ходе тестовых и итоговых миграций важно, чтобы существовала удобная среда разработки правил (скриптов) трансформации данных и среда конвертации исходных данных в данные для загрузки.

При этом требования к данной среде включают в себя:

·         Удобство и быстрота разработки правил трансформации;

·         Скорость конвертации данных. Файлы на входе и на выходе могут быть и в сотни тысяч строк!

·         Возможность работать с несколькими входными файлами одновременно;

·         Возможность сохранения правил трансформации в отдельные файлы.

Для своих проектов миграции мы разработали специализированное АРМ разработчика, взяв за основу стандартную обработку «Консоль запросов» 1С.

Обработка «Консоль запросов» была доработана для возможности делать прямые запросы к файлам xls.

Приведем пример объединения двух исходных xls-файлов Сотрудники.xls


Код сотрудника

Фамилия

Имя

Отчество

Дата рождения

2423

Иванов

Иван

Иванович

17.11.1992

1523

Петров

Василий

Александрович

04.02.1991

4363

Сидоров

Кирилл

Николаевич

01.05.1995

6

Денисов

Денис

Денисович

01.01.1990

 

 и Операции.xls со страницами:

Списания

Код сотрудника

Дата

Сумма

2423

01.02.2014

354

1523

02.02.2014

26

4363

03.02.2014

457

6

04.02.2014

100000

2423

05.02.2014

235

1523

06.02.2014

235

4363

07.02.2014

2356

6

08.02.2014

140000

2423

09.02.2014

421

1523

10.02.2014

235

4363

11.02.2014

23523

6

12.02.2014

80000

и Поступления:

Код сотрудника

Дата

Сумма

6

01.05.2004

100

6

02.05.2004

100

6

03.05.2004

100

6

04.05.2004

100

4363

14.02.2016

98

4363

15.02.2016

98

4363

16.02.2016

98

4363

17.02.2016

98

4363

18.02.2016

98

4363

19.02.2016

98

1523

01.06.2014

245245

2423

05.12.1999

1341234

 

 

в один итоговый файл вида:

ФИО

Код сотрудника

Дата рождения

Сумма поступление

Сумма списание

Иванов Иван Иванович

2423

17.11.1992

1341234

1010

Петров Василий Александрович

1523

04.02.1991

245245

496

Денисов Денис Денисович

6

01.01.1990

380000

320000

Сидоров Кирилл Николаевич

4363

01.05.1995

613382

26336

ИТОГО:

 

 

2579861

347842

 

Отметим, что пример является искусственным, специально подобранным для демонстрации всех возможных стадий трансформации источников данных.

Технологическая последовательность операций трансформации здесь выглядит следующим образом:

1.       Запрос в синтаксисе AccessSQLк таблицам MSExcel.

С помощью языка запросов AccessSQL(дающего существенные дополнительные возможности, по сравнению с языком запросов 1С) создается первоначальный запрос, извлекающий данные из файла xls в среду 1С. При этом уже на данном этапе возможны различные проверки и нормализации данных.

Технология доступа к данным ADO обеспечивает высокую скорость работы.

Рис. 3

2.       Запрос на языке 1С – основной запрос, реализующий алгоритм мэппинга полей. А также: обогащение загружаемых данных данными из базы 1С, перегруппирование, объединение с результатами запросов к другим исходным xls-файлам и пр.

 

Рис. 4

 

3.       Постобработка результата запроса 1С при необходимости. Реализуется с помощью скрипта на языке 1С.

 

Для примера здесь реализуется добавление строки «ИТОГО» по колонкам сумм.

Рис. 5

 

4.       Запись итогового набора данных в xls-файл.

Рис. 6

В общем случае на выходе мы получаем итоговые файлы для загрузки в целевую базу данных 1С.

Также данный инструмент позволяет сохранять правила конвертации данных в отдельный xml файл:

Рис. 7

Кроме того, реализована возможность работать в пакетном режиме, что особенно актуально при большом количестве разнородных мигрирующих данных.

6.     Выгрузка, трансформация и загрузка данных

В ходе предыдущих этапов подготовительная часть работы в целом заканчивается – выявлены все источники данных, сделана выгрузка исходных данных из источников, подготовлены шаблоны загрузки в целевую базу, подготовлен мэппинг данных и, наконец, разработаны скрипты трансформации данных.

Начиная с этого этапа и далее возможна организация череды тестовых и итоговой миграции.

Следует отметить, что перед итоговой миграцией обязательно следует провести несколько тестовых. В ходе тестовых миграций Исполнитель совместно с Заказчиков выявляют:

·         ошибки конвертации, ошибки загрузки данных

·         проводят предварительную оценку качества загружаемых в целевую систему данных

·         по итогам тестовых миграций составляют/актуализируют план итоговой миграции

 

7.     Выверка данных

Проверка качества загруженных данных должна производиться как после тестовых миграций, так и по окончанию итоговой миграции. В ходе выверки могут проверяться следующие показатели:

·         Совпадения итоговых сумм по остаткам, по документам;

·         Количественные совпадения, например количество ОС;

·         Корректность заполнения отдельных выборочных сущностей;

Обращаем внимание, что те или иные проверки мигрирующих данных, вопросы нормализации данных необходимо решать на протяжении всех миграционных процессов. Необходимо всегда задаваться вопросом, что нужно сделать на текущем этапе, чтобы избежать ошибок на последующих этапах.

Например:

·         Проверка на дубли по ключевым полям. Можно и нужно проводить еще на исходных данных;

·         Приведение типов полей;

·         Ссылочная целостность;

·         Математические нестыковки. Например, проверка на незаполненные численные поля, на которые запланировано деление при трансформации;

·         В целом, проверки обязательной заполненности полей;

·         Замена некорректных символов. Например, английские символы в кириллических полях («о», «а», «е» и т.п.) Особенно актуально это для ключевых полей!

·         Проверка значений строковых полей на соответствие типов системы-приемника (Ограничения по длине)

После завершения итоговой миграции согласно заранее определенной стратегии миграции и плану миграции принимается решение о дальнейшей эксплуатации исторических систем.

Часто эксплуатация завершается сразу после финальных сверок данных и фиксирования успешности проведенной миграции – пользователи новой системы уже не ведут учет параллельно в двух системах, а полностью переходят в новую систему. При этом доступ к старой системе сохраняется в режиме чтения.

В некоторых случаях может происходить параллельная работа двух систем на время опытной эксплуатации (ОЭ) и даже более этого периода. Вопрос параллельной работы пользователей в двух системах тесно связан с вопросом возможности отката к старой системе, в случае если миграция (или же, в целом, работа новой системы!) будет признана неудовлетворительной.

 

Заключение

В заключении хотелось бы отметить, что когда речь идёт о миграции больших транзакционных систем, к которым относятся и многие конфигурации «1С:Предприятия», переход на новую систему может быть весьма трудоёмким.

Поэтому следует помнить, что любой подобный проект требует тщательной подготовки и должен сопровождаться индивидуальным планом. Однако независимо от типа мигрируемых систем, объемов баз данных и пр. общая схема миграции выглядит практически идентично.

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. Сурикат 303 17.05.16 22:50 Сейчас в теме
Мне кажется, что для описания общей схемы нужно также добавить синхронизацию данных.
Т.е. когда процесс перехода сильно растянут во времени может получиться ситуация, что часть данных заносятся в исторических источниках, а часть уже в новых. Точнее для средних и крупных систем так обязательно получится. В таком случае необходимо осуществлять синхронизацию данных для обеспечения беспрерывной работы системы.
pisarevEV; dddxddd; ivanov660; monkbest; +4 Ответить
2. king1982 2 18.05.16 10:02 Сейчас в теме
(1) Именно. На мало-мальски серьезном проекте обмен необходим в обе стороны. Кто будет останавливать работающий бизнес ради какого-то там перехода?
monkbest; +1 Ответить
3. cinimex 44 18.05.16 12:17 Сейчас в теме
(1)(2)

Коллеги, спасибо за комментарии

Да, в некоторых случаях после внедрения новой системы есть период, когда учет ведут и в старой системе и в новой. В таком случае обеспечивается синхронизация данных. И это, по сути, уже обычная интеграционная работа - регулярный автоматический или полуавтоматический обмен между системами.

Другое дело, что если миграция происходит с целого ряда систем на новую - то обеспечение такой невольной интеграции уже тянет на отдельный проект.
4. king1982 2 18.05.16 15:41 Сейчас в теме
(3) Если есть ряд систем в начале не синхронизируемых между собой, то переход делается посистемно, сначала одну систему, потом вторую и опять же с синхронизацией. Временно (до окончательного перевода всех процессов) отключаем (или не включаем) в 1С контроль зависимостей одних данных от других.
Да: долго, дорого, муторно, жаба душит, но: дешевле простоя, а тем более риска из организованного хаоса создать неорганизованный бардак, в ходе которого многие активы компаний имеют свойство умножаться на ноль.
pisarevEV; cinimex; +2 Ответить
5. cinimex 44 18.05.16 16:17 Сейчас в теме
(4) да, согласны - такой вариант самый, пожалуй, надежный и сохраняет нервы крепче

добавлю, на мой личной практике была такая миграция, когда старая система так и осталась в строю, но для ограниченного круга лиц и уже, понятно, не для оперативной работы, а как архив прежде всего. Плюс, как некая тестовая база для отработки каких-то технических решений по соседним еще рабочим системам на аналогичной платформе.


По поводу простоя - если брать именно наши проекты, простоя никто из Заказчиков, конечно, не хочет. Да и возможности такой нет. Соответственно, стараемся провести по максимуму тестовых миграций, главных тестовых миграций, сверхглавных тестовых миграций и т.п. Также, стараемся подготовить и автоматизировать процесс так, чтобы финальная миграция ужалась до времени массовой автоматизированной заливки данных по нажатию на одну кнопку, грубо говоря. Поэтому, если всё готово заранее, сама заливка+тест занимают пару-тройку дней и сводится до рутинных нажатий на несколько кнопок.

В целом, вопрос параллельной работы в старых системах, всё же, решается Заказчиком, прежде всего. Если они готовы, IT-отделы старых систем готовы, бизнес готов, это у них стандартная практика - то почему бы и нет. Но нам, как исполнителям потенциально нужно быть готовым к единовременному переносу данных сразу - вот вам новогодние праздники, местные специалисты, дерзайте.
6. kauksi 206 18.05.16 16:20 Сейчас в теме
Не описан любимый процесс миграционщиков - проВэПээРить
7. cinimex 44 18.05.16 17:22 Сейчас в теме
(6) имеется ввиду функция ВПР в экселе?

Мы в данном случае эксель используем просто как таблицы некой промежуточной БД.

всю обработку и необходимую аналитику данных в этих таблицах выполняем запросами - там вполне себе полноценный SQL, и insert есть, и нормальное преобразование типов и т.п.

В принципе, можно сразу все эксели переливать в СУБД как есть и работать уже там. Такой ETL будет.... Чем мне не нравится такой вариант - эксель универсален и стоит у всех пользователей и все умеют с ним работать. Это крайне удобно и практично.
8. Трактор 1198 18.05.16 17:34 Сейчас в теме
Фигня какая-то. Почему xls удобен? Не понятно. Если миграция из 1С в 1С, то удобнее всего конвертация данных, а значит xml. Если миграция из/в другие системы, то смотри, что за системы. Часто удобно бывает сделать промежуточную SQL базу, которая обеспечивает целостность данных.
Мне ни разу не приходилось мигрировать xls файлами. Потому что эксэль считает себя самым умным и иногда искажает данные.
Svetka606; amon_ra; alexsi; pisarevEV; Йожкин Кот; kereo; zqzq; acapulco; myjob1c; утюгчеловек; +10 1 Ответить
9. Светлый ум 257 18.05.16 17:49 Сейчас в теме
(8) Трактор, полностью согласен - но в большинстве случаев не хватает квалификации у людей ваять SQl промежуточные базы, да и конвертации как огня боятся - потому и изгаляются выгрузками в файл: XLS, DBF, Txt
11. cinimex 44 18.05.16 18:14 Сейчас в теме
(9) абсолютно верно

ситуация 1 - миграцию делает 1-2 разработчика 1С. Тут можно хоть прямыми запросами из системы А в систему Б делать. Всё ограничивается только уровнем 1С-ников

ситуация 2 - систем два десятка. Только аналитика и мэппинг полей занимают полгода смежной командой Заказчик+Исполнитель - это и бухгалтеры, и экономисты, и прочие. Тестовых миграций и выверок еще на несколько месяцев. Общая длительность работ - больше года.
Понятно, что тут нужно что-то простое, понятное, всем доступное в любой момент. Чтобы Бухгалтер А мог четко и быстро отработать по телефону по файлу с Экономистом Б.
25. Lancelot-2M 103 14.06.16 00:23 Сейчас в теме
(11) видел в живую попытку ребят из Диалог ИТ через экселя провернуть перенос данных из овер 10 баз 7.7 в 1 на 8.х - и не увидел никаких преимуществ технологии.
Все равно лично вкорячил реквизиты синхронизации в нужные справочники, написал отчетов, которые проверяли заполнение этих реквизитов и сравнение справочников в разных базах через COM - потому что данных столько, что если человекам поручить в экселе все проверять - то так и на год подготовительных работ выйти можно))) Считаю предлагаемую технологию ущербной хотя бы в силу большей сложности написания автоматизированных проверок синхронизации данных во множестве "исторических систем" перед выгрузкой во внедряемую.
Svetka606; +1 Ответить
26. Светлый ум 257 30.12.19 07:51 Сейчас в теме
(9)
(8)
Спустя 3 года с гаком... При создании прототипов никто не даст боевые базы конвертацией.
- Все первые приближения реализаций обменов будут именно через Excel (xls), а только потом когда-нибудь - все будет красиво.

В общем полезный подход. Часть для себя попробую адаптировать
ADO лучше не использовать - не у всех служба безопасности даст зарегистрировать библиотеки ADO от Microsoft
10. cinimex 44 18.05.16 18:09 Сейчас в теме
(8) xls удобен некой общей универсальностью - и как инструмент, и как транспорт данных

В экселе ведется мэппинг полей - прорабатываются и согласуются алгоритмы сопоставления. Этой работой занимаются специалисты Заказчика от бизнеса + аналитики Исполнителя. В экселе тут же ведутся всякие реестры и отчеты. То есть тут - рабочий инструмент.

Ну, и эксель достаточно удобен как средство хранения информации для обработки. Его можно открыть с любой машины, просмотреть. Специалист Заказчика может сам что-то проверить.

По поводу промежуточных SQL-баз - вариант хороший, не спорю. Такие примеры миграции также у нас в практике есть.

Но, в большой конторе для того, чтобы просто поднять чистую sql-базу может потребоваться писать служебки с кучей согласований, в том числе и служб ИБ.
Далее, остро встанет вопрос по поводу квалификации людей, которым нужно работать с этими данными.
Далее, встаёт вопрос _выгрузить_ из старых систем данные в эту новую sql-базу. Систем может быть десяток, на разных платформах - и MS SQL и Oracle, и те же эксели.
Зачастую, владельцы старых систем никак не заинтересованы в таких работах. Выгрузить 10 файлов эксель "как есть" - это просто. А вот работать для переливки в sql-базу...

С xml - примерно те же проблемы. Софт, квалификация, оперативность работы, доступность для работы
20. Сурикат 303 23.05.16 18:18 Сейчас в теме
(8) Трактор,
У меня был опыт миграции xls файлами со СБиСа (точнее csv, суть одна). XLS ничем не лучше и не хуже других форматов. Вопрос насколько специалистам, осуществляющим миграцию, проще работать с тем или иным форматах при переносе. Если, например, у вас уйдет 50 часов на написание правил для выгрузки/загрузки в XML и 10 часов на те же правила, но с использованием csv вы наверняка выберете csv.
21. Новенький_2209 25.05.16 10:50 Сейчас в теме
(8) Трактор,
Фигня какая-то. Почему xls удобен? Не понятно.

Потому что база-источник может быть построена на таких платформах/технологиях, что специалистам c "той" стороны дешевле, проще, удобнее выгрузить исходные данные в формат "который уже поддерживает наша система". Я участвовал в проекте, в котором максимум что могли дать с "той" стороны, это много-много файлов в формате *.txt. С учетом среднего объема файла в 1 Гб.

Мне ни разу не приходилось мигрировать xls файлами. Потому что эксэль считает себя самым умным и иногда искажает данные.

Как раз таки, если рассматривать только формат xls как источник данных, то вам не обязательно его открывать экселем. Читайте тем средством, которое вам доступно/нравится. Никаких "авто" преобразований в этом случае не будет. Более того, сам формат полей, также можно настроить. Но конечно, стоит на задачу смотреть контекстно. Например, если размер файла с данными начинает превышать гигабайтный размер, в случае с тем же txt, стандартный драйвер чтения такого файла, скорее всего просто завалится. В этом случае, как вариант, файл действительно есть смысл как-то загрузить в какую-то субд. Я в таких случаях использовал MS SQL, делал человеческие вьюшки к ним, и уже через ВИД, цеплялся к ним. В этом случае, никакие продвинутые консоли не нужны, достаточно обычной стандартной итс'овской, или вообще любой. Опять же почему я пришел к понимаю именно такой архитектуры. Смотрите, как правило, данные мигрируют из одной системы в другую. В источнике - там же не табличка, там база. И удобно именно через 1С по быстрому настроить все необходимые для работы связи между таблицами, настроить типы полей, чтобы из 1С это все работало в типах данных 1С и был доступен механизм "по ссылке". Таким образом у вас и интерфейс человеческий к источнику, и запросы со всеми плюшками разименования по ссылке на языке запросов 1С, опять к анализу можно подключить СКД, и отдать этот функционал человеку, "ни 1с'нику". При этом вы как бы в мире 1С, но в качестве источника у вас совершенно сторонняя система.

Надеюсь, дискуссия от моих 5 копеек не испортится :)

slavap; cinimex; +2 Ответить
22. cinimex 44 25.05.16 11:44 Сейчас в теме
(21)
И удобно именно через 1С по быстрому настроить все необходимые для работы связи между таблицами, настроить типы полей, чтобы из 1С это все работало в типах данных 1С и был доступен механизм "по ссылке". Таким образом у вас и интерфейс человеческий к источнику, и запросы со всеми плюшками разименования по ссылке на языке запросов 1С, опять к анализу можно подключить СКД, и отдать этот функционал человеку, "ни 1с'нику". При этом вы как бы в мире 1С, но в качестве источника у вас совершенно сторонняя система.


да, абсолютно аналогичная мысль пришла и нам - на стороне принимающей 1С-системы необходимо организовать такое рабочее место, чтобы источники уже были как-либо проинициализированы в "1С-нотацию", с переводом ключевых полей в ссылки и прочее. Технологически это могут быть и через ВИД, и прямые запросы к промежуточной СУБД, прямые запросы к xls и что-то другое.

Такое рабочее место позволяет оооочень быстро и эффективно буквально на лету изменять алгоритмы трансформации данных под новые обстоятельства.
Новенький_2209; +1 Ответить
12. cinimex 44 18.05.16 18:26 Сейчас в теме
Добавлю, что, конечно, если Заказчик - серьёзное предприятие с бесконечно развитым IT-блоком, то там начинают использоваться уже промышленные ETL-системы

Например, по такой схеме Основные функции ETL-систем

Но, понятно, что бюджеты подобных работ равно как и стоимость соответствующего софта очень нескромные.
13. dddxddd 19.05.16 17:40 Сейчас в теме
Суть статьи правильная, на собственном опыте подтвержденная.
Но есть некоторые придирки к тексту. Хочется спросить автора, чем в его трактовке отличается "мэппинг" от "трансформации"?

> На основании согласованных реестров "мэппинга" полей специалисты Исполнителя разрабатывают правила трансформации данных.

ИМХО вы "запутались" в терминах.
Насколько я понимаю, Ваше "мэппинг" это и есть "правила отображения и трансформации" прикладных данных исторической системы в новую. А "специалисты исполнителя", в вашей цитате, реализовывают эти правила трансформации в программные (или иные) "механизмы трансформации".

Например, у нас в Крыму, при переходе из украинского учета в российский учет, бухгалтера выполняли "трансформацию" украинского БУ в российский, но "мэппинг" они не делали... :-))
Не стоит использовать американизмы там, где есть нормальные русские термины.
Makushimo; Трактор; cinimex; +3 Ответить
14. cinimex 44 19.05.16 17:53 Сейчас в теме
(13) спасибо за комментарий

мэппинг - это такой устоявшийся термин, но корнями не совсем из мира 1С, да..

смотрите ссылку на ETL в (12) или вот, к примеру

то есть это процесс сопоставления полей системы А и системы Б - обычно в виде каких правил, алгоритмов, возможно, кусков кода и т.п. Это аналитическая работа специалиста буквально ручками в экселе или в какой-то специальной программе.

а трансформация, конвертация - это просто процесс автоматизированного преобразования данных как раз по этим правилам
15. утюгчеловек 12 20.05.16 15:19 Сейчас в теме
Плюсую за расширенную консоль.

Складывается ощущение, что такая схема синхронизации категорически не подходит для достаточно больших компаний, или для компаний, объем данных в исторических системах которых довольно большой.
Я боюсь себе даже представить сколько будет открываться excel с миллионами строк насыщенной колонками таблицы.
Ведь Вы выбрали excel именно потому что в нем удобно будет работать заказчику?
Страшно подумать, во что станет потом заказчику этот excel проверять/сводить/редактировать перед загрузкой в целевую систему.

На мой взгляд сильно проще описать достаточное количество внешних источников данных. И работать с ними в единообразной 1С-ной манере.
Чувствую, что в 97,5% случаев этого будет достаточно.
Исключением будут являться какие-нибудь поросшие мхом источники данных, подключиться к которым просто так нельзя.
16. cinimex 44 20.05.16 16:13 Сейчас в теме
(15)
Складывается ощущение, что такая схема синхронизации категорически не подходит для достаточно больших компаний, или для компаний, объем данных в исторических системах которых довольно большой.
Я боюсь себе даже представить сколько будет открываться excel с миллионами строк насыщенной колонками таблицы.


я думаю, да, в этом случае - уже next-level, переход на другой технологический уровень и использование других инструментов. Но общий принцип, в целом, такой же.

В целом, открывать миллионные эксели особой необходимости нет - активная работа с таким файлом ведётся на тестовом примере. Например, 100-1000 строк произвольных строк более-менее отражающих срез данных. Повторюсь, работа именно аналитическая, когда, скажем, бухгалтеры Заказчика сопоставляют поля этих экселей и поля таблиц новой системы- это вот как раз работа по мэппингу данных.

Составлен мэппинг, программист по этому мэппингу написал код трансформации - всё, можно конвертировать исходный файл. И только тут первый раз на сцену выходит миллионный файл.

Ну и потом, нужно смотреть, что за предметная область. Откуда миллион строк в таблицах. Если это проводки - то, возможно, достаточно будет ввода остатков и всё. Ну, а НСИ в таких размерах.. ))
18. cinimex 44 20.05.16 16:42 Сейчас в теме
(15)
На мой взгляд сильно проще описать достаточное количество внешних источников данных. И работать с ними в единообразной 1С-ной манере.
Чувствую, что в 97,5% случаев этого будет достаточно.
Исключением будут являться какие-нибудь поросшие мхом источники данных, подключиться к которым просто так нельзя.


если есть возможность, да, конечно, можно поступить и так

но ситуация может складываться так что:

а) просто так никто к другой базе подключиться не даст. Только через служебки, согласования, пробросы портов, разрешения ИБ и прочее. Для каждой базы по отдельности. Плюс, если это рабочая база - то к ней в принципе могут не дать доступ никак. Только к какой-либо тестовой копии, которую чтобы поднять... см. выше

б) даже если доступ получен - мы можем увидеть оригинальные таблицы СУБД, которые, как и в 1С, могут слабо отражать бизнес-смысл. Соответственно, нужна дополнительная приличная аналитика по этим базам... Это время, ресурсы, бюджеты


Иными словами, нужен промежуточный формат такого плана, чтобы без проблем можно было в него выгрузить из старых баз данные (примеры данных) и без больших трудозатрат посадить бухгалтерш и 1С-консультантов разрабатывать алгоритмы переконвертации этих данных.
17. vardo 52 20.05.16 16:27 Сейчас в теме
Люди любят изобретать велосипеды и не любят изучать стандартные механизмы конвертации
19. valafan 115 21.05.16 22:20 Сейчас в теме
плюс, ещё бы консольку приложить...
23. Йожкин Кот 1080 30.05.16 17:15 Сейчас в теме
Сколько умных слов, задействованных людей и написанных обработок. Все делается при помощи КД 2.0. От заказчика требуется только описание структуры базы.
24. Bazin 5 31.05.16 10:50 Сейчас в теме
Если между 1С 8.X, "На коленке", большие объемы, "Я не люблю КД":
Источник: Запрос -> Таблица значений -> ЗначениеВФайл()
Приемник: ЗначениеИзФайла() -> Таблица значений.
А далее вариации:
1. Грузим "кодом" из таблицы значений
2. (Большой объем): "Кладем" таблицу значений и объект приемник в запрос, сравниваем их, на выходе получаем "Дельту, обновляем элементы объекта.
утюгчеловек; +1 Ответить
Оставьте свое сообщение

См. также

Как прикрутить ГУИД к регистру сведений Промо

Практика программирования Перенос данных из 1C8 в 1C8 Разработка v8 Бесплатно (free)

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    18948    0    m-rv    17    

Диадок. Подключаемый модуль. Отладка

Интеграция Внешние источники данных v8 1cv8.cf Бесплатно (free)

Небольшой пример, как работать с подключаемым модулем Диадок (для изменения УПД перед выгрузкой на сайт Диадок.). Отладка подключаемого модуля, если не смогли подключить стандартную отладку.

17.06.2020    2049    0    John_d    1    

Конвертация данных 2. Использование подключаемых обработок в правилах обмена. Конвертация дерева значений

Обмен данными 1С Обмен через XML Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

Разработка правил обмена с использованием подключаемых обработок. В качестве примера рассмотрена реальная задача конвертации дерева значений.

15.06.2020    2066    0    Drivingblind    6    

Конвертация данных 2.1. Методика переноса остатков

Перенос данных из 1C8 в 1C8 v8 1cv8.cf УУ Бесплатно (free)

В данной статье я приведу пример использования базовой методики конвертации данных для переноса остатков из одной информационной базы в другую.

12.06.2020    2853    0    aximo    15    

Повышаем эффективность разработки правил обмена Промо

Практика программирования Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

Как повысить скорость и качество разработки правил обмена? Как вести групповую разработку правил обмена? Как облегчить сопровождение правил обмена после передачи в эксплуатацию? Об этом и многом другом вы можете узнать из этой статьи.

25.06.2018    27168    0    olegtymko    47    

Механизм XDTO

Перенос данных из 1C8 в 1C8 v8 1cv8.cf Бесплатно (free)

Попытка понять механизм XDTO и его неочевидные аспекты. Научиться выполнять обмены между различными конфигурациями без оглядки на реализацию в типовых.

12.05.2020    4089    0    totchaz    3    

Как мы загружаем данные в "Центр управления кассами Магнита"

Внешние источники данных Интеграция v8 1cv8.cf Бесплатно (free)

Статья о том, как мы делали механизм загрузки больших объемов данных в "Центр управления кассами Магнита"

08.05.2020    4220    0    chernenko_vv    25    

Синхронизация БИТ:СКУД 8 с Parsec.Net 2.5

Интеграция Внешние источники данных v8 1cv8.cf Бесплатно (free)

Настройка синхронизации БИТ:СКУД 8 с Parsec.Net.2.5, выгрузка данных из внешней системы контроля доступа.

04.05.2020    3334    0    RPGrigorev    0    

Универсальный обмен между идентичными конфигурациями через REST интерфейс OData. Часть І: Справочники Промо

Перенос данных из 1C8 в 1C8 v8 Бесплатно (free)

Сейчас все чаще интеграции различных конфигураций проектируются через HTTP-сервисы - они и работают быстрее, и "войти" в режим отладки гораздо проще, тем самым обойдя "черный ящик" универсального обмена через xml, например. Более года назад я начал работать в компании, в которой разработчики работали с конфигурациями 1С в режиме совместимости еще 8.2.16 (менять режим совместимости в типичных базах мы не хотели) - а как Вы наверное знаете, если интересовались HTTP-сервисами в 1С, их использование в режиме совместимости 8.3.4 и ниже недопустимо - и здесь я уже не надеялся на разработку и использование HTTP-сервисов. Но позже меня заинтересовал такой "сервис" как REST интерфейс OData, так как его можно использовать не меняя режим совместимости конфигурации - именно он и стал для меня идеальным вариантом решения "нетривиальных" задач.

11.05.2018    22015    0    V.Stavinsky    11    

Механизмы проведения документов при обмене по универсальному формату

Перенос данных из 1C8 в 1C8 БСП (Библиотека стандартных подсистем) v8 Бесплатно (free)

Как проводятся документы при обмене по универсальному формату. Пример доработки типовых правил обмена с переносом состояния документа: проведен/не поведен/пометка удаления.

04.03.2020    3767    0    partizand    6    

Односторонний обмен ЗУП и БП

Перенос данных из 1C8 в 1C8 v8 БП3.0 ЗУП3.x Россия Бесплатно (free)

Односторонний обмен из ЗУП в БУХ

29.02.2020    4173    0    VAAngelov    11    

Бесшовная интеграция через обмен по правилам - миссия выполнима

Практика программирования Интеграция Перенос данных из 1C8 в 1C8 v8 ДО ERP2 Бесплатно (free)

При организации работы с договорами в ERP 2, с помощью бесшовной интеграции с Документооборотом, «типовой» методикой является создание договоров в ЕРП. После создания договора в ЕРП, пользователь «отправляет» договор в ДО по бесшовной интеграции. На практике, весьма часто пользователи хотят видеть обратную схему: вводить договоры в ДО и при этом получать их в ЕРП без «лишних телодвижений». Или даже вводить их независимо в обеих системах – так, чтобы потом «стыковать» по каким-то определенным правилам.

24.01.2020    4221    0    e-9    2    

Взаимодействие между базами 1С через COM Промо

Перенос данных из 1C8 в 1C8 v8 1cv8.cf Бесплатно (free)

Рассмотрено много особенностей взаимодействия между базами 1С по COM технологии

10.08.2015    145516    0    tormozit    65    

Получение данных из Сигур

Внешние источники данных v8 1cv8.cf Бесплатно (free)

Получение данных из СКУД Сигур (без танцов с бубном)

25.12.2019    3311    0    skaoxy    5    

Интеграция решений на 1С и сервиса обмена данными RabbitMQ через Web REST API

Внешние источники данных v8 1cv8.cf Бесплатно (free)

Отправка "Hello world" из 1С на сервер RabbitMQ и обратно при помощи web REST API. Проще уже некуда! Совместимо с Linux и Windows! Реализация протестирована на 1С 8.3.14.1854 (x64).

21.10.2019    12220    0    Eret1k    24    

Объединение организаций в ЗУП при реорганизации с переносом данных из ЗУП 2.5 в ЗУП 3.1

Зарплата Управление персоналом (HRM) Перенос данных из 1C8 в 1C8 v8 v8::СПР ЗУП2.5 ЗУП3.x БУ Бесплатно (free)

В этой статье описан опыт объединения 2-х организаций при реорганизации в ЗУП 3.1 с переносом данных одной организации из ЗУП 2.5 (релизы баз более или менее свежие, но не самые последние на момент перехода, примерно двух- и трехмесячной давности). За основу было взято решение из этой статьи https://infostart.ru/public/833658/, в которой описан алгоритм решения задачи, за что автору статьи огромная благодарность! Здесь же даны некоторые комментарии и пояснения к алгоритму переноса и объединения, описаны выявленные мною ошибки. Также приведена небольшая инструкция по использованию обработки ирПодборИОбработкаОбъектовБД — она будет полезна для пользователей — «не программистов», впервые работающих в не управляемых формах.

09.10.2019    6940    0    Neti    2    

Использование инструментов разработчика для отладки обменов КД 2.0 Промо

Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

Пара трюков, благодаря которым жить становится намного проще...

05.05.2017    26887    0    unichkin    3    

EnterpriseData: простой способ защиты данных в базе получателя при одностороннем обмене

Перенос данных из 1C8 в 1C8 v8 1cv8.cf Бесплатно (free)

Очень часто бухгалтеры ругаются, когда уже отраженные документы в бухгалтерском учета меняются сотрудниками.

04.10.2019    6411    0    handscenter    12    

Дозагрузка измененных данных при помощи КД2

Практика программирования Перенос данных из 1C8 в 1C8 v8 Россия Бесплатно (free)

Иногда во время каких-то регламентных действий по обслуживанию базы(например, при обновлении измененной базы на много релизов) требуется обеспечить бесперебойность работы пользователей. Если конфигурации баз до и после идентичны, то тут сам Бог велел воспользоваться обработкой "ВыгрузкаЗагрузкаДанныхXML", либо такой же но с отбором(на Инфостарте есть такая). Но что если конфигурации баз различаются/значительно различаются? Ниже опишу, как вышел из положения я.

12.09.2019    4555    0    al_zzz    2    

Конвертация Данных. Нюансы использования конструкции "НеЗамещатьОбъект = Истина" в обработчике события "ПриЗагрузке"

Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

У конвертации данных есть «особенности», которые «пьют кровь» программистов. Эта статья про очередную обнаруженную «особенность».

10.09.2019    8719    0    ivanek    21    

Приемы обработки больших данных в 1С Промо

Универсальные обработки Математика и алгоритмы Перенос данных из 1C8 в 1C8 v8 1cv8.cf Бесплатно (free)

Рассказ об эффективных приемах организации обработок больших объемов данных на платформе 1С

07.08.2015    65601    0    tormozit    27    

Обмен данными через Web Сервисы

Перенос данных из 1C8 в 1C8 v8 1cv8.cf Россия Бесплатно (free)

Ознакомительная статья о том, как загружать\выгружать данные с одной базы в другую, используя Web Сервисы.

02.09.2019    19020    0    user5300    41    

Выгрузка и загрузка документов с движениями

Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

Возникла задача перенести документы с движениями, но подменив организацию. Наткнулся на проблему с выгрузкой движений, опишу свой опыт.

02.09.2019    6327    0    human_new    9    

EnterpriseData – часть 3. Загрузка данных, идентификация объектов

Практика программирования Математика и алгоритмы Перенос данных из 1C8 в 1C8 Разработка v8 v8::УФ 1cv8.cf Бесплатно (free)

Основные этапы загрузки данных через EnterpriseData. Идентификация объектов загружаемых полностью и по ссылке. Приведены схемы процессов загрузки данных. Описание основных операций и обработчиков. Перечень процедур БСП, используемых при загрузке данных, структура «КомпонентыОбмена».

22.08.2019    13291    0    ids79    8    

Настройка типового обмена данными между: 1С: Предприятие Бухгалтерия ред. 3.0 (БП 3.0) и 1С: Управление торговлей ред. 10.3 (УТ 10.3). Промо

Перенос данных из 1C8 в 1C8 v8 УТ10 Россия Бесплатно (free)

В этой статье я опишу, как настраивается типовой обмен данными между БП 3.0 и УТ 10.3.

29.01.2014    264536    0    arr    53    

Перенос дополнительных реквизитов в Конвертации данных 2.0

Перенос данных из 1C8 в 1C8 v8 КД Россия УУ Бесплатно (free)

Пример написания правил обмена (КД 2.0) для переноса дополнительных реквизитов справочника "Номенклатура", в том числе перенос ПВХ с разными типами значений.

13.08.2019    9852    0    vikulinamari    7    

Вставка BLOB в таблицы ORACLE средствами 1С 8.х с использованием Microsoft OLEDB Provider

Внешние источники данных v8 1cv8.cf Россия Бесплатно (free)

Столкнулся с необходимостью выгружать картинки из 1С 8 в ORACLE-таблицу.

08.08.2019    4369    0    nomad_irk    0    

Выгрузка данных в таблицу MS SQL SERVER

Внешние источники данных v8 Бесплатно (free)

Процедура по выгрузке данных из 1C (таблица значений) в таблицу MS SQL SERVER через COM.

02.07.2019    7046    0    EvgenSav    18    

Отладка правил обмена 7.7, 8 Промо

Перенос данных из 1С7.7 в 1C8.X Обмен через XML Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

Отладка правил обмена всегда была для меня больной темой, пока наконец-то не разобрался. В интернете мало тем, посвященных этому, поэтому решил написать небольшую инструкцию по этому поводу. Очень надеюсь, что она будет кому-то полезна. С радостью выслушаю недочеты.

29.10.2013    50877    0    pyrkin_vanya    70    

1С и компьютерное зрение: новый подход к контролю за ассортиментом магазина

Розничная торговля Внешние источники данных Розничная торговля v8 1С:Франчайзи, автоматизация бизнеса УУ Бесплатно (free)

Машинное зрение в магазинах и 1С. Как поднять эффективность торгового предприятия (магазин. кафе, шоурум и т.д.) с совершенно неожиданной стороны? Как получить реальные демографические данные покупателей и, самое главное, как это использовать в повседневной работе магазина? Как можно расширить привычные ABC и XYZ анализ, добавив в них пласт данных о трафике и демографии покупателей? Что необходимо для 1С, чтобы использовать данные видеоанализа людского трафика?

20.06.2019    8437    0    osipov_cvizi    16    

Интеграция решений на 1С и сервиса обмена данными RabbitMQ

Внешние источники данных v8 1cv8.cf Бесплатно (free)

"Hello world" из 1С на сервер RabbitMQ и обратно. Полностью открытый код 1С! Реализация протестирована на 1С 8.3.12.1714 (x64).

24.04.2019    17065    0    Eret1k    52    

Полезные приемы при работе с Конвертацией данных 2.1. Логирование, интерактивное управление, дозаполнение и постпроведение документов

Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

Некоторые полезные приемы для КД 2.1, которые могут пригодиться как при доработке типовых правил, так и самописных.

22.04.2019    8781    0    maks_20    9    

Кэширование COM-соединения. Три способа Промо

Практика программирования Перенос данных из 1С7.7 в 1C8.X Внешние источники данных WEB v8 Россия Бесплатно (free)

Статья о трех способах кэширования COM-соединения в 1С:Предприятии 8.x.

11.04.2013    40363    0    YPermitin    33    

Работа с ComОбъектом 1С 8.2; 8.3

Перенос данных из 1C8 в 1C8 v8 1cv8.cf Россия Бесплатно (free)

Определение типов и значений через COM соединение между конфигурациями.

15.04.2019    19441    0    vik070777    12    

Обмен данными между УПП 1.3.64.х и БП 3.0 по расписанию через Универсальный обмен данными + План обмена

Обмен через XML Перенос данных из 1C8 в 1C8 v8 УПП1 Россия Бесплатно (free)

Описание доработки конфигурации УПП 1.3.64.х для выполнения обмена данными по расписанию в БП 3.0. через обработку Универсальный Обмен Данными XML и План Обмена.

09.04.2019    6643    0    mrcamomile    15    

MS Access и 1С. Что, когда и зачем?

Практика программирования Внешние источники данных Разработка v8 Бесплатно (free)

Об использовании MS Access в связке с 1С. Можно ли использовать продукты Office на сервере. Когда Access может быть полезен. Примеры работы и другое.

09.04.2019    26503    0    YPermitin    36    

Обмен по расписанию типовыми средствами. Промо

Распределенная БД (УРИБ, УРБД) Обмен через XML Перенос данных из 1C8 в 1C8 v8 1cv8.cf Россия Бесплатно (free)

Часто перед интеграторами стоит задача организовать автообмен (по расписанию или при наступлении какого-либо события) данными между различными конфигурациями. В этой статье я попробую изложить простую инструкцию, как это можно сделать средствами, заложенными в типовые конфигурации 1С (ЗУП, БП, УПП и т.д.). Для обмена используется подсистема "Обмен данными" из БСП

20.06.2012    101493    0    kser87    52    

RabbitMQ + Конвертация Данных 3.0

Внешние источники данных Обмен через XML Интеграция Перенос данных из 1C8 в 1C8 v8 КД Бесплатно (free)

Предлагаем ознакомиться с хронологией проекта, проследить ход мыслей от снятия потребностей до реализации, и решить, удалось ли проектной команде найти оптимальное архитектурное решение под конкретный кейс заказчика путем совмещения двух известных, но до сих пор не пересекавшихся технологий, и получилось ли сложить плюсы и устранить минусы каждой из них.

21.03.2019    24274    0    barelpro    82    

Загрузка ЭЛН (электронных листов нетрудоспособности) из файлов

Внешние источники данных Зарплата Зарплата v8 УПП1 Россия БУ ФОМС, ПФ, ФСС Бесплатно (free)

Что делать, если по каким-то причинам нет возможности разместить 1С и Крипто-Про на одном рабочем месте? Правильно - открывать конфигуратор и пилить. Благо, там не сложно. Непосредственно решение для УПП 1.3. Для ЗиК 2.5 и Комплексной автоматизации должно быть аналогично.

07.02.2019    6280    0    SatanClaws    4    

Конвертация данных 2.1: поиск по условию

Перенос данных из 1C8 в 1C8 v8 КД ERP2 Бесплатно (free)

Задача. При обмене документами "Реализация товаров и услуг", поиск контрагента осуществлять по полям "ИНН", "КПП". Если вид договора с комиссионером, то поиск осуществлять по полям "ИНН", "КПП", "Наименование".

15.01.2019    13683    0    wowik    13    

Заготовка для загрузки файлов по ftp Промо

WEB Перенос данных из 1C8 в 1C8 v8 1cv8.cf Бесплатно (free)

3 процедуры и 1 макет

03.06.2013    29907    0    anig99    6    

Работа с кассой Atol через веб-сервер ДТО-10

Внешние источники данных ККМ Фискальный регистратор Кассовые операции Кассовые операции v8 Россия НДС Бесплатно (free)

Поддержка многопользовательской печати на одном устройстве ККТ. Поддержка изменений в законодательстве (Переход на ФФД 1.05 и НДС 20%).

31.12.2018    31479    0    medangel    43    

RabbitMQ, Python и Windows. Step By Step

Внешние источники данных v8 Бесплатно (free)

Работа с шиной RabbitMQ, используя Python на Windows. Пошаговый быстрый старт.

13.12.2018    8515    0    w.r.    8    

Заметки КД 2.1: Как передать файл, динамически создаваемый в источнике, в справочник присоединенных файлов приемника

Перенос данных из 1C8 в 1C8 v8 КД Россия Бесплатно (free)

В БП 3.0 есть документ "Книга Продаж Для Передачи В ЭлектронномВиде" из которого выгружается XML файл. Задача: Нужно из БП 3.0 посредством правил обмена, вместе с документом книга продаж сформировать и перенести XML файл в базу приемник. В приемнике файл будет храниться в справочнике "Книга Продаж Присоединенные Файлы".

10.10.2018    9213    0    Viktor_Ermakov    6    

Интеграция «1С:Управление производственным предприятием» с «1С:Документооборот» Промо

Перенос данных из 1C8 в 1C8 Документооборот и делопроизводство Документооборот и делопроизводство v8 КА1 УПП1 ДО Бесплатно (free)

В данной статье пойдет речь о возможности интеграции 1С:Управление производственным предприятием ред. 1.3 с 1С:Документооборот КОРП и о том, что может получить предприятие от этой интеграции.

18.02.2013    61598    0    Vladimir_Konyrev    38    

Из 1С в IIKO: Передаем перемещения УТ в приходные накладные

Внешние источники данных Оптовая торговля Оптовая торговля v8 УТ11 Рестораны, кафе и фаст-фуд УУ Бесплатно (free)

Рассмотрение вариантов передачи документа "Перемещение товаров" из Управление торговлей 11 в документ "Приходная накладная" IIKO.

12.09.2018    8107    0    oyti    7    

Планы обмена 1С

Перенос данных из 1C8 в 1C8 Интеграция v8 Бесплатно (free)

В статье - мастер-классе Дмитрий Жичкин рассказывает, для чего нужны планы обмена 1С и какие задачи они решают. Он подробно описывает физическую структуру планов обмена и механизмов регистрации изменений, рассматривает основные проблемы, возникающие при выгрузке изменений и предлагает методы их решения.

10.09.2018    52632    0    zhichkin    27    

Конвертация 2.0. Обмен данными между справочниками по сопоставлению артикулов с помощью регистра сведений (пример).

Перенос данных из 1C8 в 1C8 v8 1cv8.cf Россия Бесплатно (free)

Пример обмена данными между справочниками по сопоставлению артикулов с помощью регистра сведений

27.08.2018    8833    0    Lyubogradov.P    1    

Особенности обмена данными с использованием "ручной" регистрации Промо

Распределенная БД (УРИБ, УРБД) Перенос данных из 1C8 в 1C8 v8 1cv8.cf Бесплатно (free)

Эта статья рассчитана на программистов, которые используют обмен данными с помощью метода "ВыбратьИзменения" и последующую их запись. Только для планов обменов, имеющих "ручную" регистрацию.

14.01.2013    32841    0    logarifm    6    

Конвертация 2.0. Перенос независимого справочника в подчиненный (пример).

Перенос данных из 1C8 в 1C8 v8 КД Россия Бесплатно (free)

Пример переноса независимого справочника в подчиненный с помощью Конвертации 2.0.

15.08.2018    9984    0    Lyubogradov.P    6    

Конвертация 2.0. Перенос элементов и групп справочника, имеющих различный вид иерархии (пример).

Перенос данных из 1C8 в 1C8 v8 КД Россия Бесплатно (free)

Пример переноса справочника, имеющего различный вид иерархии, с помощью Конвертации 2.0.

13.08.2018    9298    0    Lyubogradov.P    0