Простой менеджер данных (simple data manager)

13.06.24

Интеграция - Перенос данных 1C

Когда требуется быстро и удобно перенести данные между одинаковыми, различными конфигурациями.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки для того, чтобы самостоятельно ее доработать для вашей базы данных. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в вашей базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование SM По подписке Купить один файл
Простой менеджер данных (simple data manager):
.epf 1,84Mb
36
36
3 SM
Скачать Купить за 2 450 руб.

Промо

 

Простой менеджер данных вам пригодится, если вы хотите:

  • Быстро и удобно выполнять частые задачи по переносу данных между различными конфигурациями, то данный инструмент подойдет для вас;
  • Перенести данные целиком или частично (хоть один реквизит) в такой же объект метаданных или в любой другой, в тот же реквизит или другой;
  • Когда необходимо быстро перенести данные из одной базы в другую без привлечения программиста;
  • Анализировать и моделировать процессы как аналитик - а без данных тут никуда;
  • Перенести из рабочей базы проблемную ситуацию в базу для отладки;
  • Использовать для начального заполнения данными тестовых баз;
  • Выполняете обновление сильно доработанной конфигурации на новую версию;

По отзывам коллег, которые уже используют инструмент, часто можно услышать общую фразу: "Без простого менеджера данных уже как без рук".

Фактически нам этот инструмент позволил реализовать достаточно много интересных, амбициозных и сложных проектов. Ожидаю, что он принесет пользу и другим участникам сообщества. 

 

Возможности

 

Инструмент позволяющий переносить данные между различными базами, конфигурациями для Платформы 1С. Он обладает следующими преимуществами:

  • Единая обработка, которая работает в пользовательском режиме исходной конфигурации или целевой, в зависимости от задачи выгрузки или загрузки
  • Позволяет работать между различными по структуре конфигурациями
  • Позволяет решить большинство задач переноса данных без использования программного кода
  • Очень быстрый. Процедуры выгрузки и загрузки данных оптимизированы
  • Параллельность. Процедуры выгрузки и загрузки могут работать в потоках. За счет этого скорость обмена данных просто фантастическая.
  • Удобный человеко понятный интерфейс, визуальная (по средствам форм) работа с механизмами.
  • Гибкость настроек. Умеет многое то что было возможно в конфигурации конвертации 2.1.
  • Позволяет создавать произвольные многоступенчатые правила поиска.
  • Позволяет выполнять замену типов и значений.
  • Переносить информацию между внешними источниками данных
  • Позволяет выполнять установку произвольного соответствия метаданных, реквизитов.
  • Возможность описания и создания выгружаемого объекта через запрос.
  • Настройка правил выгрузки по ссылкам - глубина выгрузки, документы с движениями и др.
  • Настройка правил загрузки - только новые, только обновлять, устанавливать новый код/номер
  • Настройка правил выгрузки данных - выбранные элементы, план обмена, произвольные фильтры
  • Позволяет создавать удобные предварительные настройки - выгружать движения с документами, выгрузка иерархии вверх, выгрузка владельца, выгружать ссылки по уровню, обмен данными
  • Поддерживает возможность указания произвольного кода для обработчиков при выгрузке, при загрузке, перед записью, после записи.
  • Удобная отладка произвольного кода - через процедуры расширения
  • Позволяет перед загрузкой проверить загружаемые данные - загрузить файл в структуру/дерево
  • Поддерживает механизм генерации наборов данных. Задача создания тестируемых баз с большими наборами данных, миллионы документов и сотни миллионов движений.
  • Позволяет использовать в механизмах тестирования. Позволяет удобно загружать начальные данные перед выполнением сценариев тестирования
  • Эффективность и удобство проверено на сложных задачах, там где другие инструменты не смогли. Таких как: использование при обновлении сильно доработанных огромных баз, замена дублей ссылок, обмен между множеством различных конфигураций, управление потоками данных при решении задач консолидации и др.
  • Открытый исходный код - (open source) - https://github.com/ivanov660/SimpleDataManager
  • Достаточно хорошо проработанная документация

 

Историческая справка

 

Самый первый вариант менеджера данных изначально был разработан в 2019 году, когда потребовалось обновить одну сильно доработанную конфигурацию. В тот момент, как и сейчас нам не удалось найти инструмент, который бы удовлетворял ряду определенных критериев: скорости, простоте переноса данных, удобству и т.д. Он прошел большой и долгий путь, и в результате многие детские болезни были побеждены. Объем данных, который мы уже успешно перенесли осуществляется десятками терабайт. А в данный момент времени он все еще продолжает развиваться и совершенствоваться - появляются новые функции, исправляются найденные ошибки.

Со своей стороны публикую и считаю, что данная бесплатная разработка поможет вам коллеги решить много сложных задач и сделает наш мир чуть чуть светлее. Ниже привожу набор видео-уроков, это позволит оценить преимущества, а также снизит порог вхождения.

Да прибудет с нами сила!

 

Видео уроки

 

Плейлист на все видео: Простой менеджер данных - YouTube

 
 Введение
 
 Кратко про интерфейс
 
 Перенос данных на примере справочника "контрагенты"
 
 Произвольные поля поиска при обмене данными на  примере справочника "контрагенты"
 
 Переносим часть данных (часть реквизитов) на примере справочника "контрагенты"
 
 Особенности переноса данных ссылочного типа
 
 Выгрузка документов с движениями на примере документа  "заказ клиента"
 
 Выгрузка сопутствующих данных ссылочного типа
 
 Выгрузка произвольной структуры объекта - запрос
 
 Замена типов данных при обмене данными между различными конфигурациями
 
 Подбор данных для выгрузки с использованием структуры подчиненности
 
 Особенности формирования отборов/фильтров для выгрузки данных
 
 Различные настройки параметров выгрузки

 

И другие видео и информация на вики проекта https://github.com/ivanov660/SimpleDataManager/wiki

 

P.S. Немного общих замечаний:

  • Предложения, пожелания, найденные ошибки прошу оставлять на github проекта.
  • Цените и уважайте труд других, особенно если он достается вам бесплатно
  • Если у вас есть альтернативные инструменты, вам не нравится функционал или вы вообще по жизни хейтер, то прошу пройти мимо
  • Стандартный отказ от гарантий и ответственности - инструмент предлагается как есть без каких либо гарантий и ответственности со стороны авторов и других участников проекта, используйте его на свои страх и риск
  • При самостоятельных доработках или использовании инструмента вы обязаны сохранять название и информацию об авторах

Проверено на следующих конфигурациях и релизах:

  • Управление торговлей, редакция 11, релизы 11.5.8.410

перенос данных менеджер

См. также

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 руб.

12.06.2017    137448    751    292    

400

Перенос данных 1C Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос документов, начальных остатков и справочной информации из УПП 1.3 в ERP 2 | из УПП 1.3 в УТ 11 | из УПП в КА 2 | Правила конвертации (КД 2) в продаже с 2015 года, постоянно работаем над их развитием | Более 360 предприятий выполнили переход с использованием этого продукта! | Сэкономьте время - используйте готовое решение для перехода! | Позволяет перенести из УПП 1.3 в ERP / УТ 11 / КА 2 всю возможную информацию | В переносе есть фильтр по организации и множество других опциональных параметров выгрузки | Есть несколько алгоритмов выгрузки остатков на выбор

45650 руб.

04.08.2015    162082    365    272    

357

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3.87.x и УТ 11.5.16.x

28000 руб.

23.07.2020    47969    208    64    

170

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

34650 руб.

15.04.2019    69815    172    143    

113

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Платформа 1C v8.2 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Управление производственным предприятием Россия Платные (руб)

Регулярный обмен, выгрузка, перенос из КА 1.1, УПП 1.3, УТ 10.3 для обмена с любыми конфигурациями, поддерживающими обмен в формате EnterpriseData (КД3) - БП 3.0, ERP, КА 2, УТ 11, Розница 2, УНФ 1.6 и другими. Правила для старых и доработанных конфигураций не требуют синхронного обновления и совместимы с новыми и будущими конфигурациями. Обмен по расписанию, через папку, FTP, почту.

14580 руб.

18.02.2016    184145    570    509    

514

Перенос данных 1C Системный администратор Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

В продаже с 2014г. | Воспользовались более 122 предприятий! | Перенос данных из БП 3.0 в УТ 11 | из БП 3.0 в КА 2 | из БП 3.0 в ERP | Сэкономьте свое время - используйте готовое решение для перехода! | Постоянно работаем над развитием переноса данных | Обновляем на новые релизы 1С | Есть фильтр выгрузки по организациям | Переносятся начальные остатки на выбранную дату, документы за период времени и вся возможная справочная информация | Перенос сделан на технологии КД 2 (правила конвертации данных)

45650 руб.

31.10.2014    233632    91    329    

299

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.228.x) и БП 3.0 (3.0.154.x). Правила подходят для версии ПРОФ и КОРП.

28000 руб.

15.12.2021    21456    139    40    

97

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 Бухгалтерский учет Управленческий учет Платные (руб)

Переход и перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:ERP Управление предприятием 2.5 и 1С:Комплексную автоматизацию 2.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.227.x), ERP 2.5 (2.5.16.x), КА 2.5 (2.5.16.x) .

28000 руб.

24.06.2020    62036    48    27    

79
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. kalyaka 1082 13.06.24 15:34 Сейчас в теме
При загрузке объекта у меня возникла ошибка записи, объект не записался, но в обработке нигде никакой ошибки не вышло. Как понять, какие данные загружены и какие были проблемы?

Я так понял, что на закладке "Структура данных" или "Загруженные данные" что-то да должно было появиться по результату загрузки, но у меня обе закладки пустые. Закладки не заполняются в обоих случаях - есть ошибка загрузки или нет.
4. ivanov660 4445 14.06.24 13:57 Сейчас в теме
(1)Если была ошибка, то в табличной части в колонке "Описание ошибки" должно появиться сообщение об ошибке.
В части случаев рекомендую использовать ОбменДанными=Истина (конечно зависит от решаемой задачи).
12. ivanov660 4445 14.06.24 14:20 Сейчас в теме
(1)
1. На закладке "Структура данных" появляется информация, если вы нажмете кнопку "в структуру данных"
2. На вкладке "Загруженные данные" появится информация, если вы установите флаг "Сохранять загруженные данные в таблицу"

На одном из первых видео демонстрируется их работа.
2. CheBurator 3125 14.06.24 01:26 Сейчас в теме
Настраиваем правила поиска в УТ. Мы в УТ знаем что ИНН в УТ есть (это мы знаем, мы работаем в контексте УТ), а откуда мы в правило (создаваемое в УТ) добавляем ЮридическоеФизическоеЛицо - это есть в УТ, а в базе-приемнике это вообще может быть реквизит "ВидКонтрагента" - откуда мы это возьмем чтобы прилепить в правило?
5. ivanov660 4445 14.06.24 14:02 Сейчас в теме
(2)
1. Есть возможность настроить сопоставление реквизитов объекта источника и объекта приемника. Поэтому поиск настраивается как есть в текущей базе, а при выгрузке произойдет замена реквизитов и типов автоматчиески.
2. В большинстве типовых конфигураций используются одинаковые элементы НСИ (Организации, Контрагенты, Номенклатура), к тому же обычно хватает простых условий.
3. CheBurator 3125 14.06.24 01:28 Сейчас в теме
По идее прочитав в БП правила, сделанные в УТ, уже в "БП" мы должны как-то В ПРАВИЛЕ сопоставить реквизиту УТ "ЮридическоеФизическоеЛицо" аналогичный реквизит в "БП" "ВидКОнтрагента"...?
6. Rafael-87 47 14.06.24 14:03 Сейчас в теме
(3) При просмотре видео мелькал пункт "Замена реквизитов", но в видео не нашел разъяснений по этому пункту.
8. ivanov660 4445 14.06.24 14:11 Сейчас в теме
(6) Еще не все видео готовы, которые в планах по функционалу. Думаю еще порядка 10 видео будет. Про замену реквизитов тоже сделаем.
9. Rafael-87 47 14.06.24 14:12 Сейчас в теме
(8) Мне кажется это одно из ключевых видео должно быть
10. ivanov660 4445 14.06.24 14:17 Сейчас в теме
(9)
1. Вполне возможно, следите добавим.
2. Еще есть небольшая встроенная справка, там тоже часть вопросов рассмотрена с примерами и объяснениями.
7. ivanov660 4445 14.06.24 14:09 Сейчас в теме
(3)
1. Совершенно верно. На форме выгрузки есть колонка "Замена реквизитов", по ее нажатию открывается конструктор, в котором вы можете подобрать тип сопоставляемого объекта (если происходит замена типов) или тот же тип и установить сопоставление реквизитов (но обязательно нужно будет загрузить конфигурацию). В ближайшие выходные планирую еще набор видео сделать.
2. Можно через произвольный запрос выполнить процедуру замены реквизитов. В этом случае в качестве наименований выгружаемых реквизитов будут использоваться псевдонимы полей. Но еще скорее всего нужно установить соответствие перечислений и возможно их значений.
3. Есть еще один из вариантов - выполнить код поиска в процедуре после загрузки.

Если есть предложения по улучшению функционала или иные предложения пишите на вики подумаем над реализацией.
11. CheBurator 3125 14.06.24 14:19 Сейчас в теме
(5)
(7)
1. Совершенно верно. На форме выгрузки есть колонка "Замена реквизитов", по ее нажатию открывается конструктор, в котором вы можете подобрать тип сопоставляемого объекта (если происходит замена типов) или тот же тип и установить сопоставление реквизитов (но обязательно нужно будет загрузить конфигурацию).


Это делается в УТ? "нужно будет загрузить конифигурацию" - имеется в виду - загрузить конфигурацию-приемник (БП)..?
13. ivanov660 4445 14.06.24 14:27 Сейчас в теме
(11) Подобная идея загрузки и выгрузки конфигурации в ролике замена типов. Сделаем видео) А так:
1. Открываем БП, сохраняем структуру
2. Открываем УТ загружаем структуру и далее выполняем все в УТ.
3. Добавляем тип контрагентов в выгружаемую таблицу.
4. Нажимаем кнопку выбора в поле "Замена реквизитов" (F4)
5. В открывшемся окне выбираем сначала тип соответствия
6. Затем находим реквизит источника для сопоставления, затем нажимаем на поле "имя приемник" и выбираем в конструкторе нужный реквизит. В колонке правило появится пример сопоставления.
7. Ставим флаг выбора в основной форме сопоставления реквизитов и жмем выбрать
8. Теперь сопоставление будет выполняться при выгрузке.
14. CheBurator 3125 14.06.24 22:07 Сейчас в теме
19. CheBurator 3125 16.06.24 23:19 Сейчас в теме
(17) уже попонятнее...
но мы, например, задали замену реквизитов Источник->Приемник.
по идее как-то соответствие типов отсюда тоже должно было бы (?) определиться автоматом...?
.
так, конечно, выглядит все достаточно притсвенно.
но пока руками не потыкать - с ходу много "непонятностей"..
.
а возможность "сценариев" есть? типа один раз настроил "я"-погромист/консультант, а дальше когда надо - бухгалтер самостоятельно в УТ кнопочку ЖМАК! в БП кнопочку ЖМАК! И результат = УраВсеОК, или НеОК (протокол загрузки ПОЛЬЗОВАТЕЛЕМ и * "транзакции загрузки", а для "администратора" допускается и фиксация и в случае проблем...).. Просто рассуждаю..
.
Или надо ВСЕГДА интерактивно осматривать результаты загрузки? По идее все должно в результате загрузки работать так, чтобы в приемнике не получалось битых ссылок...
20. ivanov660 4445 17.06.24 10:04 Сейчас в теме
(19)
1. Соответствие типов должно подхватываться, в одно из последних релизов добавляли.
2. Возможность сохранить и загрузить настройки есть (аля сценарий), в планах улучшение этого механизма.
А по факту обычно для пользователей мы делали отдельную форму, в которой были прописаны определенные настройки, на самой форме пару отборов и кнопка загрузить выгрузить.
3. Это видео ролики на простых примерах, поэтому я показываю и рассказываю достаточно детально. А по поводу битых ссылок нужно решать задачу комплексно.
4. Протокол загрузки и выгрузки при необходимости можно прикрутить ручками, подумаю, возможно стоит добавить глобальное событие при завершении загрузки и выгрузки. Чтобы его вызывать.
5. Посмотрите, будут дельные предложения - реализуем.

В планах еще несколько статей, в которых мы расскажем о том где и как использовали инструмент.
15. Xershi 1500 15.06.24 20:18 Сейчас в теме
Т.к. ключевое без программиста. С программистом проще и надёжнее через КД?
16. ivanov660 4445 15.06.24 21:43 Сейчас в теме
(15)
1. Нет это не ключевое, а одна из возможностей.
2. Где и что делать удобнее, проще и правильнее зависит от решаемой задачи.

Если у вас есть опыт работы в КД, попробуйте. Потом можете сравнить впечатления.
А так инструмент создавался под наши задачи, брались возможности КД 2, КД 3, также обходились некоторые проблемы этих конфигураций, а также еще некоторых других программ и обработок. В общем работа была проделана достаточно большая.
18. Xershi 1500 16.06.24 17:11 Сейчас в теме
(16) я понял. Просто для меня например тратить время на инструмент, который я не знаю. Или использовать всем известную КД 2 или КД 3.
Поэтому и задал данный вопрос. Тут конечно есть разные задачи. И вопрос квалификации.
А так решение интересное.
Aleksandr; +1 Ответить
21. leov-001 25 17.06.24 15:23 Сейчас в теме
Совместимость с 8.2 не завершена.
Прикрепленные файлы:
22. ivanov660 4445 17.06.24 17:04 Сейчас в теме
(21)
1. Действительно, проблема совместимости интерфейсно проявляется.
2. Думаю, что мы все же откажемся от поддержки 8.2. Не помню, когда на практике пришлось на подобной платформе работать, и интерфейс там выглядит ужасно. В ближайшем релизе уберем информацию из справки.
3. Если требуется запустить, то замените ЭтотОбъект на ЭтаФорма.
23. timeforlive 16 18.06.24 09:23 Сейчас в теме
Здесь используется сериализация xdto (xml чтение и запись)?
26. ivanov660 4445 18.06.24 10:33 Сейчас в теме
(23)сериализации совсем мало, в основном чтение xml
24. leov-001 25 18.06.24 10:28 Сейчас в теме
(22) 2. Думаю, что мы все же откажемся от поддержки 8.2.

Зря вы так. Проделана серьезная работа.
25. ivanov660 4445 18.06.24 10:33 Сейчас в теме
(24)Хорошие новости, коллега прислал, вариант исправления устраивающий нас, т.ч. в ближайшем релизе мы оставим совместимость.
27. leov-001 25 18.06.24 11:07 Сейчас в теме
28. dimaster 40 21.06.24 13:32 Сейчас в теме
Доброе! есть вариант загрузки справочника из экселя?
29. ivanov660 4445 21.06.24 20:16 Сейчас в теме
(28)
1. Нет, напрямую возможна загрузка из конфигурации 1С или внешних источников данных.
2. Так то загрузить эксель в таблицу данных проблем нет, но что делать с полями ссылочного типа, когда они будут строкой? Для них придется прописывать правила поиска вручную. А это эквивалентно варианту написать обработку вручную.
3. Идея конечно интересная, но требует проектирования удобного механизма.

Я вижу быстрый такой вариант. Таблица из эксель загружается во временную таблицу, а далее с ней можно делать что угодно в произвольном запросе. Но это потребует режима эксперт и умения строить запросы. Писать конструктор загрузки из экселя достаточно объемная задача и нам сейчас не требуется.
Оставьте свое сообщение