Простой менеджер данных (simple data manager)

13.06.24

Интеграция - Перенос данных 1C

Когда требуется быстро и удобно перенести данные между одинаковыми, различными конфигурациями.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Простой менеджер данных (simple data manager):
.epf 1,84Mb ver:2024.06.10
62
62 Скачать (3 SM) Купить за 2 450 руб.

Промо

 

Простой менеджер данных вам пригодится, если вы хотите:

  • Быстро и удобно выполнять частые задачи по переносу данных между различными конфигурациями, то данный инструмент подойдет для вас;
  • Перенести данные целиком или частично (хоть один реквизит) в такой же объект метаданных или в любой другой, в тот же реквизит или другой;
  • Когда необходимо быстро перенести данные из одной базы в другую без привлечения программиста;
  • Анализировать и моделировать процессы как аналитик - а без данных тут никуда;
  • Перенести из рабочей базы проблемную ситуацию в базу для отладки;
  • Использовать для начального заполнения данными тестовых баз;
  • Выполняете обновление сильно доработанной конфигурации на новую версию;

По отзывам коллег, которые уже используют инструмент, часто можно услышать общую фразу: "Без простого менеджера данных уже как без рук".

Фактически нам этот инструмент позволил реализовать достаточно много интересных, амбициозных и сложных проектов. Ожидаю, что он принесет пользу и другим участникам сообщества. 

 

Возможности

 

Инструмент позволяющий переносить данные между различными базами, конфигурациями для Платформы 1С. Он обладает следующими преимуществами:

  • Единая обработка, которая работает в пользовательском режиме исходной конфигурации или целевой, в зависимости от задачи выгрузки или загрузки
  • Позволяет работать между различными по структуре конфигурациями
  • Позволяет решить большинство задач переноса данных без использования программного кода
  • Очень быстрый. Процедуры выгрузки и загрузки данных оптимизированы
  • Параллельность. Процедуры выгрузки и загрузки могут работать в потоках. За счет этого скорость обмена данных просто фантастическая.
  • Удобный человеко понятный интерфейс, визуальная (по средствам форм) работа с механизмами.
  • Гибкость настроек. Умеет многое то что было возможно в конфигурации конвертации 2.1.
  • Позволяет создавать произвольные многоступенчатые правила поиска.
  • Позволяет выполнять замену типов и значений.
  • Переносить информацию между внешними источниками данных
  • Позволяет выполнять установку произвольного соответствия метаданных, реквизитов.
  • Возможность описания и создания выгружаемого объекта через запрос.
  • Настройка правил выгрузки по ссылкам - глубина выгрузки, документы с движениями и др.
  • Настройка правил загрузки - только новые, только обновлять, устанавливать новый код/номер
  • Настройка правил выгрузки данных - выбранные элементы, план обмена, произвольные фильтры
  • Позволяет создавать удобные предварительные настройки - выгружать движения с документами, выгрузка иерархии вверх, выгрузка владельца, выгружать ссылки по уровню, обмен данными
  • Поддерживает возможность указания произвольного кода для обработчиков при выгрузке, при загрузке, перед записью, после записи.
  • Удобная отладка произвольного кода - через процедуры расширения
  • Позволяет перед загрузкой проверить загружаемые данные - загрузить файл в структуру/дерево
  • Поддерживает механизм генерации наборов данных. Задача создания тестируемых баз с большими наборами данных, миллионы документов и сотни миллионов движений.
  • Позволяет использовать в механизмах тестирования. Позволяет удобно загружать начальные данные перед выполнением сценариев тестирования
  • Эффективность и удобство проверено на сложных задачах, там где другие инструменты не смогли. Таких как: использование при обновлении сильно доработанных огромных баз, замена дублей ссылок, обмен между множеством различных конфигураций, управление потоками данных при решении задач консолидации и др.
  • Открытый исходный код - (open source) - https://github.com/ivanov660/SimpleDataManager
  • Достаточно хорошо проработанная документация

 

Историческая справка

 

Самый первый вариант менеджера данных изначально был разработан в 2019 году, когда потребовалось обновить одну сильно доработанную конфигурацию. В тот момент, как и сейчас нам не удалось найти инструмент, который бы удовлетворял ряду определенных критериев: скорости, простоте переноса данных, удобству и т.д. Он прошел большой и долгий путь, и в результате многие детские болезни были побеждены. Объем данных, который мы уже успешно перенесли осуществляется десятками терабайт. А в данный момент времени он все еще продолжает развиваться и совершенствоваться - появляются новые функции, исправляются найденные ошибки.

Со своей стороны публикую и считаю, что данная бесплатная разработка поможет вам коллеги решить много сложных задач и сделает наш мир чуть чуть светлее. Ниже привожу набор видео-уроков, это позволит оценить преимущества, а также снизит порог вхождения.

Да прибудет с нами сила!

 

Видео уроки

 

Плейлист на все видео: Простой менеджер данных - YouTube

 
 Введение
 
 Кратко про интерфейс
 
 Перенос данных на примере справочника "контрагенты"
 
 Произвольные поля поиска при обмене данными на  примере справочника "контрагенты"
 
 Переносим часть данных (часть реквизитов) на примере справочника "контрагенты"
 
 Особенности переноса данных ссылочного типа
 
 Выгрузка документов с движениями на примере документа  "заказ клиента"
 
 Выгрузка сопутствующих данных ссылочного типа
 
 Выгрузка произвольной структуры объекта - запрос
 
 Замена типов данных при обмене данными между различными конфигурациями
 
 Подбор данных для выгрузки с использованием структуры подчиненности
 
 Особенности формирования отборов/фильтров для выгрузки данных
 
 Различные настройки параметров выгрузки

 

И другие видео и информация на вики проекта https://github.com/ivanov660/SimpleDataManager/wiki

 

P.S. Немного общих замечаний:

  • Предложения, пожелания, найденные ошибки прошу оставлять на github проекта.
  • Цените и уважайте труд других, особенно если он достается вам бесплатно
  • Если у вас есть альтернативные инструменты, вам не нравится функционал или вы вообще по жизни хейтер, то прошу пройти мимо
  • Стандартный отказ от гарантий и ответственности - инструмент предлагается как есть без каких либо гарантий и ответственности со стороны авторов и других участников проекта, используйте его на свои страх и риск
  • При самостоятельных доработках или использовании инструмента вы обязаны сохранять название и информацию об авторах

Проверено на следующих конфигурациях и релизах:

  • Управление торговлей, редакция 11, релизы 11.5.8.410

перенос данных менеджер

См. также

SALE! 20%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

26280 22338 руб.

12.06.2017    141458    798    297    

419

SALE! 10%

Перенос данных 1C Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос документов, начальных остатков и справочной информации из УПП 1.3 в ERP 2 | из УПП 1.3 в УТ 11 | из УПП в КА 2 | Правила конвертации (КД 2) | Более 360 предприятий выполнили переход с использованием этого продукта! | Сэкономьте время - используйте готовое решение для перехода! | Позволяет перенести из УПП 1.3 в ERP / УТ 11 / КА 2 всю возможную информацию | В переносе есть фильтр по организации и множество других опциональных параметров выгрузки | Есть несколько алгоритмов выгрузки остатков на выбор

55778 50200 руб.

04.08.2015    166418    332    277    

373

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.234.x) и БП 3.0 (3.0.161.x). Правила подходят для версии ПРОФ и КОРП.

35000 31500 руб.

15.12.2021    23984    169    51    

127

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.88.x) и УТ 11.5 (11.5.19.x).

35000 31500 руб.

23.07.2020    51175    228    69    

185

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

53111 47800 руб.

03.12.2020    36568    94    66    

89

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

48278 43450 руб.

25.02.2015    171154    303    257    

378

SALE! 15%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Платформа 1C v8.2 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Управление производственным предприятием Россия Платные (руб)

Регулярный обмен, выгрузка, перенос из КА 1.1, УПП 1.3, УТ 10.3 для обмена с любыми конфигурациями, поддерживающими обмен в формате EnterpriseData (КД3) - БП 3.0, ERP, КА 2, УТ 11, Розница 2, УНФ 1.6 и другими. Правила для старых и доработанных конфигураций не требуют синхронного обновления и совместимы с новыми и будущими конфигурациями. Обмен по расписанию, через папку, FTP, почту.

15300 13005 руб.

18.02.2016    186854    589    509    

526

Перенос данных 1C Программист Бухгалтер Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет НДФЛ ФОМС, ЕФС Платные (руб)

Обработки для быстрого перехода с конфигураций «КАМИН:Расчет заработной платы 3.0», «КАМИН:Зарплата для бизнеса 4.0» и «КАМИН:Зарплата 5.0» на конфигурацию «Зарплата и управление персоналом» версии 3.1.

12000 руб.

25.09.2016    80629    312    250    

264
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. kalyaka 1105 13.06.24 15:34 Сейчас в теме
При загрузке объекта у меня возникла ошибка записи, объект не записался, но в обработке нигде никакой ошибки не вышло. Как понять, какие данные загружены и какие были проблемы?

Я так понял, что на закладке "Структура данных" или "Загруженные данные" что-то да должно было появиться по результату загрузки, но у меня обе закладки пустые. Закладки не заполняются в обоих случаях - есть ошибка загрузки или нет.
4. ivanov660 4577 14.06.24 13:57 Сейчас в теме
(1)Если была ошибка, то в табличной части в колонке "Описание ошибки" должно появиться сообщение об ошибке.
В части случаев рекомендую использовать ОбменДанными=Истина (конечно зависит от решаемой задачи).
12. ivanov660 4577 14.06.24 14:20 Сейчас в теме
(1)
1. На закладке "Структура данных" появляется информация, если вы нажмете кнопку "в структуру данных"
2. На вкладке "Загруженные данные" появится информация, если вы установите флаг "Сохранять загруженные данные в таблицу"

На одном из первых видео демонстрируется их работа.
2. CheBurator 2712 14.06.24 01:26 Сейчас в теме
Настраиваем правила поиска в УТ. Мы в УТ знаем что ИНН в УТ есть (это мы знаем, мы работаем в контексте УТ), а откуда мы в правило (создаваемое в УТ) добавляем ЮридическоеФизическоеЛицо - это есть в УТ, а в базе-приемнике это вообще может быть реквизит "ВидКонтрагента" - откуда мы это возьмем чтобы прилепить в правило?
5. ivanov660 4577 14.06.24 14:02 Сейчас в теме
(2)
1. Есть возможность настроить сопоставление реквизитов объекта источника и объекта приемника. Поэтому поиск настраивается как есть в текущей базе, а при выгрузке произойдет замена реквизитов и типов автоматчиески.
2. В большинстве типовых конфигураций используются одинаковые элементы НСИ (Организации, Контрагенты, Номенклатура), к тому же обычно хватает простых условий.
3. CheBurator 2712 14.06.24 01:28 Сейчас в теме
По идее прочитав в БП правила, сделанные в УТ, уже в "БП" мы должны как-то В ПРАВИЛЕ сопоставить реквизиту УТ "ЮридическоеФизическоеЛицо" аналогичный реквизит в "БП" "ВидКОнтрагента"...?
6. Rafael-87 55 14.06.24 14:03 Сейчас в теме
(3) При просмотре видео мелькал пункт "Замена реквизитов", но в видео не нашел разъяснений по этому пункту.
8. ivanov660 4577 14.06.24 14:11 Сейчас в теме
(6) Еще не все видео готовы, которые в планах по функционалу. Думаю еще порядка 10 видео будет. Про замену реквизитов тоже сделаем.
9. Rafael-87 55 14.06.24 14:12 Сейчас в теме
(8) Мне кажется это одно из ключевых видео должно быть
10. ivanov660 4577 14.06.24 14:17 Сейчас в теме
(9)
1. Вполне возможно, следите добавим.
2. Еще есть небольшая встроенная справка, там тоже часть вопросов рассмотрена с примерами и объяснениями.
7. ivanov660 4577 14.06.24 14:09 Сейчас в теме
(3)
1. Совершенно верно. На форме выгрузки есть колонка "Замена реквизитов", по ее нажатию открывается конструктор, в котором вы можете подобрать тип сопоставляемого объекта (если происходит замена типов) или тот же тип и установить сопоставление реквизитов (но обязательно нужно будет загрузить конфигурацию). В ближайшие выходные планирую еще набор видео сделать.
2. Можно через произвольный запрос выполнить процедуру замены реквизитов. В этом случае в качестве наименований выгружаемых реквизитов будут использоваться псевдонимы полей. Но еще скорее всего нужно установить соответствие перечислений и возможно их значений.
3. Есть еще один из вариантов - выполнить код поиска в процедуре после загрузки.

Если есть предложения по улучшению функционала или иные предложения пишите на вики подумаем над реализацией.
11. CheBurator 2712 14.06.24 14:19 Сейчас в теме
(5)
(7)
1. Совершенно верно. На форме выгрузки есть колонка "Замена реквизитов", по ее нажатию открывается конструктор, в котором вы можете подобрать тип сопоставляемого объекта (если происходит замена типов) или тот же тип и установить сопоставление реквизитов (но обязательно нужно будет загрузить конфигурацию).


Это делается в УТ? "нужно будет загрузить конифигурацию" - имеется в виду - загрузить конфигурацию-приемник (БП)..?
13. ivanov660 4577 14.06.24 14:27 Сейчас в теме
(11) Подобная идея загрузки и выгрузки конфигурации в ролике замена типов. Сделаем видео) А так:
1. Открываем БП, сохраняем структуру
2. Открываем УТ загружаем структуру и далее выполняем все в УТ.
3. Добавляем тип контрагентов в выгружаемую таблицу.
4. Нажимаем кнопку выбора в поле "Замена реквизитов" (F4)
5. В открывшемся окне выбираем сначала тип соответствия
6. Затем находим реквизит источника для сопоставления, затем нажимаем на поле "имя приемник" и выбираем в конструкторе нужный реквизит. В колонке правило появится пример сопоставления.
7. Ставим флаг выбора в основной форме сопоставления реквизитов и жмем выбрать
8. Теперь сопоставление будет выполняться при выгрузке.
14. CheBurator 2712 14.06.24 22:07 Сейчас в теме
19. CheBurator 2712 16.06.24 23:19 Сейчас в теме
(17) уже попонятнее...
но мы, например, задали замену реквизитов Источник->Приемник.
по идее как-то соответствие типов отсюда тоже должно было бы (?) определиться автоматом...?
.
так, конечно, выглядит все достаточно притсвенно.
но пока руками не потыкать - с ходу много "непонятностей"..
.
а возможность "сценариев" есть? типа один раз настроил "я"-погромист/консультант, а дальше когда надо - бухгалтер самостоятельно в УТ кнопочку ЖМАК! в БП кнопочку ЖМАК! И результат = УраВсеОК, или НеОК (протокол загрузки ПОЛЬЗОВАТЕЛЕМ и * "транзакции загрузки", а для "администратора" допускается и фиксация и в случае проблем...).. Просто рассуждаю..
.
Или надо ВСЕГДА интерактивно осматривать результаты загрузки? По идее все должно в результате загрузки работать так, чтобы в приемнике не получалось битых ссылок...
20. ivanov660 4577 17.06.24 10:04 Сейчас в теме
(19)
1. Соответствие типов должно подхватываться, в одно из последних релизов добавляли.
2. Возможность сохранить и загрузить настройки есть (аля сценарий), в планах улучшение этого механизма.
А по факту обычно для пользователей мы делали отдельную форму, в которой были прописаны определенные настройки, на самой форме пару отборов и кнопка загрузить выгрузить.
3. Это видео ролики на простых примерах, поэтому я показываю и рассказываю достаточно детально. А по поводу битых ссылок нужно решать задачу комплексно.
4. Протокол загрузки и выгрузки при необходимости можно прикрутить ручками, подумаю, возможно стоит добавить глобальное событие при завершении загрузки и выгрузки. Чтобы его вызывать.
5. Посмотрите, будут дельные предложения - реализуем.

В планах еще несколько статей, в которых мы расскажем о том где и как использовали инструмент.
15. Xershi 1555 15.06.24 20:18 Сейчас в теме
Т.к. ключевое без программиста. С программистом проще и надёжнее через КД?
16. ivanov660 4577 15.06.24 21:43 Сейчас в теме
(15)
1. Нет это не ключевое, а одна из возможностей.
2. Где и что делать удобнее, проще и правильнее зависит от решаемой задачи.

Если у вас есть опыт работы в КД, попробуйте. Потом можете сравнить впечатления.
А так инструмент создавался под наши задачи, брались возможности КД 2, КД 3, также обходились некоторые проблемы этих конфигураций, а также еще некоторых других программ и обработок. В общем работа была проделана достаточно большая.
18. Xershi 1555 16.06.24 17:11 Сейчас в теме
(16) я понял. Просто для меня например тратить время на инструмент, который я не знаю. Или использовать всем известную КД 2 или КД 3.
Поэтому и задал данный вопрос. Тут конечно есть разные задачи. И вопрос квалификации.
А так решение интересное.
Aleksandr; +1 Ответить
21. leov-001 25 17.06.24 15:23 Сейчас в теме
Совместимость с 8.2 не завершена.
Прикрепленные файлы:
22. ivanov660 4577 17.06.24 17:04 Сейчас в теме
(21)
1. Действительно, проблема совместимости интерфейсно проявляется.
2. Думаю, что мы все же откажемся от поддержки 8.2. Не помню, когда на практике пришлось на подобной платформе работать, и интерфейс там выглядит ужасно. В ближайшем релизе уберем информацию из справки.
3. Если требуется запустить, то замените ЭтотОбъект на ЭтаФорма.
23. timeforlive 16 18.06.24 09:23 Сейчас в теме
Здесь используется сериализация xdto (xml чтение и запись)?
26. ivanov660 4577 18.06.24 10:33 Сейчас в теме
(23)сериализации совсем мало, в основном чтение xml
24. leov-001 25 18.06.24 10:28 Сейчас в теме
(22) 2. Думаю, что мы все же откажемся от поддержки 8.2.

Зря вы так. Проделана серьезная работа.
25. ivanov660 4577 18.06.24 10:33 Сейчас в теме
(24)Хорошие новости, коллега прислал, вариант исправления устраивающий нас, т.ч. в ближайшем релизе мы оставим совместимость.
27. leov-001 25 18.06.24 11:07 Сейчас в теме
28. dimaster 40 21.06.24 13:32 Сейчас в теме
Доброе! есть вариант загрузки справочника из экселя?
29. ivanov660 4577 21.06.24 20:16 Сейчас в теме
(28)
1. Нет, напрямую возможна загрузка из конфигурации 1С или внешних источников данных.
2. Так то загрузить эксель в таблицу данных проблем нет, но что делать с полями ссылочного типа, когда они будут строкой? Для них придется прописывать правила поиска вручную. А это эквивалентно варианту написать обработку вручную.
3. Идея конечно интересная, но требует проектирования удобного механизма.

Я вижу быстрый такой вариант. Таблица из эксель загружается во временную таблицу, а далее с ней можно делать что угодно в произвольном запросе. Но это потребует режима эксперт и умения строить запросы. Писать конструктор загрузки из экселя достаточно объемная задача и нам сейчас не требуется.
30. orinoco 29.08.24 12:48 Сейчас в теме
Здравствуйте. Столкнулся с такой проблемой. Менеджер данных в окне выгрузки и загрузки, под строкой где указывается Каталог данных пишет "Нет кталога или доступа на чтение". Указывал разные пути, создавал новую папку. Ситуация та-же.
Прикрепленные файлы:
31. Batman 165 29.08.24 22:24 Сейчас в теме
(30) База файловая или серверная? Если серверная, может ли быть причина, что каталог находится не на сервере?
32. orinoco 30.08.24 09:04 Сейчас в теме
База серверная, облачная. Каталог выбирал и локальный, на рабочем ПК и на сервере. Пробовал через RDP зайти в 1с и сохранить напрямую на сервере.
Оставьте свое сообщение