Переход на новую конфигурацию 1С без «обратной дороги нет»: пообъектный перенос данных через EnterpriseData

16.11.26

Интеграция - Перенос данных 1C

Как перейти со старой конфигурации 1С на новую без даты «икс», после которой обратной дороги нет. Опыт двух проектов перехода с КА 1.1 на КА 2.5, в том числе сети из 400 магазинов. В новую базу переносятся не только справочники и остатки, а документы за период: пообъектно, через очереди, в формате EnterpriseData, с журналом ошибок по каждому объекту. Сотрудники заранее учатся на реальных документах, доработки делаются по ходу, переход — одномоментный после подготовки или постепенный, с возможностью отката. В статье: многопоточная выгрузка в 50 потоков, документы, которые не провелись, двусторонний перенос и сквозная нумерация, догрузка недостающего через JSON, перенос нетиповых объектов один в один в расширение, две ошибки-магнита и оптимальный сценарий перехода.

Как обычно происходит переход со старой конфигурации 1С на новую? Готовится новая база, переносятся данные, делаются доработки, и с одного прекрасного момента — чаще всего это 1 января, иногда начало квартала или любого другого месяца — компания начинает работать в новой программе. При этом обратной дороги уже нет. И если в новой программе что-то не получается, а что-то, как водится, не было подготовлено, проект оказывается очень-очень сложным.

Когда перед нами в очередной раз встала задача перехода с Комплексной автоматизации редакции 1.1 на редакцию 2.5, мы решили попробовать иначе: переносить не только справочники и остатки, а все документы за определённый период — и посмотреть, как на них поведёт себя новая программа. В этой статье расскажу, что из этого получилось, как устроен такой перенос и на какие грабли мы при этом наступили.

 

Зачем переносить документы, а не только остатки?

Идея простая: сотрудники должны увидеть новую программу на своих данных, привыкнуть к ней и заранее подумать, как они будут делать в ней то, что делают сейчас в старой. На тех же реальных документах можно отработать и все вспомогательные механизмы — переносы, отчёты и так далее. А доработки в этом случае делаются прямо в ходе внедрения, на живых данных, а не на тестовом примере.

Но тут сразу встаёт вопрос: а как, собственно, переносить? Стандартная конвертация 1С написана через формат EnterpriseData. Формат хороший, но на момент нашего первого проекта он содержал мало объектов — да и сейчас перекрывает далеко не все, — и реквизиты объектов в нём тоже были абсолютно не все. Кроме того, если у предприятия не десять документов в день, а условно тысяча или две, возникает проблема объёма: выгрузка одним файлом будет идти крайне долго. А если документы ещё и доработаны, разовый перенос становится практически нерешаемой задачей.

Есть и ещё одна проблема, о которой знает любой, кто переносил старые базы: в длительно работающих базах с большим количеством доработок ошибок при переносе через EnterpriseData просто неимоверное количество. Можно, конечно, подойти с другой стороны и долго-долго проверять и чистить данные в старой базе до переноса, но такая работа, скажем так, достаточно сложно управляема.

 

Как устроен перенос?

У нас к тому времени уже был пообъектный обмен, который мы сделали для распределённой сети магазинов, — с очередями объектов, управляющей системой и HTTP-сервисами (о нём я рассказывал в отдельной статье). Мы решили немного расширить его применимость и добавили возможность выгружать объекты в формат EnterpriseData.

Что это дало? Точно так же, как и в обмене, у нас есть очереди объектов к выгрузке, но когда из базы-отправителя запрашивается очередной объект или пакет объектов, он выгружается в EnterpriseData. И на каждом шаге мы видим, что пошло не так:

  •     ошибки выгрузки и проверки формата EnterpriseData — на стороне отправителя;
  •     ошибки контроля формата, заполнения документа и проведения после заполнения — при загрузке пакета в получателя.

Так отлаживается сам обмен. Сначала выгружаем по одному объекту и отлаживаем, затем выгружаем все объекты, затем разбираем оставшиеся ошибки — и всё это с журналом ошибок по каждому объекту. Добавьте к этому многопоточность, и получится то, что мы назвали «Живым мостом» между старой и новой версией конфигурации.

 

Интерфейс у моста нарочно простой: два окна, слева старая база, справа новая, количество объектов и кнопки «обновить», «передать», «передать несколько» (для отладки). Чтобы с ним работать, хватает двухчасового обучения.

 

 

Масштабируемость: 50 потоков и два года розницы

Помимо управляемости, мы получили ещё одну приятную вещь — масштабируемость. В базе-отправителе можно одновременно формировать пакеты по разным видам объектов, а по одному виду вести выгрузку, например, в 50 потоков.

Почему именно 50? Потому что в реальной работе я применял это количество для выгрузки отчётов о розничных продажах за два года примерно по 400 магазинам. Это самый тяжёлый документ — около 180 тысяч в год, — и 383 тысячи документов (123 миллиона строк всего, 321 строка в среднем) за два года переносились около полутора месяцев. Такой объём в один файл не выгрузить в принципе. По файлам пришлось бы выгружать, наверное, по одному дню и повторять это раз за разом, а с учётом того, сколько ошибок возникало из-за некорректного заполнения данных в базе-отправителе, такой обмен стал бы абсолютно нереальным.

Для понимания масштаба по железу: сервер-приёмник у нас был порядка 48 ядер средней частоты, сервер-отправитель — около 16 ядер, и загрузка на нём была ниже.

Конечно, EnterpriseData сильно уступает простой выгрузке в JSON по накладным расходам: формирование окружения для каждой выгрузки занимает приличное процессорное время. Тем не менее на практике это работает. А новые конфигурации 1С, надо отдать им должное, написаны очень хорошо с точки зрения отсутствия взаимоблокировок и минимизации блокировок, поэтому загрузка в десятки потоков проходит вполне корректно.

 

Документы, которые не провелись

Часть видов документов после загрузки может не проводиться, и таких случаев, честно говоря, немало. Например, заказ покупателя в КА 2 становится заказом клиента с разными вариантами размещения — и клиент должен сам увидеть и решить, как его отражать. Или реализация товаров и выданный счёт-фактура: они тесно связаны, и если счёт-фактура придёт раньше реализации, он не проведётся.

Поэтому непроведённые объекты фиксируются — во всех конфигурациях для этого есть механизм, а если его нет, мы его делаем, — и потом их допроводит регламентное задание, которое делается очень быстро.

Отдельная история — когда документ перенёсся и провёлся, но не так, как нужно. Новая программа живёт по своим алгоритмам и контролям, а правильное заполнение зависит ещё и от того, как заказчик хочет вести учёт. Здесь мы договорились о разделении ролей: внедренец включает версионирование объектов, правильно заполняет документ и проводит его, а по версиям сразу видно, каких реквизитов не хватало. Мы дописываем их в обмен, и следующие документы приходят уже заполненными.

 

Перенос в обе стороны

Одно из главных свойств моста, наряду с управляемостью, — перенос возможен оперативно в обе стороны. На одном из наших проектов двусторонний перенос реально работает: запуск идёт каждые 5 минут (сервер там не самый мощный), так что документы переносятся практически в онлайне.

Самый интересный вопрос здесь — нумерация. Когда документ создаётся в новой программе, в старой через HTTP-сервис создаётся заглушка: она захватывает номер и получает UID документа из новой программы. Заглушка стоит на первом числе текущего года, а после выгрузки превращается в нормальный документ. Так автонумерация остаётся корректной в обеих программах.

 

Форматы: стандартный, доработанный и JSON

Мы работаем со стандартным EnterpriseData от 1С — версии 1.7, 1.10 и 1.20, последняя применяется сейчас. Справедливости ради, за последние три–пять лет формат достаточно сильно улучшился.

Кроме стандартного, можно использовать доработанный формат, в котором больше объектов и реквизитов. Мы, например, использовали платный «доработанный формат обмена 1.1001» отсюда, с Инфостарта: в КА 2 он ставится расширением, в КА 1 — отдельной обработкой, и всё нормально работает. Хотя нужен ли доработанный формат сейчас в целом— вопрос большой: с появлением искусственного интеллекта анализ и доработка правил и самого формата обмена стали простой задачей, и возможности здесь практически неограниченны.

А для того, чего в EnterpriseData нет совсем, есть простой приём. В расширении базы-получателя добавляется обработчик при записи объекта: он получает JSON-представление объекта из старой базы, разбирает его, при необходимости получает и разбирает JSON-представления реквизитов и алгоритмически догружает документ. В базе-отправителе для этого достаточно простейшего расширения, которое умеет выдавать любой объект в JSON по ссылке. Раньше я применял именно этот вариант; сейчас, с нейросетями, проще бывает просто дописать формат.

 

Если старая конфигурация сильно доработана

Здесь у нас сложился подход, который, по-моему, сильно упрощает жизнь. Миграцию логики нетиповых объектов можно отложить на будущее, а сами объекты перенести в новую программу один в один по структуре данных — в расширение, ведь основную конфигурацию сейчас уже никто не дорабатывает. Данные по таким объектам мост переносит не в EnterpriseData, а в JSON-представлении, и это отлично работает: в новой программе объекты на сто процентов те же, что и в старой. Если в старой базе формы были обычными, управляемые формы для них с помощью ИИ пишутся быстро.

А когда придёт время поменять логику и перейти на новую структуру — если в новой конфигурации есть нужные типы данных, — объекты переписываются по-новому в ещё одном расширении, и данные переносятся между старым и новым вариантом уже внутри одной базы, тем же простым механизмом при записи объекта. Это гораздо проще, чем алгоритмический обмен между разными базами: когда все данные в одной базе, работать, согласитесь, гораздо приятнее.

 

Сценарии применения

Такой перенос можно использовать по-разному:

  •     Одномоментный переход, но с хорошей подготовкой. Перенесённые данные проверяются, сотрудники учатся работать в новой программе, и в один момент компания начинает в ней работать — как и раньше, только уже без прыжка в неизвестность.
  •     Растянутый переход. Функции готовятся и запускаются по очереди, с возможностью отката. Можно пересадить в новую программу одного сотрудника: он поработает, даст замечания, а в случае чего-то экстренного вернётся обратно. Потом переходят, допустим, все менеджеры — и так постепенно вся компания.
  •     Постоянный обмен между конфигурациями, не связанный с переходом. Современные конфигурации 1С в целом рассчитаны на обмены через EnterpriseData, и мост можно построить между любыми решениями, где есть выгрузка в этот формат: Комплексной автоматизацией и Розницей, Зарплатой, 1С:ERP, Управлением торговлей. Если есть возможность получить представление объекта в EnterpriseData, почему бы этим не пользоваться? Выбор, правда, зависит от объёма данных: иногда оптимально штатное средство 1С, а иногда — мост.

 

Две ошибки-магнита

Каждый сценарий перехода имеет свои плюсы и минусы. Основной минус нашего — затраты времени на подготовку. Но этот же минус становится большим плюсом, если система на самом деле большая: без хорошей предварительной подготовки её внедрение стало бы просто катастрофой.

А вот чего стоит опасаться всерьёз, так это двух ошибок, которые я называю магнитами: они притягивают проект к себе, и выбраться из них потом непросто.

Первая — «перенесём большой старый период и сведём проводки один в один». На самом большом нашем проекте мы с этим столкнулись. Проблема в том, что сделать одинаковые проводки в старой и новой программе — фактически нерешаемая задача: они работают по-разному и используют разные алгоритмы. Если на большой организации начинать сводить все-все случаи к тому, как было раньше, это может занять неограниченное время, а для крупной компании — превратиться в проект на два-три года.

Вторая — «раз можно туда и обратно, торопиться некуда». Один человек поработал в новой программе, собрал вопросы и ушёл обратно в старую; через пару недель ещё поработал, потом месяц было некогда… Если переход не нужен к определённой дате, это, может, и неплохо. Но растут накладные расходы: на поддержание самого обмена, на разбор проблемных объектов — при переносе через EnterpriseData они будут обязательно, — и на обновление обмена после каждого обновления конфигурации, если используется доработанный формат.

И отдельно про КА 1 → КА 2: займы, кредиты и корректировки долга. Одна операция КА 1 может соответствовать шести–десяти видам операций КА 2, и ни типовой, ни доработанный перенос сразу корректно такие документы не перенесёт. Можно систематизировать операции КА 1 и для каждого вида подготовить представление в КА 2, но это долго. Возможно, проще и эффективнее оставить старый период как есть, а после начала учёта отражать такие операции в КА 2 уже правильно. Решают это, конечно, заказчик и внедренец.

 

Как я вижу оптимальный переход?

  1. Соединяем две базы через EnterpriseData — стандартный формат или доработанный, неважно.
  2. Переносим период. Два года — наверное, не стоит) Данные с начала года могут быть оптимальны, но не для того, чтобы свести учёт один в один: это реально в маленькой компании с простым учётом, а для крупной — путь в проект длиной в год-два. Можно перенести и просто месяц.
  3. Сотрудники работают в новой программе под руководством человека, который ведёт проект: смотрят документы, задают все вопросы — что программа умеет, а что нет. Так определяются требования к доработкам новой типовой конфигурации, и заодно люди учатся в ней работать.
  4. Делаем доработки. С искусственным интеллектом то, что было разработано для старой программы, переписывается для новой, что называется, в два счёта; раньше это было гораздо сложнее.
  5. Допереносим то, чего не хватает, — обработчиком при записи или доработкой формата.

 

Где это работает?

Оба наших проекта — переход с КА 1.1 на КА 2.5.

Сеть из 400 магазинов, порядка 20 сотрудников в офисе. На этом проекте, собственно, и родился Живой мост. Он идёт с 2023 года, объём данных огромный — порядка 3-5 тысяч документов в день, самые тяжёлые из них отчёты о розничных продажах и поступления товаров. Перенос за два года занял около двух месяцев, двусторонний перенос здесь не используется. Сейчас новая база фактически готова к началу работы.

Оптово-розничная компания, порядка 15 сотрудников в офисе. Здесь работает постоянный мост между КА 1.1 и КА 2.5 с двусторонним переносом, запуск каждые 5 минут.

И, если честно, у обоих проектов одна общая проблема: нет конечного срока. КА 1.1 работает, её поддержка продолжается, и клиенту незачем напрягаться сейчас, когда можно напрягаться долго, но по чуть-чуть. Это ровно та самая вторая ошибка-магнит.

 

 

Что нужно и сколько это занимает?

Инфраструктура та же, что и у пообъектного обмена: управляющая система, которая стоит у клиента, бесплатный веб-сервер Apache и HTTP-сервисы. Отдельный сервер не обязателен: управляющую систему можно поставить на один из уже используемых серверов 1С, нагрузка небольшая, а если старая и новая базы стоят на одном сервере, то и туда же. Платформа — минимум 8.3.14, она должна поддерживать расширения.

По срокам: подготовка перехода — от недели до двух, в зависимости от правил и конфигураций; сам перенос данных — от недели до трёх месяцев для огромной базы.

Использовать мост можно не только в наших проектах. Он подходит и для перехода, который ведёт другой внедренец, и для самостоятельного перехода силами самой компании. В таком случае ответственность разграничивается: мы отвечаем за то, чтобы корректные данные попадали из одной базы в другую, за ход обмена и разбор объектов, не перенёсшихся из-за ошибок в самом обмене или формате, и даём список ошибок заполнения. А как должен быть заполнен документ в новой базе, чтобы он правильно провёлся, определяет тот, кто ведёт внедрение. Так что если вы внедренец и у вас впереди большой переход — приглашаю к сотрудничеству.

 

Вместо заключения

Для меня главное в этом подходе — то, что внедрение превращается из одномоментной задачи с датой «икс» в управляемый процесс. Новая программа проверяется на реальных документах, люди учатся заранее, доработки делаются по ходу, а ошибки старой базы разбираются по одной, а не вычищаются заранее.

Мы называем это «Живым мостом». Но сами идеи — пообъектный перенос через очереди и EnterpriseData, журнал ошибок по каждому объекту, многопоточная выгрузка, заглушки для сквозной нумерации и перенос нетиповых объектов один в один через JSON — вполне можно повторить и своими силами.

Буду рад вопросам и критике в комментариях. Особенно интересно, как вы переносите документы при переходе на новые редакции и удавалось ли кому-нибудь свести проводки старой и новой программы один в один?)

Вступайте в нашу телеграмм-группу Инфостарт

EnterpriseData переход перенос миграция конвертация обмен внедрение документы конфигурация расширение JSON многопоточность очереди нумерация версионирование проведение КА ERP ИИ HTTP-сервисы

Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

См. также

Перенос данных 1C Разработчик 1С:Предприятие 8 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос документов, начальных остатков и справочной информации из УПП 1.3 в ERP 2 | из УПП 1.3 в УТ 11 | из УПП в КА 2 | Правила конвертации (КД 2) | Более 360 предприятий выполнили переход с использованием этого продукта! | Сэкономьте время - используйте готовое решение для перехода! | Позволяет перенести из УПП 1.3 в ERP / УТ 11 / КА 2 всю возможную информацию | В переносе есть фильтр по организации и множество других опциональных параметров выгрузки | Есть несколько алгоритмов выгрузки остатков на выбор

58000 руб.

04.08.2015    195121    480    310    

475

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Разработчик 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

55050 руб.

25.02.2015    192791    385    296    

438

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Разработчик 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, ERP 2.6, КА 2.5, КА 2.6, УТ 11.5, УТ 11.6, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

27633 руб.

12.06.2017    165393    1009    329    

493

Перенос данных 1C Взаиморасчеты Оптовая торговля Логистика, склад и ТМЦ Файловый обмен (TXT, XML, DBF), FTP Системный администратор Разработчик 1С:Предприятие 8 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Управленческий учет Платные (руб)

Можно проверить до покупки, оставьте заявку! Воспользовались более 268 компаний! Перенос данных из УТ 10.3 в УТ 11 | из УТ 10.3 в КА 2 | из УТ 10.3 в ERP. Решение для перехода с УТ 10.3. Можно перенести начальные остатки, нормативно-справочную информацию и все возможные документы. При выгрузке можно установить отбор по периоду, организациям и складам.

55200 руб.

24.04.2015    211677    186    254    

303

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Разработчик 1С:Предприятие 8 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Переносите справочную информацию, остатки и документы из УПП 1.3 в Бухгалтерию 3.0 с помощью готовых правил. Переносится более 50 видов документов. Простой интерфейс и понятные настройки.

42000 37800 руб.

15.12.2021    37290    270    68    

204

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Разработчик 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Платные (руб)

Правила переноса кадровых и расчетных данных и справочной информации из "1С:УПП1.3" или "1С:КА 1.1" в "1С:ЗУП 3.1 | Разработан в формате КД 2 (правила конвертации данных) | При выгрузке есть фильтр по организациям | Обновляется при выходе новых релизов 1С | Развитие алгоритмов | Расчетные документы переносятся в документ "Перенос данных" | Создаются документы "Начальная штатная расстановка" и "Начальная задолженность по зарплате", переносятся кадровые документы

63000 руб.

29.10.2018    64613    87    137    

83

Перенос данных 1C Разработчик Бухгалтер 1С:Предприятие 8 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет НДФЛ ФОМС, ЕФС Платные (руб)

Обработки для быстрого перехода с конфигураций «КАМИН:Расчет заработной платы 3.0», «КАМИН:Зарплата для бизнеса 4.0» и «КАМИН:Зарплата 5.0» на конфигурацию «Зарплата и управление персоналом» версии 3.1.

20740 руб.

25.09.2016    93565    429    268    

357
Для отправки сообщения требуется регистрация/авторизация