Переход на новую конфигурацию 1С без «обратной дороги нет»: пообъектный перенос данных через EnterpriseData
Интеграция - Перенос данных 1C
Как обычно происходит переход со старой конфигурации 1С на новую? Готовится новая база, переносятся данные, делаются доработки, и с одного прекрасного момента — чаще всего это 1 января, иногда начало квартала или любого другого месяца — компания начинает работать в новой программе. При этом обратной дороги уже нет. И если в новой программе что-то не получается, а что-то, как водится, не было подготовлено, проект оказывается очень-очень сложным.
Когда перед нами в очередной раз встала задача перехода с Комплексной автоматизации редакции 1.1 на редакцию 2.5, мы решили попробовать иначе: переносить не только справочники и остатки, а все документы за определённый период — и посмотреть, как на них поведёт себя новая программа. В этой статье расскажу, что из этого получилось, как устроен такой перенос и на какие грабли мы при этом наступили.
Зачем переносить документы, а не только остатки?
Идея простая: сотрудники должны увидеть новую программу на своих данных, привыкнуть к ней и заранее подумать, как они будут делать в ней то, что делают сейчас в старой. На тех же реальных документах можно отработать и все вспомогательные механизмы — переносы, отчёты и так далее. А доработки в этом случае делаются прямо в ходе внедрения, на живых данных, а не на тестовом примере.
Но тут сразу встаёт вопрос: а как, собственно, переносить? Стандартная конвертация 1С написана через формат EnterpriseData. Формат хороший, но на момент нашего первого проекта он содержал мало объектов — да и сейчас перекрывает далеко не все, — и реквизиты объектов в нём тоже были абсолютно не все. Кроме того, если у предприятия не десять документов в день, а условно тысяча или две, возникает проблема объёма: выгрузка одним файлом будет идти крайне долго. А если документы ещё и доработаны, разовый перенос становится практически нерешаемой задачей.
Есть и ещё одна проблема, о которой знает любой, кто переносил старые базы: в длительно работающих базах с большим количеством доработок ошибок при переносе через EnterpriseData просто неимоверное количество. Можно, конечно, подойти с другой стороны и долго-долго проверять и чистить данные в старой базе до переноса, но такая работа, скажем так, достаточно сложно управляема.
Как устроен перенос?
У нас к тому времени уже был пообъектный обмен, который мы сделали для распределённой сети магазинов, — с очередями объектов, управляющей системой и HTTP-сервисами (о нём я рассказывал в отдельной статье). Мы решили немного расширить его применимость и добавили возможность выгружать объекты в формат EnterpriseData.
Что это дало? Точно так же, как и в обмене, у нас есть очереди объектов к выгрузке, но когда из базы-отправителя запрашивается очередной объект или пакет объектов, он выгружается в EnterpriseData. И на каждом шаге мы видим, что пошло не так:
- ошибки выгрузки и проверки формата EnterpriseData — на стороне отправителя;
- ошибки контроля формата, заполнения документа и проведения после заполнения — при загрузке пакета в получателя.
Так отлаживается сам обмен. Сначала выгружаем по одному объекту и отлаживаем, затем выгружаем все объекты, затем разбираем оставшиеся ошибки — и всё это с журналом ошибок по каждому объекту. Добавьте к этому многопоточность, и получится то, что мы назвали «Живым мостом» между старой и новой версией конфигурации.

Интерфейс у моста нарочно простой: два окна, слева старая база, справа новая, количество объектов и кнопки «обновить», «передать», «передать несколько» (для отладки). Чтобы с ним работать, хватает двухчасового обучения.

Масштабируемость: 50 потоков и два года розницы
Помимо управляемости, мы получили ещё одну приятную вещь — масштабируемость. В базе-отправителе можно одновременно формировать пакеты по разным видам объектов, а по одному виду вести выгрузку, например, в 50 потоков.
Почему именно 50? Потому что в реальной работе я применял это количество для выгрузки отчётов о розничных продажах за два года примерно по 400 магазинам. Это самый тяжёлый документ — около 180 тысяч в год, — и 383 тысячи документов (123 миллиона строк всего, 321 строка в среднем) за два года переносились около полутора месяцев. Такой объём в один файл не выгрузить в принципе. По файлам пришлось бы выгружать, наверное, по одному дню и повторять это раз за разом, а с учётом того, сколько ошибок возникало из-за некорректного заполнения данных в базе-отправителе, такой обмен стал бы абсолютно нереальным.
Для понимания масштаба по железу: сервер-приёмник у нас был порядка 48 ядер средней частоты, сервер-отправитель — около 16 ядер, и загрузка на нём была ниже.
Конечно, EnterpriseData сильно уступает простой выгрузке в JSON по накладным расходам: формирование окружения для каждой выгрузки занимает приличное процессорное время. Тем не менее на практике это работает. А новые конфигурации 1С, надо отдать им должное, написаны очень хорошо с точки зрения отсутствия взаимоблокировок и минимизации блокировок, поэтому загрузка в десятки потоков проходит вполне корректно.
Документы, которые не провелись
Часть видов документов после загрузки может не проводиться, и таких случаев, честно говоря, немало. Например, заказ покупателя в КА 2 становится заказом клиента с разными вариантами размещения — и клиент должен сам увидеть и решить, как его отражать. Или реализация товаров и выданный счёт-фактура: они тесно связаны, и если счёт-фактура придёт раньше реализации, он не проведётся.
Поэтому непроведённые объекты фиксируются — во всех конфигурациях для этого есть механизм, а если его нет, мы его делаем, — и потом их допроводит регламентное задание, которое делается очень быстро.
Отдельная история — когда документ перенёсся и провёлся, но не так, как нужно. Новая программа живёт по своим алгоритмам и контролям, а правильное заполнение зависит ещё и от того, как заказчик хочет вести учёт. Здесь мы договорились о разделении ролей: внедренец включает версионирование объектов, правильно заполняет документ и проводит его, а по версиям сразу видно, каких реквизитов не хватало. Мы дописываем их в обмен, и следующие документы приходят уже заполненными.
Перенос в обе стороны
Одно из главных свойств моста, наряду с управляемостью, — перенос возможен оперативно в обе стороны. На одном из наших проектов двусторонний перенос реально работает: запуск идёт каждые 5 минут (сервер там не самый мощный), так что документы переносятся практически в онлайне.
Самый интересный вопрос здесь — нумерация. Когда документ создаётся в новой программе, в старой через HTTP-сервис создаётся заглушка: она захватывает номер и получает UID документа из новой программы. Заглушка стоит на первом числе текущего года, а после выгрузки превращается в нормальный документ. Так автонумерация остаётся корректной в обеих программах.
Форматы: стандартный, доработанный и JSON
Мы работаем со стандартным EnterpriseData от 1С — версии 1.7, 1.10 и 1.20, последняя применяется сейчас. Справедливости ради, за последние три–пять лет формат достаточно сильно улучшился.
Кроме стандартного, можно использовать доработанный формат, в котором больше объектов и реквизитов. Мы, например, использовали платный «доработанный формат обмена 1.1001» отсюда, с Инфостарта: в КА 2 он ставится расширением, в КА 1 — отдельной обработкой, и всё нормально работает. Хотя нужен ли доработанный формат сейчас в целом— вопрос большой: с появлением искусственного интеллекта анализ и доработка правил и самого формата обмена стали простой задачей, и возможности здесь практически неограниченны.
А для того, чего в EnterpriseData нет совсем, есть простой приём. В расширении базы-получателя добавляется обработчик при записи объекта: он получает JSON-представление объекта из старой базы, разбирает его, при необходимости получает и разбирает JSON-представления реквизитов и алгоритмически догружает документ. В базе-отправителе для этого достаточно простейшего расширения, которое умеет выдавать любой объект в JSON по ссылке. Раньше я применял именно этот вариант; сейчас, с нейросетями, проще бывает просто дописать формат.
Если старая конфигурация сильно доработана
Здесь у нас сложился подход, который, по-моему, сильно упрощает жизнь. Миграцию логики нетиповых объектов можно отложить на будущее, а сами объекты перенести в новую программу один в один по структуре данных — в расширение, ведь основную конфигурацию сейчас уже никто не дорабатывает. Данные по таким объектам мост переносит не в EnterpriseData, а в JSON-представлении, и это отлично работает: в новой программе объекты на сто процентов те же, что и в старой. Если в старой базе формы были обычными, управляемые формы для них с помощью ИИ пишутся быстро.
А когда придёт время поменять логику и перейти на новую структуру — если в новой конфигурации есть нужные типы данных, — объекты переписываются по-новому в ещё одном расширении, и данные переносятся между старым и новым вариантом уже внутри одной базы, тем же простым механизмом при записи объекта. Это гораздо проще, чем алгоритмический обмен между разными базами: когда все данные в одной базе, работать, согласитесь, гораздо приятнее.
Сценарии применения
Такой перенос можно использовать по-разному:
- Одномоментный переход, но с хорошей подготовкой. Перенесённые данные проверяются, сотрудники учатся работать в новой программе, и в один момент компания начинает в ней работать — как и раньше, только уже без прыжка в неизвестность.
- Растянутый переход. Функции готовятся и запускаются по очереди, с возможностью отката. Можно пересадить в новую программу одного сотрудника: он поработает, даст замечания, а в случае чего-то экстренного вернётся обратно. Потом переходят, допустим, все менеджеры — и так постепенно вся компания.
- Постоянный обмен между конфигурациями, не связанный с переходом. Современные конфигурации 1С в целом рассчитаны на обмены через EnterpriseData, и мост можно построить между любыми решениями, где есть выгрузка в этот формат: Комплексной автоматизацией и Розницей, Зарплатой, 1С:ERP, Управлением торговлей. Если есть возможность получить представление объекта в EnterpriseData, почему бы этим не пользоваться? Выбор, правда, зависит от объёма данных: иногда оптимально штатное средство 1С, а иногда — мост.
Две ошибки-магнита
Каждый сценарий перехода имеет свои плюсы и минусы. Основной минус нашего — затраты времени на подготовку. Но этот же минус становится большим плюсом, если система на самом деле большая: без хорошей предварительной подготовки её внедрение стало бы просто катастрофой.
А вот чего стоит опасаться всерьёз, так это двух ошибок, которые я называю магнитами: они притягивают проект к себе, и выбраться из них потом непросто.
Первая — «перенесём большой старый период и сведём проводки один в один». На самом большом нашем проекте мы с этим столкнулись. Проблема в том, что сделать одинаковые проводки в старой и новой программе — фактически нерешаемая задача: они работают по-разному и используют разные алгоритмы. Если на большой организации начинать сводить все-все случаи к тому, как было раньше, это может занять неограниченное время, а для крупной компании — превратиться в проект на два-три года.
Вторая — «раз можно туда и обратно, торопиться некуда». Один человек поработал в новой программе, собрал вопросы и ушёл обратно в старую; через пару недель ещё поработал, потом месяц было некогда… Если переход не нужен к определённой дате, это, может, и неплохо. Но растут накладные расходы: на поддержание самого обмена, на разбор проблемных объектов — при переносе через EnterpriseData они будут обязательно, — и на обновление обмена после каждого обновления конфигурации, если используется доработанный формат.
И отдельно про КА 1 → КА 2: займы, кредиты и корректировки долга. Одна операция КА 1 может соответствовать шести–десяти видам операций КА 2, и ни типовой, ни доработанный перенос сразу корректно такие документы не перенесёт. Можно систематизировать операции КА 1 и для каждого вида подготовить представление в КА 2, но это долго. Возможно, проще и эффективнее оставить старый период как есть, а после начала учёта отражать такие операции в КА 2 уже правильно. Решают это, конечно, заказчик и внедренец.
Как я вижу оптимальный переход?
- Соединяем две базы через EnterpriseData — стандартный формат или доработанный, неважно.
- Переносим период. Два года — наверное, не стоит) Данные с начала года могут быть оптимальны, но не для того, чтобы свести учёт один в один: это реально в маленькой компании с простым учётом, а для крупной — путь в проект длиной в год-два. Можно перенести и просто месяц.
- Сотрудники работают в новой программе под руководством человека, который ведёт проект: смотрят документы, задают все вопросы — что программа умеет, а что нет. Так определяются требования к доработкам новой типовой конфигурации, и заодно люди учатся в ней работать.
- Делаем доработки. С искусственным интеллектом то, что было разработано для старой программы, переписывается для новой, что называется, в два счёта; раньше это было гораздо сложнее.
- Допереносим то, чего не хватает, — обработчиком при записи или доработкой формата.
Где это работает?
Оба наших проекта — переход с КА 1.1 на КА 2.5.
Сеть из 400 магазинов, порядка 20 сотрудников в офисе. На этом проекте, собственно, и родился Живой мост. Он идёт с 2023 года, объём данных огромный — порядка 3-5 тысяч документов в день, самые тяжёлые из них отчёты о розничных продажах и поступления товаров. Перенос за два года занял около двух месяцев, двусторонний перенос здесь не используется. Сейчас новая база фактически готова к началу работы.
Оптово-розничная компания, порядка 15 сотрудников в офисе. Здесь работает постоянный мост между КА 1.1 и КА 2.5 с двусторонним переносом, запуск каждые 5 минут.
И, если честно, у обоих проектов одна общая проблема: нет конечного срока. КА 1.1 работает, её поддержка продолжается, и клиенту незачем напрягаться сейчас, когда можно напрягаться долго, но по чуть-чуть. Это ровно та самая вторая ошибка-магнит.

Что нужно и сколько это занимает?
Инфраструктура та же, что и у пообъектного обмена: управляющая система, которая стоит у клиента, бесплатный веб-сервер Apache и HTTP-сервисы. Отдельный сервер не обязателен: управляющую систему можно поставить на один из уже используемых серверов 1С, нагрузка небольшая, а если старая и новая базы стоят на одном сервере, то и туда же. Платформа — минимум 8.3.14, она должна поддерживать расширения.
По срокам: подготовка перехода — от недели до двух, в зависимости от правил и конфигураций; сам перенос данных — от недели до трёх месяцев для огромной базы.
Использовать мост можно не только в наших проектах. Он подходит и для перехода, который ведёт другой внедренец, и для самостоятельного перехода силами самой компании. В таком случае ответственность разграничивается: мы отвечаем за то, чтобы корректные данные попадали из одной базы в другую, за ход обмена и разбор объектов, не перенёсшихся из-за ошибок в самом обмене или формате, и даём список ошибок заполнения. А как должен быть заполнен документ в новой базе, чтобы он правильно провёлся, определяет тот, кто ведёт внедрение. Так что если вы внедренец и у вас впереди большой переход — приглашаю к сотрудничеству.
Вместо заключения
Для меня главное в этом подходе — то, что внедрение превращается из одномоментной задачи с датой «икс» в управляемый процесс. Новая программа проверяется на реальных документах, люди учатся заранее, доработки делаются по ходу, а ошибки старой базы разбираются по одной, а не вычищаются заранее.
Мы называем это «Живым мостом». Но сами идеи — пообъектный перенос через очереди и EnterpriseData, журнал ошибок по каждому объекту, многопоточная выгрузка, заглушки для сквозной нумерации и перенос нетиповых объектов один в один через JSON — вполне можно повторить и своими силами.
Буду рад вопросам и критике в комментариях. Особенно интересно, как вы переносите документы при переходе на новые редакции и удавалось ли кому-нибудь свести проводки старой и новой программы один в один?)
Вступайте в нашу телеграмм-группу Инфостарт
Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».
- 0% комиссии — оплата напрямую исполнителю;
- Исполнители любого масштаба — от отдельных специалистов до команд под проект;
- Прямой обмен контактами между заказчиком и исполнителем;
- Безопасная сделка — при необходимости;
- Рейтинги, кейсы и прозрачная система откликов.