Что делать, когда обмены между разными базами данных портят вам жизнь…

10.09.21

Интеграция - Обмен между базами 1C

Если при обмене между базами данных наблюдаются следующие симптомы: • Процедуры обмена занимают неприемлемо много времени. • Процессы обмена периодически вылетают «по ошибке» и их приходится запускать заново. • Поиск ошибок обмена превращается в ужасающий квест. То, скорее всего вы используете конфигурацию «Конвертация данных». А если при этом вам надоело получать сообщения службы поддержки о новых ошибках и вы бережете свои нервы, то данная статья написана прямо для вас. Чуть ниже я расскажу вам, как навсегда забыть проблемы, связанные со словом "обмен".

Если при обмене между базами данных наблюдаются следующие симптомы:

  • Процедуры обмена занимают неприемлемо много времени.
  • Процессы обмена периодически вылетают «по ошибке» и их приходится запускать заново.
  • Поиск ошибок обмена превращается в ужасающий квест.

То, скорее всего, вы используете конфигурацию «Конвертация данных». Неважно, какой редакции. Все отличие КД 2.0 от КД 3.0 в удобстве отладки и поиска ошибок (см. выше п. 3).

А если при этом, вам надоело получать сообщения службы поддержки, о новых ошибках, и вы бережете свои нервы, то данная статья написана прямо для вас.

Чуть ниже, я расскажу вам, как навсегда забыть проблемы связанные со словом ‘обмен’.

История проблемы и как пришло осознание того, что нарыв созрел и его пора вскрывать.

Две нетиповых базы данных (условно обзовем их БД1 и БД2):

  • В направлении БД1 -> БД2 передаются данные о нормативно справочной информации (НСИ).
    Все справочники создаются только на стороне БД1.
  • В направлении БД2 -> БД1 передается информация по кассовым документам. Объем передаваемых данных составляет около 400 000 документов в сутки или, в пиковые периоды, до 150 документов в секунду.
  • Объем файла обмена в пределах 0.7 – 2 Гб. Файл обмена транслируется через файловый ресурс.

С какими проблемами сталкивались:

  • Общее время обмена, за сутки, составляло порядка 15-20 часов. До 20% времени уходило на формирование и передачу файла обмена (на стороне источника).
  • Часть, из этого, уходила на запись файла обмена на дисковое пространство.
  • Еще большая часть, уходила на запросы к БД в цикле (таков принцип работы конфигурации «КД»)
  • Периодически, приходилось «резать» файл обмена на части, и проталкивать его в КИС руками.
  • В КД 2.0 (КД 3.0), пока не загрузился весь файл обмена, обмен не может считаться успешно состоявшимся.
  • Поэтому, если при загрузке данных, по 400 тысячам документов, хотя бы с одним документом произошел сбой – весь процесс обмена приходилось запускать заново.
  • Поиск ошибок обмена превращался в неблагодарный труд (вспомните добрым словом КД 2.0).

Как решали проблему и что это дало на выходе.

Если кратко, то выполнили следующее:

  • Отказались от использования конфигурации КД 2.0, в направлении БД2 – БД1 (трансляция кассовых документов).
  • Сбор данных отправки производится одним пакетом запросов к БД. Собранные данные трансформируются в строку JSON.
  • В базу-приемник данные передаются посредством HTTP-запроса.
  • Запись документов, в базу-приемник, производится без проведения и в несколько потоков.
  • Само проведение документов запускает специальный механизм отложенного проведения документов.

Более подробно, все технические аспекты – это тема отдельной публикации (планируется отдельно).

Результаты оптимизации обмена данными:

  • Все вышеперечисленное позволило организовать обмен данными фактически в режиме online. Частота обмена данными составляет 10 минут.
  • Среднее время транспорта 400 000 документов составляет не более 2ч. 30 минут.
  • Возможные ошибки передачи данных не прерывают транспортировку всего потока.
  • Простота поиска и локализации ошибок кода конвертации.

Но, это тоже еще не все! Есть еще и вишенка на тортике!

Мы решили не останавливаться на достигнутом и поставили себе целью сократить суточное время обменов до полутора часов! Возможно ли это?!

Мы помним, что в моменты пиковых нагрузок, количество одновременно проводимых документов доходит до 150 шт/сек. При данной интенсивности записей очень большую роль играет повышение параллельности работы системы, а именно – сокращению времени транзакционных блокировок.

В ходе замеров выяснилось, что при проведении кассовых документов, среднее время платформенной транзакции составляет 4.5 секунды на один документ.

При этом, подавляющее количество времени уходит на подготовку данных для новых наборов записей.

Вынеся, все данные процедуры, за пределы транзакции, мы добились сокращения времени платформенной транзакции до…… Внимание! – 0.003 сек!

И это еще не все! На момент написания статьи, мы работаем над тем, чтоб при пакетном проведении документов, все данные, необходимые для формирования наборов записей, получались одним пакетом запросов.

Этим самым мы ставим себе целью:

  • Разгрузить кластер серверов, снизив количество запросов с 400 000 до 288 запросов в сутки.
  • Снизить количество взаимоблокировок базы данных
  • И, в конечном итоге, снизим на порядок время проведения пакета документов.

В качестве резюме

Конфигурации «Конвертация данных 2.0» (КД 3.0) – отличные универсальные инструменты. Но, они крайне не готовы к работе с регулярными и большими объемами данных.

Сбор необходимых данных (одним запросом) для последующей online-передачи, может быть решением проблемы.

При пакетном проведении документов:

Получение данных (необходимых для формирования набора записей), производим одним запросом, с последующей передачей в документ-объект.

Данная методика позволяет повысить производительность системы в тысячу и более раз.

Обмен данными производительность APDEX оптимизация кластер серверов быстродействие конвертация загрузка

См. также

SALE! 20%

Перенос данных из УПП 1.3 в ERP 2 / УТ 11 / КА 2. Переносятся документы, справочная информация и остатки

Обмен между базами 1C Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос документов, начальных остатков и справочной информации из УПП 1.3 в ERP 2 | из УПП 1.3 в УТ 11 | из УПП в КА 2 | Правила конвертации (КД 2) в продаже с 2015 года, постоянно работаем над их развитием | Более 360 предприятий выполнили переход с использованием этого продукта! | Сэкономьте время - используйте готовое решение для перехода! | Позволяет перенести из УПП 1.3 в ERP / УТ 11 / КА 2 всю возможную информацию | В переносе есть фильтр по организации и множество других опциональных параметров выгрузки | Есть несколько алгоритмов выгрузки остатков на выбор

45650 36520 руб.

04.08.2015    159683    363    267    

345

SALE! 15%

[ED3] Обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 22572 руб.

12.06.2017    134937    723    291    

388

SALE! 20%

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

34650 27720 руб.

15.04.2019    68418    178    138    

111

SALE! 20%

Перенос данных из ERP 2 / КА 2 в ЗУП 3. Переносятся остатки, документы и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Воспользовались более 79 предприятий! | Предлагаем приобрести готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | В продаже с 2020г. | Оперативно обновляем правила до актуальных релизов 1С | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

43450 34760 руб.

03.12.2020    34169    80    58    

78

SALE! 10%

Перенос данных из УТ 10.3 в УТ 11.5. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.87.x) и УТ 11.5 (11.5.16.x).

28000 25200 руб.

23.07.2020    46300    196    64    

158

SALE! 10%

Перенос данных из БП 3.0 в УТ 11 / КА 2 / ERP 2. Переносятся начальные остатки, документы и справочники

Обмен между базами 1C Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

В продаже с 2014г. | Воспользовались более 122 предприятий! | Перенос данных из БП 3.0 в УТ 11 | из БП 3.0 в КА 2 | из БП 3.0 в ERP | Сэкономьте свое время - используйте готовое решение для перехода! | Постоянно работаем над развитием переноса данных | Обновляем на новые релизы 1С | Есть фильтр выгрузки по организациям | Переносятся начальные остатки на выбранную дату, документы за период времени и вся возможная справочная информация | Перенос сделан на технологии КД 2 (правила конвертации данных)

50722 45650 руб.

31.10.2014    231408    124    327    

296

Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Обмен между базами 1C Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 10 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

60000 руб.

05.10.2022    9208    9    8    

10

SALE! 10%

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.223.x) и БП 3.0 (3.0.149.x). Правила подходят для версии ПРОФ и КОРП.

28000 25200 руб.

15.12.2021    20251    132    38    

90
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. ixijixi 1775 10.09.21 09:10 Сейчас в теме
технические аспекты – это тема отдельной публикации
Подписался! Звучит грандиозно!
DrAku1a; muskul; +2 Ответить
2. director04 3657 10.09.21 13:46 Сейчас в теме
(1) Более подробно, о компании и ее проектах, описано здесь https://habr.com/ru/company/magnit/blog/570992/
DrAku1a; ixijixi; +2 Ответить
3. MaxS 2826 17.09.21 08:53 Сейчас в теме
КД - это конфигурация, в которой прописывается таблица соответствия реквизитов. Всё остальное - это типовые механизмы конфигураций - БСП. Как выгружать и как проводить документы не зависит от технологии КД.
Собранные данные трансформируются в строку JSON.
В базу-приемник данные передаются посредством HTTP-запроса.
Запись документов, в базу-приемник, производится без проведения и в несколько потоков.
Само проведение документов запускает специальный механизм отложенного проведения документов.
Используя КД можно было сделать то же самое, первое действие выглядело бы так:
Собранные данные трансформируются в строку xml в формате как у КД2 или КД3.
далее так же.
Плюс такого варианта - разработчик правил в интерактивном режиме задаёт соответствия объектов и реквизитов. А обмены, распараллеливания и проведение берёт на себя Ваша универсальная система. Такой вариант проще поддерживать при зоопарке конфигураций.
Т.е. вместо БСП нужно сделать БКСП - библиотеку корпоративных стандартных подсистем. )
4. director04 3657 17.09.21 12:24 Сейчас в теме
(3) В теории все красиво.... Но, когда вы сталкиваетесь с теми объемами данных, которые я озвучил выше, то рулить начинает не теория, а практика.
Все что можно было "выжать" из КД 2.0 - было выжато давно. Да и не ради спора я опубликовал статью, а ради трансляции положительного опыта.
К сожалению, стандарты, диктуемые типовыми решениями от 1С, на практике не выдерживают испытания высоконагруженными системами.
Еще подчеркиваю, что КД - отличный и полезный механизм, но не для обменов данными по полмиллиона документов в сутки.
5. MaxS 2826 17.09.21 12:35 Сейчас в теме
(4) я тоже не ради спора, а... может быть 1С когда-нибудь будет выпускать те же БСП, ориентированные на максимальную скорость и масштабируемость для обработки данных, подобным вашим. Чтобы каждый раз не изобретать свой велосипед с положительным опытом )
В этом случае решение для массовых конфигураций будет совместимо с корпоративными версиями.
А пока 1С не заняло эту нишу, у Вас есть конкурентное преимущество. Можно тиражировать своё уникальное решение.
6. director04 3657 17.09.21 18:33 Сейчас в теме
(5) Представители 1С работают с нами вплотную, используя нашу площадку как испытательно-тестовый полигон для изучения работы 1С с большими базами данных.
Многие наши наработки (включая и взаимодействие Сервера приложений и Сервера БД) используются для будущих версий платформы 1С.
Но, следует понимать, что универсальные, типовые решения, вряд ли когда будут по скорости сопоставимы с кастомизированными подходами к решениям задач.
8. MaxS 2826 20.09.21 11:37 Сейчас в теме
(6)
Но, следует понимать, что универсальные, типовые решения, вряд ли когда будут по скорости сопоставимы с кастомизированными подходами к решениям задач.
Согласен.
Но как-то грустно наблюдать типовые правила обмена. От версии к версии добавляются костыли. В результате при обработке одного документа несколько раз в цикле обработки табличной части проверяется множество параметров-констант, как будто они могут измениться в другой строке.
Можно хотя бы постараться и типовой универсальный код делать производительнее и тогда процент организаций возрастёт, у которых типовое решение не тормозит. И не нужно будет кастомизировать для них решение.

С другой стороны универсальные решения дают работу множеству узких специалистов по кастомизации. )
director04; +1 Ответить
7. Labotamy 17.09.21 19:37 Сейчас в теме
Добро пожаловать в велоклу б)
9. gybson 21.09.21 09:38 Сейчас в теме
Если обе базы самописные, то что мешает вообще не конвертировать и лить данные через дефолтную сериализацию, как в РБД?

Обмен частями тоже вполне выполнимая задача, правда рискованная несколько. Добавить в имя файла номер сообщения, выгрузить изменения по нему, стереть регистрацию изменений. Но если файл потеряли, то ой. Частично решается более гарантированными средствами доставки, чем каталог, но риски остаются.
Оставьте свое сообщение