DaJet Exchange: двусторонний обмен РИБ (часть 2)

Публикация № 1377988

Разработка - Практика программирования

интеграция РИБ РИБД обмен данными синхронизация двусторонний

Отказ от использования механизма планов обмена в РИБ не означает отказа от необходимости решать проблему выявления и разрешения коллизий. Данная статья предлагает рассмотреть один из вариантов решения этой проблемы.

Предположим, что для преодоления проблем механизма планов обмена, используемого в распределённой информационной базе данных (РИБД), было принято решение о реализации альтернативного обмена данными с гарантированной доставкой при помощи очередей сообщений.

Реализация подобного варианта обмена данными рассмотрена в моей статье "DaJet Exchange: обмен данными с 1С (часть 1)".

Так же, как и РИБД 1С, альтернативная реализация должна предусматривать выявление коллизий и их разрешение.

Первым делом необходимо сформулировать практически целесообразные требования к системе обмена данными по типу РИБД, имеющей топологию "звезда".

Требования к асинхронному обмену данными:

1. Сообщения доставляются и обрабатываются при помощи очередей FIFO.

2. Используется гарантированная доставка при помощи брокера сообщений.

3. Изменение данных и отправка сообщения выполняются в одной транзакции.

4. Получение сообщения и изменение данных выполняются в одной транзакции.

 

Правила разрешения коллизий:

1. Root node always wins!

Центральный узел всегда имеет наивысший приоритет своих изменений по отношению к изменениям любого периферийного узла.

Все узлы должны получить и принять изменения центрального узла.

2. Leaf node may be allowed to make changes.

До тех пор пока центральный узел не сделал изменений, любой периферийный узел может предложить свои изменения.

Центральный узел и заинтересованные периферийные узлы должны получить и принять предложенные инициирующим периферийным узлом изменения.

3. First leaf node wins!

Первый периферийный узел, предложенное изменение которого было зафиксировано в центральном узле, имеет приоритет по отношению к изменениям, одновременно сделанным в других периферийных узлах.

Другие узлы должны получить и принять такое изменение.

 

Следствия из правил разрешения коллизий:

1. Центральный узел при получении сообщения от периферийного узла должен принимать и маршрутизировать сообщения, соответствующие правилу № 2. Все остальные сообщения центральный узел отбрасывает.

2. Периферийный узел всегда обязан принять сообщение от центрального узла, так как именно центральный узел обеспечивает строгое соблюдение всех правил разрешения коллизий.

 

Для реализации правил разрешения коллизий используется адаптированная к вышеуказанным требованиям методика синхронизации потоков при помощи мьютексов.

Жизненный цикл мьютекса начинается в статусе мьютекса изменения (change mutex), используемого для захвата данных в центральном узле и их изменения. Change mutex генерируется текущим узлом для исходящих сообщений, его значение должно быть уникально в пределах РИБ. Change mutex используется для захвата записей в центральном узле с целью изменения данных.

В случае успешного захвата данных в центральном узле мьютекс переходит в статус разделяемого мьютекса (shared mutex) для синхронизации изменений между заинтересованными в этих изменениях периферийными узлами. Shared mutex получается периферийным узлом во входящих сообщениях. Получение shared mutex свидетельствует о том, что данные центрального узла были захвачены другим узлом. Таким образом выполняется синхронизация доступа к данным между узлами. Shared mutex необходимо запомнить, чтобы в будущем использовать его для снятия захвата данных в центральном узле.

Жизненный цикл использования мьютекса завершается в статусе вышедшего из употребления мьютекса (obsolete mutex).

 

Таким образом можно выделить следующие состояния данных РИБ:

1. Синхронизированное состояние данных - данные во всех узлах идентичны.

2. Изменение данных в периферийном узле и отправка сообщения захвата и изменения данных в центральный узел.

3. Захват, изменение и отправка сообщений данных в центральном узле.

4. Получение, изменение и синхронизация данных в периферийном узле.

5. Новое синхронизированное состояние.

 

Для того, чтобы было понятнее как работает всё вышесказанное, ниже будут приведены схемы изменения состояния РИБ в зависимости от происходящих в системе событий. Работа алгоритма основана на том, что для каждого объекта конфигурации, участвующего в обмене данными РИБ, создаётся дополнительная таблица метаданных обмена. Данная таблица по сути своей расширяет основную таблицу объекта дополнительными полями для хранения информации о мьютексах.

 
1. Центральный узел создаёт данные
 
2. Центральный узел изменяет данные
 
3. Периферийный узел изменяет данные
 
4. Центральный и периферийный узлы изменяют данные одновременно
 
5. Периферийные узлы изменяют данные одновременно

Дополнительные материалы в формате презентаций расположены здесь.

Псевдо код обработки входящего сообщения центральным узлом:

Если (metadata.MutexOwner = message.SourceNode          // Владелец мьютекса и узел отправителя сообщения равны
 Или  metadata.ChangeMutex = message.SharedMutex) Тогда // Мьютекс изменения равен разделяемому мьютексу сообщения

   // Начало транзакции
   НачатьТранзакцию();

   // 1. Обновляем метаданные записи
   metadata.MutexOwner = message.SourceNode;
   metadata.ChangeMutex = message.ChangeMutex;
   ОбновитьМетаданные(metadata);

   // 2. Применяем изменения в центральном узле
   ОбновитьДанные(message.Data);

   // 3. Маршрутизируем сообщение в другие узлы
   МаршрутизироватьСообщение(message);

   // Конец транзакции
   ЗафиксироватьТранзакцию();

Иначе

   // Игнорируем и удаляем сообщение из очереди
   УдалитьСообщение(message);

КонецЕсли;

Псевдо код обработки входящего сообщения периферийным узлом:

// Начало транзакции
НачатьТранзакцию();

// 1. Обновляем метаданные записи
metadata.SharedMutex = message.ChangeMutex;
ОбновитьМетаданные(metadata);

// 2. Периферийный узел обязан всегда применять изменения,
//    пришедшие из центрального узла
ОбновитьДанные(message.Data);

// Конец транзакции
ЗафиксироватьТранзакцию();

Псевдо код формирования исходящего сообщения периферийным узлом:

// Начало транзакции
НачатьТранзакцию();

// 1. Обновляем метаданные записи
metadata.ChangeMutex = GenerateNewChangeMutex();
ОбновитьМетаданные(metadata);

// 2. Выполняется изменение данных
ОбновитьДанные(data);

// 3. Отправляем сообщение в центральный узел
Message message = new Message(data);
message.SharedMutex = metadata.SharedMutex; // Shared mutex был ранее получен и сохранён
message.ChangeMutex = metadata.ChangeMutex;
ОтправитьСообщение(sourceNode, targetNode, message);

// Конец транзакции
ЗафиксироватьТранзакцию();

 

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. legrey 67 12.02.21 15:09 Сейчас в теме
2. zhichkin 933 12.02.21 15:34 Сейчас в теме
(1) Спасибо. Я боялся, что непонятно будет =)
Но, в конце концов, решил написать как есть, хотя бы для себя на память.
Оставьте свое сообщение

См. также

Звуковое управление в 1С 8.3 Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

В данной статье описано создание библиотеки для звукового управления (выполнение команд голосом) для платформы 1С 8.3. Задача была поставлена так, чтобы модуль функционировал непосредственно на клиенте 1С, осуществляя управление формами, и взаимодействовал с интерфейсом.

16.03.2021    2593    velemir    28    

Полезные примеры СКД, ч.2

Практика программирования v8 v8::СКД Бесплатно (free)

Еще несколько примеров решения задач в СКД.

06.04.2021    2186    Neti    6    

Обзор полезных методов БСП 3.1.4

Практика программирования БСП (Библиотека стандартных подсистем) v8 1cv8.cf Бесплатно (free)

Библиотека стандартных подсистем (далее - БСП) является частью любой типовой конфигурации, поэтому умение применять готовые процедуры и функции повышает качество разработки и избавляет от написания лишнего кода. К сожалению, не у всех есть время и упорство овладеть всей документацией, поэтому я собрал воедино наиболее популярный функционал.

25.03.2021    10138    rayastar    45    

Базовые вещи БСП, которые облегчат жизнь программисту 1С

Практика программирования БСП (Библиотека стандартных подсистем) v8 1cv8.cf Россия Бесплатно (free)

В данной публикации я опишу полезные процедуры и функции модуля общего назначения библиотеки стандартных подсистем, обязательные к использованию любым программистом 1С.

30.08.2020    12316    quazare    34    

Serverless (Faas) в 1С. Создание и вызов Yandex Cloud Functions Промо

Универсальные функции Практика программирования v8 Бесплатно (free)

"Я не могу просто взять и скопировать код с гитхаба", "у нас 1С микросервисами окружена", "возможностей мало" - частые фразы 1С разработчиков. которым не хватает возможностей платформы в современном мире. Faas, конечно, история не новая, но нас сдерживало 152ФЗ и задержки по пингам. Для того, чтобы действительно использовать в 1С код, к примеру, на Python, надо было приложить усилия. Теперь всё намного проще - берём и используем.

28.12.2020    5050    comol    26    

Форма выбора (подбор) в управляемых формах

Практика программирования v8 v8::УФ 1cv8.cf Россия Бесплатно (free)

Разбор небольших примеров того, как правильно открывать форму выбора (подбора) в управляемых формах, не прибегая к модальным окнам.

08.05.2020    41169    user5300    17    

Программная работа с настройками СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Нюансы программной работы с настройками системы компоновки данных в отчетах и динамических списках. Обзор всех видов настроек компоновки. Что в каких случаях правильно применять. В качестве примера рассмотрена работа с отборами и группировками.

27.01.2020    42688    ids79    26    

[СКД] Программное создание схемы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Сделаем отчет на СКД полностью программно, без использования макета "схема компоновки данных".

15.01.2020    32331    John_d    22    

Использование программных перечислений, ч.1: строковые константы Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Часто ли у вас возникает необходимость в коде выполнять сравнение на строку?

10.12.2016    38798    unichkin    74    

Последовательности событий при проведении документа 1С. Шпаргалка + про формы + про расширения

Практика программирования v8 Россия Бесплатно (free)

Собрал информацию о событиях/подписках/расширениях в одном месте.

30.12.2019    24831    kuzyara    38    

30 задач. Странных и не очень

Практика программирования v8 Бесплатно (free)

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    19520    YPermitin    60    

Как передать IP адрес, который вызвал HTTP запрос в 1C (для веб-сервера Apache)

Практика программирования v8 Бесплатно (free)

Столкнулся с задачей получения IP адреса, который вызывает http сервис 1С. Итак, решение:

22.11.2019    10168    Sibars    19    

Вспомогательные инструкции в коде 1С Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    32534    tormozit    105    

Полезные процедуры и функции для программиста

Практика программирования Универсальные функции v8 1cv8.cf Россия Бесплатно (free)

Все мы пишем программный код и часто используем процедуры, облегчающие его написание. Ниже приведена выборка таких полезных процедур и функций.

07.10.2019    34164    HostHost    41    

Таблица значений. Нюансы

Практика программирования v8 Бесплатно (free)

Обзор некоторых аспектов использования общеизвестного инструмента 1С.

01.10.2019    42306    Yashazz    50    

О программе Postman для тестирования API и для чего она нужна 1С-нику

Практика программирования Программное обеспечение (software) v8 Бесплатно (free)

Для чего нужна программа Postman для тестирования API и какая от него польза для 1С-программиста.

24.09.2019    15354    budidich    28    

Оформление и рефакторинг сложных логических выражений Промо

Практика программирования v8 Россия Бесплатно (free)

В сложных логических выражениях нередко самому автору спустя какое-то время тяжело разобраться, не говоря уже о других программистах. Предлагаемая методика позволяет повысить наглядность таких выражений путем оформления в виде И-ИЛИ дерева и одновременно выполнять их рефакторинг.

20.09.2012    79687    tormozit    131    

[Шпаргалка] Программное создание элементов формы

Практика программирования Работа с интерфейсом v8 1cv8.cf Бесплатно (free)

Программное создание практически всех популярных элементов формы.

06.09.2019    72087    rpgshnik    70    

Агрегатные функции СКД, о которых мало кто знает

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    60798    ids79    55    

Регистры бухгалтерии. Общая информация

Практика программирования Математика и алгоритмы v8 v8::БУ БУ Бесплатно (free)

Общая информация о внутреннем устройстве регистров бухгалтерии.

05.09.2019    34656    YPermitin    25    

Запись значения в поле ввода/формы со срабатыванием события ПриИзменении Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Иногда возникает необходимость после записи значения в какое либо поле ввода/формы вызвать для него обработчик события ПриИзменении, а о вызове самого события приходится только мечтать. В этой статье приводится программный способ вызова этого события.

11.07.2007    50582    tormozit    48    

Три костыля. Сказ про фокусы в коде

Практика программирования v8 Бесплатно (free)

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    27481    YPermitin    81    

Отслеживание выполнения фонового задания

Практика программирования Универсальные функции Разработка v8 1cv8.cf Бесплатно (free)

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    37682    ids79    16    

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    113671    ids79    67    

Как сделать из &НаКлиентеНаСервереБезКонтекста почти &НаКлиентеНаСервере Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Как сделать метод формы, доступный на клиенте и на сервере одновременно, и сохранить при этом удобство разработки

10.09.2017    47416    tormozit    74    

Фоновое выполнение кода в 1С - это просто

Практика программирования v8 1cv8.cf Бесплатно (free)

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    46484    avalakh    26    

Разбираемся с параметрами редактирования СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Связь по типу, Параметры выбора, Связи параметров выбора

31.07.2019    31113    json    15    

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    80700    ids79    14    

Выгрузка документа по условию Промо

Практика программирования Разработка v8 Бесплатно (free)

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    16574    m-rv    2    

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ

Инструментарий разработчика Практика программирования v8 v8::СКД Бесплатно (free)

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    41069    ids79    27    

Регистры сведений. За кулисами

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    29150    YPermitin    14    

"Меньше копипаста!", или как Вася универсальную процедуру писал

Практика программирования Разработка v8 v8::СКД 1cv8.cf Бесплатно (free)

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    20619    SeiOkami    50    

Как прикрутить ГУИД к регистру сведений Промо

Практика программирования Перенос данных из 1C8 в 1C8 Разработка v8 Бесплатно (free)

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    21195    m-rv    17    

Работа с настройками системы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Варианты отчетов, работа с настройками вариантов: структура группировок, поля отчета, отборы, сортировка, условное оформление, другие настройки, настройки отображения диаграмм.

02.07.2019    63061    ids79    17    

Создание отчетов с помощью СКД - основные понятия и элементы

Практика программирования Математика и алгоритмы v8 v8::СКД Бесплатно (free)

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    62571    ids79    26    

Многопоточное ускорение однопользовательских нагрузок в 1С + Microsoft SQL Server 2017

Практика программирования Производительность и оптимизация (HighLoad) v8 v8::Запросы Бесплатно (free)

Взаимодействие с Microsoft SQL Server нередко вызывает трудности у 1С-ников, а потому интересны любые моменты, связанные с его использованием. О своем опыте работы с новым SQL Server 2017 участникам конференции Infostart-2018 рассказал директор ООО «Аналитика софт» Дмитрий Дудин.

11.06.2019    27689    dmurk    146    

Как сделать запрос на изменение данных Промо

Практика программирования v8 v8::Запросы 1cv8.cf Бесплатно (free)

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    32892    m-rv    22    

Регистры накопления. Структура хранения в базе данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    51644    YPermitin    30    

О расширениях замолвите слово...

Практика программирования Разработка v8 Бесплатно (free)

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    38630    ellavs    127    

Git-репозитории для 1С-кода (опыт использования при небольших проектах)

Практика программирования v8 Бесплатно (free)

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    28975    ellavs    90    

Метод формирования движений в типовых регистрах нетиповыми регистраторами Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    28989    itriot11    34    

Трюки с внешними источниками данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    35474    YPermitin    53    

Ошибки при работе с хранилищем конфигурации и способы их решения

Практика программирования v8 Бесплатно (free)

В статье собраны наиболее распространенные ошибки при работе с хранилищем конфигурации и способы их обхода и решения.

01.03.2019    51349    Смешной 1С    31    

Разработка и сценарное тестирование с Vanessa-ADD. Отчетность Allure. Автоматизация запуска сценариев

Практика программирования Vanessa Automation v8 Россия Бесплатно (free)

Формируем отчетность о результатах выполнения сценариев. Автоматизируем запуск.

26.02.2019    24823    Vladimir Litvinenko    28    

Использование классов .Net в 1С для новичков Промо

Практика программирования Разработка внешних компонент Универсальные функции v7.7 v8 Бесплатно (free)

Руководство для новичков. Написав статью http://infostart.ru/public/238584/, я понял, что многие не понимают того, что написано. Поэтому в этой статье постараюсь более подробно остановиться на азах и без кода на вражеском языке (C#)

27.01.2016    78983    Serginio    113    

Возможности типовых шаблонов ограничения доступа на уровне записей (RLS)

Практика программирования БСП (Библиотека стандартных подсистем) Роли и права v8 v8::Права Бесплатно (free)

Краткий обзор применения типовых шаблонов ограничения доступа на уровне записей в конфигурациях, созданных на базе БСП: #ПоЗначениям, #ПоНаборамЗначений, #ПоЗначениямРасширенный, #ПоЗначениямИНаборамРасширенный

03.02.2019    48417    ids79    11    

Автоматические и управляемые блокировки применительно к типовым конфигурациям 1С Промо

Математика и алгоритмы Практика программирования v8 v8::blocking 1cv8.cf Бесплатно (free)

Основные принципы работы с режимами автоматических и управляемых блокировок в 1С Предприятие 8. Теория и применение в типовых конфигурациях: БП, УТ, ЕРП

10.11.2018    38484    ids79    40