Мультипоточность в клиент-серверном варианте 1С, мьютексы

Опубликовал Sergey Andreev (starik-2005) в раздел Программирование - Практика программирования

Как сделать так, чтобы два (пять, сто, миллион) процесса(ов) не делали одно и тоже одновременно, а ждали друг друга тогда, когда мы этого хотим...

Продолжение цикла статей о многопоточных вычислениях в 1С

Статья продолжает данную статью.

...Но теперь, когда на многоядерных процессорах начали работать обычные приложения, параллельное программирование быстро становится технологией, которую должен освоить и уметь применять любой профессиональный разработчик ПО.

Intel software...

Как это все работает?

 

Итак, многопоточность в клиент-серверной архитектуре 1С работает через запуск фоновых заданий с данными для обработки. Если вы хотите обработать множество данных (например, исправить проводки в куче документов или заполнить какой-нибудь реквизит документа, справочника, ...), которые не требуют соблюдения определенной последовательности, то многопоточность может значительно ускорить выполнение.

Но существуют задачи, которые, выполняясь в несколько потоков, требуют, чтобы определенные операции никогда не выполнялись одновременно несколькими потоками. Примером тому может служить, например, инициализация нативной внешней компоненты печати штрих-кодов на сервере 1С. 1С 8.3.5.хххх при одновременном выполнении кода подключения данной компоненты отваливается rphost, на котором выполняется задание. 1С 8.2.19.102 (если мне не изменяет память) rphost не рубит, но штрих-код  при этом не генерируется - выходит пустой квадратик.

Для того, чтобы "заблокировать" определенный участок кода для монопольного выполнения, в правильных языках программирования, поддерживающих мультипоточность, и существуют мьютексы. В принципе, мьютекс - это некоторый объект, который блокируется первым процессом, пожелавшим этого. Остальные процессы валятся в "exception", т.е. в исключение.

 

Реализация мьютекса в 1С

Реализовать мьютекс можно разными способами. Например, обычной блокировкой. Но что блокировать при создании внешней компоненты? В программах часто для блокировки используется файл. Я использую объект ЗаписьТекста - таким образом можно создавать именованные блокировки, не тратя ресурсов системы и не блокируя ничего на сервере приложений 1С - он и так периодически на блокировках подглючивает.

Реализуем функцию установки блокировки и подумаем о том, как ее снять.

Давайте создадим функцию, создающую именованную блокировку и возвращающую результат. Для этого определим, какие действия должна совершить программа.

Математическая модель установки именованной блокировки:

1. Создадим объект ЗаписьТекста с именем файла во временном каталоге.

2. Если удалось создать - возвращаем истину, если не удалось - ложь.

3. В параметре функции таже будем возвращать объект "ЗаписьТекста", чтобы было что разблокировать.


Функция СоздатьБлокировку(ИмяБлокировки, файлБлокировки)

  Попытка
    файлБлокировки = Новый ЗаписьТекста(КаталогВременныхФайлов() + ИмяБлокировки);
    Возврат Истина;
  Исключение
    Возврат Ложь
  КонецПопытки;

КонецФункции

 

Тут мы создаем запись текста с именем файла блокировки. Если блокировка уже установлена - файл открыт на запись - мы попадем в исключение и возвращаем "ЛОЖЬ". Таким образом можно оградить определенный код от одновременного выполнения.

 

Функция ПодключитьВнешнююКомпонентуПечатиШтрихкода() Экспорт

  файлБлокировки = Неопределено;
  Пока НЕ СоздатьБлокировку("ПечатьШтрихКода", файлБлокировки) Цикл

    // пустой цикл

  КонецЦикла;

  ПодключениеВыполнено = ПодключитьВнешнююКомпоненту("ОбщийМакет.КомпонентаПечатиШтрихкодов", "КартинкаШтрихкода", ТипВнешнейКомпоненты.Native);

  // убираем блокировку

  файлБлокировки.Закрыть();

  ...

  ...

КонецФункции

 

 

Заключение

Данный пример блокировки может помочь в реализации самого широкого спектра задач, в которых можно использовать многопоточность и для которых нужны фрагменты кода, выполняющегося монопольно.

См. также

Комментарии
1. Сергей Старых (tormozit) 4135 30.07.15 01:34 Сейчас в теме
Файл в таком случае нужно располагать на сетевом ресурсе, доступном со всех рабочих серверов. Либо нужно при начале сеанса проверять, что количество рабочих серверов кластера = 1, иначе выбрасывать исключение.

Еще кажется очень неплохим дополнением было бы указать, как экономичнее всего ждать на мьютексте.
kote; Dach; +2 Ответить 2
2. Ivan Khorkov (vano-ekt) 816 30.07.15 07:59 Сейчас в теме
а .ОжидатьЗавершения() у ФЗ не то же самое делает?
3. Sergey Andreev (starik-2005) 852 30.07.15 09:17 Сейчас в теме
(1) tormozit, каталог временных файлов доя rphosrов одного сервера обычно один. Если же рабочие процессы разнесены по разным серверам, то в случае подключения ВК на другом сервере rphost умереть не должен - это ведь другая система.
4. Sergey Andreev (starik-2005) 852 30.07.15 09:18 Сейчас в теме
(2) vano-ekt, Вы просто не поняли, о чем речь. Это поправимо.
5. Алексей 1 (AlX0id) 30.07.15 10:26 Сейчас в теме
мм.. а если этот рпхост упадет после установки блокировки - она упадет или останется установленной?
6. Сергей Старых (tormozit) 4135 30.07.15 10:39 Сейчас в теме
(3) starik-2005, статья же не про мьютекс создания внешней компоненты, а в общем про мьютекс. Или я не понял статью?
7. Sergey Andreev (starik-2005) 852 30.07.15 10:47 Сейчас в теме
(5) AlX0id, здесь блокировка создается за счет "захвата" текстового файлового потока. Пока он не закрыт - блокировка сохраняется. При том файлами управляет ОС. Если процесс ОС умирает, то ОС освобождает файл. Вот если rphost зависнет - вот тут блокировка сохранится.

У нас статистика накоплена, т.к. я после неудачной попытки установить блокировку пишу сообщение в журнал регистрации. Так вот на 20 тысяч печатных форм, формирующихся и пишущихся в PDF-файл на шары CUPS-серверов, неудачных блокировок где-то в районе двух десятков - меньше 0,1%. Случаев сбоя работы файловых блокировок я не наблюдал ни разу за примерно полгода использования. А вот случаи смерти rphosta без этих блокировок наблюдал ежедневно на протяжении еще полугода, пока механизм блокировок не был реализован.
8. Sergey Andreev (starik-2005) 852 30.07.15 10:50 Сейчас в теме
(6) tormozit, статья про мьютекс, но в качестве примера приведен именно механизм монопольного выполнения участка кода при многопоточном выполнении операций (что, собственно, и делает сервер 1С).
9. Sergey Andreev (starik-2005) 852 30.07.15 10:56 Сейчас в теме
http://adit.io/posts/2013-05-15-Locks,-Actors,-And-STM-In-Pictures.html - про параллельное программирование вообще, если кто буржуйский знает. Может переведу потом, но для этого сайта слишком хорошая работа )))
10. Сергей Старых (tormozit) 4135 30.07.15 11:13 Сейчас в теме
(8) starik-2005, в общем достаточно признать, что я сделал справедливое замечание =)
11. Ийон Тихий (cool.vlad4) 41 30.07.15 13:04 Сейчас в теме
(8) starik-2005, все таки я не понял ответов на вопросы заданные tormozit 1) что будет если код не дойдет до строки файлБлокировки.Закрыть(); (точнее понятно . что ничего хорошего) 2) есть ли варианты снизить нагрузку Пока НЕ СоздатьБлокировку("ПечатьШтрихКода", файлБлокировки) Цикл , поскольку это однозначно нагружает CPU. хотя я понимаю, что оба вопросы скорее вопросы к несовершенству возможностей 1С. (1) tormozit,
Файл в таком случае нужно располагать на сетевом ресурсе
при таком подходе имхо безопаснее все же сделать через БД , либо через какую-нибудь таблицу флагов прямо в БД, либо используя возможности , предоставляемые БД.
12. Никита Грызлов (nixel) 72 30.07.15 13:47 Сейчас в теме
(11) cool.vlad4, пустой цикл однозначно гнать не стоит. при большом количестве потоков и более-менее длительном коде внутри блокировки получим печку вместо проца.
хорошо бы использовать что-то, что альтернативно нагружает проц... хотя бы тот же КомандаСистемы("ping localhost")
13. Пикалев Николай (dabu-dabu) 6 30.07.15 13:49 Сейчас в теме
(11) cool.vlad4, (12) nixel,
ответ на певый вопрос см в (7)
а ответ на 2) гонять цикл это конечно бред. Достаточно использовать обработчик ожидания
kote; zzz14; cool.vlad4; +3 Ответить 3
14. Ийон Тихий (cool.vlad4) 41 30.07.15 13:54 Сейчас в теме
(13) dabu-dabu, да, не увидел. в последнее время читаю между строк, все время тороплюсь)
15. Антонио (Fragster) 649 30.07.15 14:13 Сейчас в теме
В многопоточном замере производительности http://infostart.ru/public/173394/ в качестве мьютекса используется управляемая блокировка на константу. Сначала на константу вешается исключительная блокировка, потоки выполнения пытаются повесить разделяемую блокировку и ждут, пока "управляющий" поток снимет исключительную блокировку. Конечно, у этолго способа куча ограничений, но использовать его можно.

В составе теста есть обработка "проверка синхронизации", которая показывает, за какое время (от момента снятия исключительной блокировки) фоновые задания принимают сигнал о её снятии.
16. Сергей Старых (tormozit) 4135 30.07.15 15:51 Сейчас в теме
(11),(15) Управляемая транзакционная блокировка может удерживаться естественно только в рамках транзакции. А долгие транзакции не есть хорошо. Поэтому блокировка файла выглядит более корректным способом.
17. Антонио (Fragster) 649 30.07.15 16:00 Сейчас в теме
(16) tormozit, Я не говорю, что этот способ идеальный. Как раз его ограничение в том, что снимается блокировка именно по окончанию транзакции. Это влечет принципиальную невозможность использования такого способа если сами "многопоточные потоки" или их родители выполняются в транзакции.
А сами по себе долгие транзакции (если в них блокируется только ресурс-мьютекс) почти никаких доп. нагрузок не вносят.

Ну и время ожидания блокировки надо подбирать соответствующее и хотя бы временно его выставлять (как делается в тесте).
18. Сергей Старых (tormozit) 4135 30.07.15 16:30 Сейчас в теме
(17)
А сами по себе долгие транзакции (если в них блокируется только ресурс-мьютекс) почти никаких доп. нагрузок не вносят
Ну не совсем так. Они удерживают соединения с СУБД. Если их будет много и долго, то будет нехорошо. Признаюсь, я сам не вполне понимаю, в чем заключается это "нехорошо", но так меня учили =)
19. Sergey Andreev (starik-2005) 852 30.07.15 19:14 Сейчас в теме
(13) dabu-dabu, да, гонять цикл нехорошо, но какие есть альтернативы? Может быть когда-нибудь 1С сделает sleep, но пока я лично не знаю, как реализовать его на 1С. Есть вариант вызова пинга, но он секунду ждет - за секунду у меня пять форм печатных формируется и в файлы пишется (!)

Когда блокировка устанавливается на минимальное время, то сама попытка открытия файла на запись уже выполняется достаточное время, чтобы во второй-третьей итерации цикла дождаться снятия предыдущей блокировки. Все остальное время сервер тоже выполняет код. Но имейте ввиду, что тут не пустой цикл гоняется, в открывается текстовой поток на запись - это I/O, в механизме которого слипов, поверьте, достаточно, чтобы оставить ваш процессор чуть тепленьким.
20. Пикалев Николай (dabu-dabu) 6 30.07.15 19:25 Сейчас в теме
(19) starik-2005, Есть замечательная функция ПодключитьОбработчикОжидания, о чем я и писал в (13)
21. Алексей 1 (AlX0id) 30.07.15 19:28 Сейчас в теме
(7) starik-2005,
Сначала подумал, что останется висеть, потом так и решил, да - хотел убедиться )
22. Сергей Старых (tormozit) 4135 30.07.15 21:14 Сейчас в теме
(20) dabu-dabu, а эту замечательную функцию можно применить на сервере или во внешнем соединении?
23. Sergey Andreev (starik-2005) 852 30.07.15 21:19 Сейчас в теме
(20) dabu-dabu, и как он работает на сервере?
24. Олег Филиппов (comol) 2689 31.07.15 10:22 Сейчас в теме
Очень был удивлён...
в правильных языках программирования, поддерживающих мультипоточность, и существуют мьютексы

1) Мьютекс это сущность внутри ОС Windows и никак не относится к языку программирования
2) Многопоточность конечно
3) Многопоточность это тоже в принципе относится к ОС, может к приложению но весьма отдалённо к языку программирования
4) Ну и 1С - это не язык программирования...

Ну и конечно запись текста вместо мьютекса можно вообще оставить без комментариев. Нужен мьютекс - используйте мьютекс.
Если лениво свою ВК писать воспользуйтесь: http://infostart.ru/public/76974/ или http://infostart.ru/public/18636/

Хотя приведённая задача решается совсем другим способом.
25. Ийон Тихий (cool.vlad4) 41 31.07.15 12:49 Сейчас в теме
(24) comol,
1) в узком смысле, да. в широком смысле это один из паттернов синхронизации. т.о. относится не только к ОС.
3) потоки бывают не только уровня ОС. см https://ru.wikipedia.org/wiki/Green_threads . хотя согласен, что к 1С это малоприменимо.
4) язык программирования, Тьюринг полный. на нем гипотетически и ВМ можно написать. просто оно никому не надо...(уточню, что гипотетически))) )
26. Sergey Andreev (starik-2005) 852 31.07.15 13:18 Сейчас в теме
(24) comol, Ваш комментарий не полезен, но интересен:
1) "Мью́текс (англ. mutex, от mutual exclusion — «взаимное исключение») — аналог одноместного семафора, служащий в программировании для синхронизации одновременно выполняющихся потоков." (с) Словарь.
Отсюда мораль: не знаете - не говорите. То, что мьютекс реализован в API системы, никак не меняет дело. Поэтому реализация принципа мьютекса без танцев с бубном вокруг WinAPI не является моветоном - это лишь одна из реализаций принципа.
2) "Много" и "Мульти" - это синонимы. "лат. multi-, от multus многий, многочисленный) - составная часть сложных слов, означающая..." (с) Словарь. Учитесь пользоваться словарем, чтобы распознать тезаурус сообщения, если не знаете слов.
3) Тоже весьма спорный тезис, но в общем и целом условно верный. Различие лишь в том, что для одних языков существуют библиотеки с реализацией данного механизма, а для других - нет. В 1С реализация есть, но про блокировки как-то забыли, иначе не пришлось бы критический код подключения внешней компоненты блокировать, чтобы rphost не умер. Или Вы считаете, что в сказку попали?
4) 1С - это среда, как и Delphi, например. Там язык программирования Pascal, а тут какой?

Вообще, я удивлен Вашим ответом. Он не несет пользы. Вот если бы Вы указали, что мьютекс можно реализовать с помощью WinAPI так-то и так-то - это было бы, возможно, кому-то полезно.
корум; dddxddd; +2 Ответить 2
27. Олег Филиппов (comol) 2689 31.07.15 16:04 Сейчас в теме
(25) cool.vlad4,

1 и 2 Ладно, не уровня ОС, но не в языке программирования же???
4 интересный вопрос чем ЯП отличается от Framework... по-моему 1С это Framework
28. Sergey Andreev (starik-2005) 852 31.07.15 16:17 Сейчас в теме
(27) comol, фрэймворк - это Эклипс. надеюсь, что осталось уже не долго до того светлого дня, когда 1С туда переедет. Как будет называться язык?
29. Ийон Тихий (cool.vlad4) 41 31.07.15 16:24 Сейчас в теме
(27) comol, 4. не, интересный вопрос, библиотека vs фрэймворк , либо язык общего назначения vs язык специального назначения (dsl) . 1С это язык тем не менее общего назначения (хотя в нем есть элементы dsl , например язык запросов это dsl) + вшитый наглухо фрэймворк от производителя. фрэймворк это библиотека с некоторыми правилами и экосистемой, без которой ничего сделать не получится в рамках этой библотеки. (т.е. имхо фрэймворк это некоторая спецификация библиотек или систем библиотек, влияющая на архитектуру, на стиль кодирования и т.п.)
30. Sergey Andreev (starik-2005) 852 31.07.15 16:26 Сейчас в теме
(27) comol, а по поводу многопоточности и системы, то, поверьте, в DOS вполне можно было реализовать многопоточность, переключаемую прерыванием таймера. RTOS (http://easyelectronics.ru/tag/rtos), выполняясь на одноядерном микропроцессоре, тоже позволяет использовать несколько потоков. А можно и без RTOS обойтись - запрограммировать тот же микроконтроллер иначе, получив тот же функционал.

Таким образом получается вывод следующий: там, где ОС не предусматривает многопточность, ее все-равно можно реализовать.
31. Олег Филиппов (comol) 2689 31.07.15 16:27 Сейчас в теме
(26) starik-2005, Оу оу...

Вы бы не меня учили а сами хоть научились...
1) Речь о том что мьютекс не сущность языка программирования, как вы там написали...

"Танцы с бубном вокрог API" пишутся в 3 строчки кода:


Wrap = CreateObject("DynamicWrapperX");
Wrap.Register("KERNEL32.DLL", "CreateMutex", "i=pls", "r=l");
hMutex = Wrap.CreateMutex(0, 0, "MyMutex");


естественно с использованием ВК, к примеру отсюда: http://infostart.ru/public/267819/
Я думаю это не тема статьи или ещё чего-либо

2) только все говорят "многопоточность", ну кроме тех кто впервые этот термин использует


Вцелом низачет конечно... причём не в переносном смысле а скорее по школьной институтской программе...


32. Sergey Andreev (starik-2005) 852 31.07.15 16:34 Сейчас в теме
(31) comol, а я в институтах не учился - академиком родился )))
Но это не отменяет того, что русский язык Вы знаете хорошо, а латынью не владеете. Но тут, конечно, уже институтской программы маловато будет. особенно в современном ее виде.

Если говорить о сущностях, то и файл не является сущностью языка, и поток, и многопоточность - это частные случаи реализации механизмов хранения и обработки данных.

Если говорить об API, то Ваш функционал, полагаю, будет неплохо работать в среде Windows, а мой функционал в принципе кросспатформенный, и позволяет реализовать нужное мне поведение системы.

В заключение: если Вы претендуете на исключительное владение темой, то напишите статью - кто ж Вам мешает? Но из того, что Вы тут понаписали, толку чуть меньше, чем нисколько...
33. Олег Филиппов (comol) 2689 31.07.15 17:26 Сейчас в теме
(29) cool.vlad4, (28) starik-2005, Ну вообще 1С сама себя считает фреймворком: http://v8.1c.ru/eng/the-platform/in-generalarchitecture.htm я тоже придерживаюсь этого мнения... а эклипс я всю жизнь думал что это IDE...
34. Олег Филиппов (comol) 2689 31.07.15 17:27 Сейчас в теме
(30) starik-2005, даже не спорю... даже где нет ОС её можно организовать ;)
35. Олег Филиппов (comol) 2689 31.07.15 17:28 Сейчас в теме
(32) starik-2005, Ну разобрались это уже хорошо. Значит не совсем всё бес толку что я написал... :)
36. Ийон Тихий (cool.vlad4) 41 31.07.15 18:48 Сейчас в теме
(33) comol, в смысле? не увидел противоречий. я же выше написал, что 1с это язык + фрэймворк. по твоей ссылке нигде не написано, что это не так. а фраза 1C Virtual Machine какбэ еще и намекает.(просто фрэймворком 1С был бы , если предназначался для другого языка. просто фрэймоврк в вакууме без языка, такого не бывает, comol ))) )
37. Ийон Тихий (cool.vlad4) 41 31.07.15 18:55 Сейчас в теме
(33) comol, возможно он имеет ввиду eclipse rich client platform . как бы с eclipse тоже не все так просто)
38. Ийон Тихий (cool.vlad4) 41 31.07.15 18:59 Сейчас в теме
(33) comol, силился вспомнить, что из rcp образного использовал. например rssowl (страшно глючный кстати) сделан на eclipse rcp
39. Sergey Andreev (starik-2005) 852 01.08.15 12:29 Сейчас в теме
А кто-нибудь скажет мне, чем фреймворк отличается от IDE, и что из этого ближе к 1С? ))) Да, определения погуглите предварительно.
40. Евгений Ванжула (minimajack) 32 02.08.15 12:28 Сейчас в теме
(39) starik-2005, фреймворк - код( возможно библиотеки)
IDE - инфраструктура для редактирования и сборки кода...
утрированно:
с IDE - работает только программист
с фреймворком - работают пользователи (неявно используют)

1С - запускается в разных режимах. В режиме разработчика - IDE. В режиме предприятия - фреймворк.
41. Sergey Andreev (starik-2005) 852 02.08.15 14:59 Сейчас в теме
(40) minimajack, ну почти правильно. IDE - это, если перевести, интегрированная среда разработки. В принципе, конфигуратор - это IDE. Фреймворк - это совокупность библиотек, каркас решения. К фреймворкам, например, относится QT, .NET. В 1С к фреймворкам можно отнести непосредственно решения, например, ERP. Ведь программист на базе решения зачастую что-то свое вносит. Так что, полагаю, кто-то реально путает понятия.
42. Яков Коган (Yashazz) 1977 04.08.15 15:36 Сейчас в теме
(24) comol, предложенное решение выгодно отличается тем, что это не всякие сомнительные ВК, которые ещё регистрировать везде надо, а нормальный штатный код 1С. По сути мьютекс сделан.

А каким другим способом решается задача, если не секрет?
43. Sergey Andreev (starik-2005) 852 10.08.15 22:29 Сейчас в теме
(42) Yashazz, ИМХО, некто под ником "comol" поспешил с выводом о том, что задача решается другим способом. Увы и ах...
45. Sergey Andreev (starik-2005) 852 11.08.15 19:49 Сейчас в теме
(44). И что тут такого? В онлайн сервисах у нас десятки тысяч пользователей - и все работает.
46. Сергей Д (dddxddd) 22.03.16 09:35 Сейчас в теме
(26) starik-2005, Вашу фразу - "Ваш комментарий не полезен, но интересен" сделала мне сегодня утро. Теперь я тоже буду толерантным :-)))
DO_WHILE_LOOP; +1 Ответить
47. Игорь <...> (I_G_O_R) 38 14.08.16 20:02 Сейчас в теме
А я использую метод ЗаблокироватьДанныеДляРедактирования(), можно в качестве ключа передавать ключ регистра сведений, у которого измерение (например строковое) будет заполнено нужным значением, транзакция для такой блокировки не требуется.
48. Максим Хлыстов (max1c) 07.12.16 16:06 Сейчас в теме
Добрый день!
В вашей статье описан, по моему мнению, спинлок. Мьютекс - это если ваш код в момент запроса ресурса "засыпает", и просыпается когда ресурс становиться доступен, или обнаружена ошибка (блокировка, или долгое ожидание).
По поводу реализации синхронизации данных в нескольких потоках выполнения. Это может делать ОС, а может интерпретатор. Главное, иметь возможность управлять потоками выполнения. Например, посмотрите как реализованы примитивы синхронизации в Java.
49. Sergey Andreev (starik-2005) 852 07.12.16 17:28 Сейчас в теме
(48) в 1С ничего для блокировки нет, кроме блокировок каких-то элементов в самой СУБД или блокировок файла. Фактически мьютекс описан так:
--------
Задача мьютекса — защита объекта от доступа к нему других потоков, отличных от того, который завладел мьютексом. В каждый конкретный момент только один поток может владеть объектом, защищённым мьютексом. Если другому потоку будет нужен доступ к переменной, защищённой мьютексом, то этот поток блокируется до тех пор, пока мьютекс не будет освобождён.

Цель использования мьютексов — защита данных от повреждения в результате асинхронных изменений (состояние гонки), однако могут порождаться другие проблемы — например взаимная блокировка (клинч).
----------

Про засыпание других потоков ничего не сказано. Фактически второй поток, пытающийся обратиться к заблокированным данным, получает отказ, но операционная система не обязана усыпить поток до освобождения данных, ибо поток в это время может обрабатывать что-то другое, что не заблокировано. Для блокировки участка кода данный подход через файловую блокировку вполне оправдан.