gifts2017

Мультипоточность в клиент-серверном варианте 1С, мьютексы

Опубликовал Sergey Andreev (starik-2005) в раздел Программирование - Практика программирования

Как сделать так, чтобы два (пять, сто, миллион) процесса(ов) не делали одно и тоже одновременно, а ждали друг друга тогда, когда мы этого хотим...

Продолжение цикла статей о многопоточных вычислениях в 1С

Статья продолжает данную статью.

...Но теперь, когда на многоядерных процессорах начали работать обычные приложения, параллельное программирование быстро становится технологией, которую должен освоить и уметь применять любой профессиональный разработчик ПО.

Intel software...

Как это все работает?

 

Итак, многопоточность в клиент-серверной архитектуре 1С работает через запуск фоновых заданий с данными для обработки. Если вы хотите обработать множество данных (например, исправить проводки в куче документов или заполнить какой-нибудь реквизит документа, справочника, ...), которые не требуют соблюдения определенной последовательности, то многопоточность может значительно ускорить выполнение.

Но существуют задачи, которые, выполняясь в несколько потоков, требуют, чтобы определенные операции никогда не выполнялись одновременно несколькими потоками. Примером тому может служить, например, инициализация нативной внешней компоненты печати штрих-кодов на сервере 1С. 1С 8.3.5.хххх при одновременном выполнении кода подключения данной компоненты отваливается rphost, на котором выполняется задание. 1С 8.2.19.102 (если мне не изменяет память) rphost не рубит, но штрих-код  при этом не генерируется - выходит пустой квадратик.

Для того, чтобы "заблокировать" определенный участок кода для монопольного выполнения, в правильных языках программирования, поддерживающих мультипоточность, и существуют мьютексы. В принципе, мьютекс - это некоторый объект, который блокируется первым процессом, пожелавшим этого. Остальные процессы валятся в "exception", т.е. в исключение.

 

Реализация мьютекса в 1С

Реализовать мьютекс можно разными способами. Например, обычной блокировкой. Но что блокировать при создании внешней компоненты? В программах часто для блокировки используется файл. Я использую объект ЗаписьТекста - таким образом можно создавать именованные блокировки, не тратя ресурсов системы и не блокируя ничего на сервере приложений 1С - он и так периодически на блокировках подглючивает.

Реализуем функцию установки блокировки и подумаем о том, как ее снять.

Давайте создадим функцию, создающую именованную блокировку и возвращающую результат. Для этого определим, какие действия должна совершить программа.

Математическая модель установки именованной блокировки:

1. Создадим объект ЗаписьТекста с именем файла во временном каталоге.

2. Если удалось создать - возвращаем истину, если не удалось - ложь.

3. В параметре функции таже будем возвращать объект "ЗаписьТекста", чтобы было что разблокировать.


Функция СоздатьБлокировку(ИмяБлокировки, файлБлокировки)

  Попытка
    файлБлокировки = Новый ЗаписьТекста(КаталогВременныхФайлов() + ИмяБлокировки);
    Возврат Истина;
  Исключение
    Возврат Ложь
  КонецПопытки;

КонецФункции

 

Тут мы создаем запись текста с именем файла блокировки. Если блокировка уже установлена - файл открыт на запись - мы попадем в исключение и возвращаем "ЛОЖЬ". Таким образом можно оградить определенный код от одновременного выполнения.

 

Функция ПодключитьВнешнююКомпонентуПечатиШтрихкода() Экспорт

  файлБлокировки = Неопределено;
  Пока НЕ СоздатьБлокировку("ПечатьШтрихКода", файлБлокировки) Цикл

    // пустой цикл

  КонецЦикла;

  ПодключениеВыполнено = ПодключитьВнешнююКомпоненту("ОбщийМакет.КомпонентаПечатиШтрихкодов", "КартинкаШтрихкода", ТипВнешнейКомпоненты.Native);

  // убираем блокировку

  файлБлокировки.Закрыть();

  ...

  ...

КонецФункции

 

 

Заключение

Данный пример блокировки может помочь в реализации самого широкого спектра задач, в которых можно использовать многопоточность и для которых нужны фрагменты кода, выполняющегося монопольно.

См. также

Подписаться Добавить вознаграждение
Комментарии
1. Сергей Старых (tormozit) 30.07.15 01:34
Файл в таком случае нужно располагать на сетевом ресурсе, доступном со всех рабочих серверов. Либо нужно при начале сеанса проверять, что количество рабочих серверов кластера = 1, иначе выбрасывать исключение.

Еще кажется очень неплохим дополнением было бы указать, как экономичнее всего ждать на мьютексте.
kote; Dach; +2 Ответить 2
2. Ivan Khorkov (vano-ekt) 30.07.15 07:59
а .ОжидатьЗавершения() у ФЗ не то же самое делает?
3. Sergey Andreev (starik-2005) 30.07.15 09:17
(1) tormozit, каталог временных файлов доя rphosrов одного сервера обычно один. Если же рабочие процессы разнесены по разным серверам, то в случае подключения ВК на другом сервере rphost умереть не должен - это ведь другая система.
4. Sergey Andreev (starik-2005) 30.07.15 09:18
(2) vano-ekt, Вы просто не поняли, о чем речь. Это поправимо.
5. Алексей 1 (AlX0id) 30.07.15 10:26
мм.. а если этот рпхост упадет после установки блокировки - она упадет или останется установленной?
6. Сергей Старых (tormozit) 30.07.15 10:39
(3) starik-2005, статья же не про мьютекс создания внешней компоненты, а в общем про мьютекс. Или я не понял статью?
7. Sergey Andreev (starik-2005) 30.07.15 10:47
(5) AlX0id, здесь блокировка создается за счет "захвата" текстового файлового потока. Пока он не закрыт - блокировка сохраняется. При том файлами управляет ОС. Если процесс ОС умирает, то ОС освобождает файл. Вот если rphost зависнет - вот тут блокировка сохранится.

У нас статистика накоплена, т.к. я после неудачной попытки установить блокировку пишу сообщение в журнал регистрации. Так вот на 20 тысяч печатных форм, формирующихся и пишущихся в PDF-файл на шары CUPS-серверов, неудачных блокировок где-то в районе двух десятков - меньше 0,1%. Случаев сбоя работы файловых блокировок я не наблюдал ни разу за примерно полгода использования. А вот случаи смерти rphosta без этих блокировок наблюдал ежедневно на протяжении еще полугода, пока механизм блокировок не был реализован.
8. Sergey Andreev (starik-2005) 30.07.15 10:50
(6) tormozit, статья про мьютекс, но в качестве примера приведен именно механизм монопольного выполнения участка кода при многопоточном выполнении операций (что, собственно, и делает сервер 1С).
9. Sergey Andreev (starik-2005) 30.07.15 10:56
http://adit.io/posts/2013-05-15-Locks,-Actors,-And-STM-In-Pictures.html - про параллельное программирование вообще, если кто буржуйский знает. Может переведу потом, но для этого сайта слишком хорошая работа )))
10. Сергей Старых (tormozit) 30.07.15 11:13
(8) starik-2005, в общем достаточно признать, что я сделал справедливое замечание =)
11. Ийон Тихий (cool.vlad4) 30.07.15 13:04
(8) starik-2005, все таки я не понял ответов на вопросы заданные tormozit 1) что будет если код не дойдет до строки файлБлокировки.Закрыть(); (точнее понятно . что ничего хорошего) 2) есть ли варианты снизить нагрузку Пока НЕ СоздатьБлокировку("ПечатьШтрихКода", файлБлокировки) Цикл , поскольку это однозначно нагружает CPU. хотя я понимаю, что оба вопросы скорее вопросы к несовершенству возможностей 1С. (1) tormozit,
Файл в таком случае нужно располагать на сетевом ресурсе
при таком подходе имхо безопаснее все же сделать через БД , либо через какую-нибудь таблицу флагов прямо в БД, либо используя возможности , предоставляемые БД.
12. Никита Грызлов (nixel) 30.07.15 13:47
(11) cool.vlad4, пустой цикл однозначно гнать не стоит. при большом количестве потоков и более-менее длительном коде внутри блокировки получим печку вместо проца.
хорошо бы использовать что-то, что альтернативно нагружает проц... хотя бы тот же КомандаСистемы("ping localhost")
13. Пикалев Николай (dabu-dabu) 30.07.15 13:49
(11) cool.vlad4, (12) nixel,
ответ на певый вопрос см в (7)
а ответ на 2) гонять цикл это конечно бред. Достаточно использовать обработчик ожидания
kote; zzz14; cool.vlad4; +3 Ответить 3
14. Ийон Тихий (cool.vlad4) 30.07.15 13:54
(13) dabu-dabu, да, не увидел. в последнее время читаю между строк, все время тороплюсь)
15. Антонио (Fragster) 30.07.15 14:13
В многопоточном замере производительности http://infostart.ru/public/173394/ в качестве мьютекса используется управляемая блокировка на константу. Сначала на константу вешается исключительная блокировка, потоки выполнения пытаются повесить разделяемую блокировку и ждут, пока "управляющий" поток снимет исключительную блокировку. Конечно, у этолго способа куча ограничений, но использовать его можно.

В составе теста есть обработка "проверка синхронизации", которая показывает, за какое время (от момента снятия исключительной блокировки) фоновые задания принимают сигнал о её снятии.
16. Сергей Старых (tormozit) 30.07.15 15:51
(11),(15) Управляемая транзакционная блокировка может удерживаться естественно только в рамках транзакции. А долгие транзакции не есть хорошо. Поэтому блокировка файла выглядит более корректным способом.
17. Антонио (Fragster) 30.07.15 16:00
(16) tormozit, Я не говорю, что этот способ идеальный. Как раз его ограничение в том, что снимается блокировка именно по окончанию транзакции. Это влечет принципиальную невозможность использования такого способа если сами "многопоточные потоки" или их родители выполняются в транзакции.
А сами по себе долгие транзакции (если в них блокируется только ресурс-мьютекс) почти никаких доп. нагрузок не вносят.

Ну и время ожидания блокировки надо подбирать соответствующее и хотя бы временно его выставлять (как делается в тесте).
18. Сергей Старых (tormozit) 30.07.15 16:30
(17)
А сами по себе долгие транзакции (если в них блокируется только ресурс-мьютекс) почти никаких доп. нагрузок не вносят
Ну не совсем так. Они удерживают соединения с СУБД. Если их будет много и долго, то будет нехорошо. Признаюсь, я сам не вполне понимаю, в чем заключается это "нехорошо", но так меня учили =)
19. Sergey Andreev (starik-2005) 30.07.15 19:14
(13) dabu-dabu, да, гонять цикл нехорошо, но какие есть альтернативы? Может быть когда-нибудь 1С сделает sleep, но пока я лично не знаю, как реализовать его на 1С. Есть вариант вызова пинга, но он секунду ждет - за секунду у меня пять форм печатных формируется и в файлы пишется (!)

Когда блокировка устанавливается на минимальное время, то сама попытка открытия файла на запись уже выполняется достаточное время, чтобы во второй-третьей итерации цикла дождаться снятия предыдущей блокировки. Все остальное время сервер тоже выполняет код. Но имейте ввиду, что тут не пустой цикл гоняется, в открывается текстовой поток на запись - это I/O, в механизме которого слипов, поверьте, достаточно, чтобы оставить ваш процессор чуть тепленьким.
20. Пикалев Николай (dabu-dabu) 30.07.15 19:25
(19) starik-2005, Есть замечательная функция ПодключитьОбработчикОжидания, о чем я и писал в (13)
21. Алексей 1 (AlX0id) 30.07.15 19:28
(7) starik-2005,
Сначала подумал, что останется висеть, потом так и решил, да - хотел убедиться )
22. Сергей Старых (tormozit) 30.07.15 21:14
(20) dabu-dabu, а эту замечательную функцию можно применить на сервере или во внешнем соединении?
23. Sergey Andreev (starik-2005) 30.07.15 21:19
(20) dabu-dabu, и как он работает на сервере?
24. Олег Филиппов (comol) 31.07.15 10:22
Очень был удивлён...
в правильных языках программирования, поддерживающих мультипоточность, и существуют мьютексы

1) Мьютекс это сущность внутри ОС Windows и никак не относится к языку программирования
2) Многопоточность конечно
3) Многопоточность это тоже в принципе относится к ОС, может к приложению но весьма отдалённо к языку программирования
4) Ну и 1С - это не язык программирования...

Ну и конечно запись текста вместо мьютекса можно вообще оставить без комментариев. Нужен мьютекс - используйте мьютекс.
Если лениво свою ВК писать воспользуйтесь: http://infostart.ru/public/76974/ или http://infostart.ru/public/18636/

Хотя приведённая задача решается совсем другим способом.
25. Ийон Тихий (cool.vlad4) 31.07.15 12:49
(24) comol,
1) в узком смысле, да. в широком смысле это один из паттернов синхронизации. т.о. относится не только к ОС.
3) потоки бывают не только уровня ОС. см https://ru.wikipedia.org/wiki/Green_threads . хотя согласен, что к 1С это малоприменимо.
4) язык программирования, Тьюринг полный. на нем гипотетически и ВМ можно написать. просто оно никому не надо...(уточню, что гипотетически))) )
26. Sergey Andreev (starik-2005) 31.07.15 13:18
(24) comol, Ваш комментарий не полезен, но интересен:
1) "Мью́текс (англ. mutex, от mutual exclusion — «взаимное исключение») — аналог одноместного семафора, служащий в программировании для синхронизации одновременно выполняющихся потоков." (с) Словарь.
Отсюда мораль: не знаете - не говорите. То, что мьютекс реализован в API системы, никак не меняет дело. Поэтому реализация принципа мьютекса без танцев с бубном вокруг WinAPI не является моветоном - это лишь одна из реализаций принципа.
2) "Много" и "Мульти" - это синонимы. "лат. multi-, от multus многий, многочисленный) - составная часть сложных слов, означающая..." (с) Словарь. Учитесь пользоваться словарем, чтобы распознать тезаурус сообщения, если не знаете слов.
3) Тоже весьма спорный тезис, но в общем и целом условно верный. Различие лишь в том, что для одних языков существуют библиотеки с реализацией данного механизма, а для других - нет. В 1С реализация есть, но про блокировки как-то забыли, иначе не пришлось бы критический код подключения внешней компоненты блокировать, чтобы rphost не умер. Или Вы считаете, что в сказку попали?
4) 1С - это среда, как и Delphi, например. Там язык программирования Pascal, а тут какой?

Вообще, я удивлен Вашим ответом. Он не несет пользы. Вот если бы Вы указали, что мьютекс можно реализовать с помощью WinAPI так-то и так-то - это было бы, возможно, кому-то полезно.
корум; dddxddd; +2 Ответить 2
27. Олег Филиппов (comol) 31.07.15 16:04
(25) cool.vlad4,

1 и 2 Ладно, не уровня ОС, но не в языке программирования же???
4 интересный вопрос чем ЯП отличается от Framework... по-моему 1С это Framework
28. Sergey Andreev (starik-2005) 31.07.15 16:17
(27) comol, фрэймворк - это Эклипс. надеюсь, что осталось уже не долго до того светлого дня, когда 1С туда переедет. Как будет называться язык?
29. Ийон Тихий (cool.vlad4) 31.07.15 16:24
(27) comol, 4. не, интересный вопрос, библиотека vs фрэймворк , либо язык общего назначения vs язык специального назначения (dsl) . 1С это язык тем не менее общего назначения (хотя в нем есть элементы dsl , например язык запросов это dsl) + вшитый наглухо фрэймворк от производителя. фрэймворк это библиотека с некоторыми правилами и экосистемой, без которой ничего сделать не получится в рамках этой библотеки. (т.е. имхо фрэймворк это некоторая спецификация библиотек или систем библиотек, влияющая на архитектуру, на стиль кодирования и т.п.)
30. Sergey Andreev (starik-2005) 31.07.15 16:26
(27) comol, а по поводу многопоточности и системы, то, поверьте, в DOS вполне можно было реализовать многопоточность, переключаемую прерыванием таймера. RTOS (http://easyelectronics.ru/tag/rtos), выполняясь на одноядерном микропроцессоре, тоже позволяет использовать несколько потоков. А можно и без RTOS обойтись - запрограммировать тот же микроконтроллер иначе, получив тот же функционал.

Таким образом получается вывод следующий: там, где ОС не предусматривает многопточность, ее все-равно можно реализовать.
31. Олег Филиппов (comol) 31.07.15 16:27
(26) starik-2005, Оу оу...

Вы бы не меня учили а сами хоть научились...
1) Речь о том что мьютекс не сущность языка программирования, как вы там написали...

"Танцы с бубном вокрог API" пишутся в 3 строчки кода:


Wrap = CreateObject("DynamicWrapperX");
Wrap.Register("KERNEL32.DLL", "CreateMutex", "i=pls", "r=l");
hMutex = Wrap.CreateMutex(0, 0, "MyMutex");


естественно с использованием ВК, к примеру отсюда: http://infostart.ru/public/267819/
Я думаю это не тема статьи или ещё чего-либо

2) только все говорят "многопоточность", ну кроме тех кто впервые этот термин использует


Вцелом низачет конечно... причём не в переносном смысле а скорее по школьной институтской программе...


32. Sergey Andreev (starik-2005) 31.07.15 16:34
(31) comol, а я в институтах не учился - академиком родился )))
Но это не отменяет того, что русский язык Вы знаете хорошо, а латынью не владеете. Но тут, конечно, уже институтской программы маловато будет. особенно в современном ее виде.

Если говорить о сущностях, то и файл не является сущностью языка, и поток, и многопоточность - это частные случаи реализации механизмов хранения и обработки данных.

Если говорить об API, то Ваш функционал, полагаю, будет неплохо работать в среде Windows, а мой функционал в принципе кросспатформенный, и позволяет реализовать нужное мне поведение системы.

В заключение: если Вы претендуете на исключительное владение темой, то напишите статью - кто ж Вам мешает? Но из того, что Вы тут понаписали, толку чуть меньше, чем нисколько...
33. Олег Филиппов (comol) 31.07.15 17:26
(29) cool.vlad4, (28) starik-2005, Ну вообще 1С сама себя считает фреймворком: http://v8.1c.ru/eng/the-platform/in-generalarchitecture.htm я тоже придерживаюсь этого мнения... а эклипс я всю жизнь думал что это IDE...
34. Олег Филиппов (comol) 31.07.15 17:27
(30) starik-2005, даже не спорю... даже где нет ОС её можно организовать ;)
35. Олег Филиппов (comol) 31.07.15 17:28
(32) starik-2005, Ну разобрались это уже хорошо. Значит не совсем всё бес толку что я написал... :)
36. Ийон Тихий (cool.vlad4) 31.07.15 18:48
(33) comol, в смысле? не увидел противоречий. я же выше написал, что 1с это язык + фрэймворк. по твоей ссылке нигде не написано, что это не так. а фраза 1C Virtual Machine какбэ еще и намекает.(просто фрэймворком 1С был бы , если предназначался для другого языка. просто фрэймоврк в вакууме без языка, такого не бывает, comol ))) )
37. Ийон Тихий (cool.vlad4) 31.07.15 18:55
(33) comol, возможно он имеет ввиду eclipse rich client platform . как бы с eclipse тоже не все так просто)
38. Ийон Тихий (cool.vlad4) 31.07.15 18:59
(33) comol, силился вспомнить, что из rcp образного использовал. например rssowl (страшно глючный кстати) сделан на eclipse rcp
39. Sergey Andreev (starik-2005) 01.08.15 12:29
А кто-нибудь скажет мне, чем фреймворк отличается от IDE, и что из этого ближе к 1С? ))) Да, определения погуглите предварительно.
40. Евгений Ванжула (minimajack) 02.08.15 12:28
(39) starik-2005, фреймворк - код( возможно библиотеки)
IDE - инфраструктура для редактирования и сборки кода...
утрированно:
с IDE - работает только программист
с фреймворком - работают пользователи (неявно используют)

1С - запускается в разных режимах. В режиме разработчика - IDE. В режиме предприятия - фреймворк.
41. Sergey Andreev (starik-2005) 02.08.15 14:59
(40) minimajack, ну почти правильно. IDE - это, если перевести, интегрированная среда разработки. В принципе, конфигуратор - это IDE. Фреймворк - это совокупность библиотек, каркас решения. К фреймворкам, например, относится QT, .NET. В 1С к фреймворкам можно отнести непосредственно решения, например, ERP. Ведь программист на базе решения зачастую что-то свое вносит. Так что, полагаю, кто-то реально путает понятия.
42. Яков Коган (Yashazz) 04.08.15 15:36
(24) comol, предложенное решение выгодно отличается тем, что это не всякие сомнительные ВК, которые ещё регистрировать везде надо, а нормальный штатный код 1С. По сути мьютекс сделан.

А каким другим способом решается задача, если не секрет?
43. Sergey Andreev (starik-2005) 10.08.15 22:29
(42) Yashazz, ИМХО, некто под ником "comol" поспешил с выводом о том, что задача решается другим способом. Увы и ах...
45. Sergey Andreev (starik-2005) 11.08.15 19:49
(44). И что тут такого? В онлайн сервисах у нас десятки тысяч пользователей - и все работает.
46. Сергей Д (dddxddd) 22.03.16 09:35
(26) starik-2005, Вашу фразу - "Ваш комментарий не полезен, но интересен" сделала мне сегодня утро. Теперь я тоже буду толерантным :-)))
DO_WHILE_LOOP; +1 Ответить
47. Игорь <...> (I_G_O_R) 14.08.16 20:02
А я использую метод ЗаблокироватьДанныеДляРедактирования(), можно в качестве ключа передавать ключ регистра сведений, у которого измерение (например строковое) будет заполнено нужным значением, транзакция для такой блокировки не требуется.
48. Максим Хлыстов (max1c) 07.12.16 16:06
Добрый день!
В вашей статье описан, по моему мнению, спинлок. Мьютекс - это если ваш код в момент запроса ресурса "засыпает", и просыпается когда ресурс становиться доступен, или обнаружена ошибка (блокировка, или долгое ожидание).
По поводу реализации синхронизации данных в нескольких потоках выполнения. Это может делать ОС, а может интерпретатор. Главное, иметь возможность управлять потоками выполнения. Например, посмотрите как реализованы примитивы синхронизации в Java.
49. Sergey Andreev (starik-2005) 07.12.16 17:28
(48) в 1С ничего для блокировки нет, кроме блокировок каких-то элементов в самой СУБД или блокировок файла. Фактически мьютекс описан так:
--------
Задача мьютекса — защита объекта от доступа к нему других потоков, отличных от того, который завладел мьютексом. В каждый конкретный момент только один поток может владеть объектом, защищённым мьютексом. Если другому потоку будет нужен доступ к переменной, защищённой мьютексом, то этот поток блокируется до тех пор, пока мьютекс не будет освобождён.

Цель использования мьютексов — защита данных от повреждения в результате асинхронных изменений (состояние гонки), однако могут порождаться другие проблемы — например взаимная блокировка (клинч).
----------

Про засыпание других потоков ничего не сказано. Фактически второй поток, пытающийся обратиться к заблокированным данным, получает отказ, но операционная система не обязана усыпить поток до освобождения данных, ибо поток в это время может обрабатывать что-то другое, что не заблокировано. Для блокировки участка кода данный подход через файловую блокировку вполне оправдан.