gifts2017

Примеры повышения эффективности поддержки большого количества информационных баз

Опубликовал Сергей Лосников (Lars Ulrich) в раздел Программирование - Практика программирования

Как это часто бывает, автоматизируя различные виды учета, разработчики и сотрудники поддержки забывают/не хотят/не находят время (нужное подчеркнуть) для облегчения и автоматизации собственной деятельности. В данной статье на примерах предлагаются варианты подобной автоматизации при работе с большим количеством информационных баз. Для чего? Чтобы можно было спокойно попить кофе.

Пролог
Совершенно случайно получилось :) , что примеры, приведенные ниже основаны на инструментах и функционале, разработанных автором статьи. Можно воспринимать это как контекстную рекламу, а можно поверить (да будет макаронный монстр свидетелем), что статья написана исключительно в целях обзора и взаимопомощи, т.к., как показала практика, некоторые не подозревают или не задумывались о подобных возможностях.

Предмет
Зачастую специалисты поддержки в одном лице сочетают функции ПМ, архитектора, разработчика, технического писателя, администратора психолога, бухгалтера. Трудозатраты многократно возрастают, если количество обслуживаемых систем стремится к бесконечности. В таких случаях высвободить время для решения более приоритетных вопросов можно путем автоматизации некоторых рутинных задач. Вариантов таких задач как и форматов их автоматизации может быть много, но мы рассмотрим некоторые конкретные примеры. Описанные примеры автоматизации рутинной деятельности могут быть полезны как разработчикам, так и администраторам систем на базе платформы 1С.

В качестве инструмента для автоматизации используется конфигурация "Автоматизация администрирования информационных баз" (далее Админка), которая позволяет выполнять групповые операции над набором баз на платформе 1С:Предприятие 8.х, содержит реквизиты подключения и авторизации для запуска приложения или подключения через COM. Приведенные ниже примеры и описания рассматриваются именно в контексте использования подобного инструмента. Основная задача примеров - показать, что несколькими строками кода мы можем автоматизировать процессы поддержки систем.


В Админке нас интересуют возможность выполнения групповых операций над набором систем и произвольные программные обработчики, которые можно реализовать, и использовать для целей автоматизации деятельности сотрудников поддержки. Конечно же использовать можно любые другие свои/чужие инструменты - суть от этого не изменится.

Групповая обработка


Под обработчиком понимаем произвольный код на языке платформы, который может выполняться как в контексте подключения (обращение к метаданным выполняется через СОМ-объект), так и в контексте самой информационной базы (обращение к метаданным выполняется напрямую, как если бы мы делали это непосредственно в системе).

Обработчик

Исходим из того, что мы работаем с наборами систем. В каждом наборе - (для простоты описания) системы на идентичных конфигурациях.

Пример: Миграция данных
Предположим, стоит задача - занесенные в какой-то справочник данные необходимо разлить по набору систем. Задача может потребоваться как в рамках управления мастер-данными(MDM), так и просто при первичном заполнении или изменении данных.

Процесс реализации задачи не столько сложный, сколько рутинный, т.к. необходимо:
1. Зайти в эталонную базу.
2. Выгрузить эталонные данные через обработку универсального обмена между идентичными конфигурациями
3. Зайти в базу N
4. Загрузить эталонные данные через обработку универсального обмена между идентичными конфигурациями
5. Вернуться к пункту №3 если есть системы, в которые данные еще не загружены

Выполняя пункты 3-5 мы вынуждены сконцентрироваться на процессе "открыть кошелку, достать кошелек". При этом тратим время на открытие баз, авторизацию(если не доменная), открытие обработки универсального обмена, выбора файла загрузки, ожидания загрузки.

Как можно автоматизировать выполнение задачи?
Пункты 1 и 2, описанные выше, безусловно придется выполнить, чтобы один раз корректно выполнить выгрузку эталонных данных. Файл выгрузки сохраняем в заранее определенный каталог.
Админка или ее аналог содержит список систем со всеми необходимыми реквизитами подключения и авторизации, т.е. уже не тратится время на "ручную" авторизацию и подключение.


Один раз создаем для последующего многократного использования обработчик со следующей логикой: подключаемся к очередной системе; в этой системе выполняем запуск обработки универсального обмена; выполняем загрузку данных - выгруженный нами ранее файл с эталонными данными.
Код обработчика примерно следующего содержания (контекст внешнего подключения):

Результат = Ложь;

ПутьКВнешнейОбработке = "\\КаталогСОбработкой\ВыгрузкаЗагрузкаДанныхXML.epf";
ПутьКФайлуСДанными = "\\КаталогСДанными\ЭталонныеДанные.xml";

ВнешняяОбработка = ИнформационнаяБаза_ОбъектПодключения.ВнешниеОбработки.Создать(ПутьКВнешнейОбработке, Ложь);
ВнешняяОбработка.ИмяФайлаВыгрузки = ПутьКФайлуСДанными;
ВнешняяОбработка.ПриЗагрузкеИспользоватьРежимОбменаДанными = Истина;

ИнформационнаяБаза_ОбъектПодключения.НачатьТранзакцию();

Попытка

    ВнешняяОбработка.ВыполнитьЗагрузку(ВнешняяОбработка.ИмяФайлаВыгрузки);
    
    ИнформационнаяБаза_ОбъектПодключения.ЗафиксироватьТранзакцию();
    
    Результат = Истина;
    
Исключение
    
    Результат = Ложь;
    ИнформационнаяБаза_ОбъектПодключения.ОтменитьТранзакцию();
    ОписаниеОшибки = ОписаниеОшибки();
    
КонецПопытки;

В приведенном коде:
- значение ПутьКВнешнейОбработке - это расположение файла внешней обработке универсального обмена (реализация хранения обработки может быть и любая другая).
- значение ПутьКФайлуСДанными - это расположение файла выгрузки с данными.

Т.о. дальнейшая реализация задачи сводиться к выбору в Админке необходимого набора систем, указанию обработчика, корректировке значения ПутьКФайлуСДанными и собственно запуску загрузки ОДНОЙ кнопкой. В нескольких строчках кода мы автоматизировали пункты 3,4,5 из текущего примера.
Ну а пока выполняется загрузка - занимаемся другими делами или идем пить кофе. Профит!

Данный пример может быть использован не только для переноса пользовательских данных, но и служебных/технологических:
- распространение дополнительных внешних отчетов/обработок по системам;
- перенос настроек и учетных записей пользователей (описание ниже);

Пример: Заведение новых пользователей в системах
Предположим, стоит задача - создать учетную запись для нового сотрудника в наших +100500 системах.
В данном случае необходимо понимать, что для каких-то систем достаточно заведения учетной записи платформы, а для каких-то необходима настройка прав на уровне профилей и групп доступа. Для простоты рассмотрим вариант создания учетных записей на уровне платформы. Т.е. нам не нужно дополнительно настраивать права на уровне профилей и групп доступа.

Процесс реализации задачи (опять же) не столько сложный, сколько рутинный, т.к. необходимо:
1. Открыть конфигуратор базы N
2. Создать пользователя платформы - внести реквизиты авторизации и установить права доступа по ролям
3. Вернуться к пункту №1 если есть системы, в которых еще заведена учетная запись

Как можно автоматизировать выполнение задачи?
На самом деле пункт №2 решается еще и простым Copy/Paste между конфигураторами, но ведь все равно нужно потратить время на открытие всех соответствующих систем, и выполнить ручные манипуляции.
Админка или ее аналог содержит список систем со всеми необходимыми реквизитами подключения и авторизации, т.е. уже не тратится время на "ручную" авторизацию и подключение.

Один раз создаем для многократного использования функционал или обработчик со следующей логикой: подключаемся к очередной системе; создаем пользователя с нужным именем и реквизитами авторизации; добавляем ему необходимые роли.
В Админке для этих целей реализован специальный функционал по созданию/модификации/удалению пользователей, а так же установке прав доступа на уровне ролей. Так же для этих целей может быть реализован и программный обработчик.

Выбор списка баз

Указание реквизитов

Установка прав по ролям

Т.о. дальнейшая реализация задачи сводиться к выбору в Админке необходимого набора систем, ОДНОКРАТНОМУ указанию имени, реквизитов авторизации, ролей и собственно запуску обработки ОДНОЙ кнопкой. Приведенный функционал полностью автоматизирует  пункты 1, 2, 3 из текущего примера.
Как обычно, пока выполняется обработка - занимаемся другими делами или идем пить кофе. Профит!

Дополним нашу схему автоматизации по данному примеру: т.к. для "современных" конфигураций широко используется распределение прав на уровне профилей/групп доступа/групп пользователей, то после создания учетной записи на уровне платформы необходимо создать еще и запись в справочнике "Пользователи".
Один раз создаем для многократного использования обработчик со следующей логикой: подключиться к очередной системе; выполнить перебор учетных записей платформы, и для каждой учетной записи проверить наличие записи в справочнике "Пользователи"; в случае отсутствия такой записи - создаем ее.
Код обработчика примерно следующего содержания (тестировалось на БП 3.0):

Результат = Ложь;
ОбрабатываемыйПользователь = "";
Попытка
    ОбъектПодключенияСправочникиПользователи = ИнформационнаяБаза_ОбъектПодключения.Справочники.Пользователи;
    ПользователиИБ = ИнформационнаяБаза_ОбъектПодключения.ПользователиИнформационнойБазы;    
    МассивПользователей = ПользователиИБ.ПолучитьПользователей();        
    Для Каждого ТекущийПользовательИБ Из МассивПользователей Цикл
    
        ОбрабатываемыйПользователь = ТекущийПользовательИБ.Имя;        
        
        ПользовательОбъект = ОбъектПодключенияСправочникиПользователи.НайтиПоРеквизиту("ИдентификаторПользователяИБ", ТекущийПользовательИБ.УникальныйИдентификатор);
        
        Если ПользовательОбъект = ОбъектПодключенияСправочникиПользователи.ПустаяСсылка() ИЛИ ПользовательОбъект = Неопределено Тогда
            ПользовательОбъект = ОбъектПодключенияСправочникиПользователи.НайтиПоНаименованию(ТекущийПользовательИБ.ПолноеИмя);
        КонецЕсли;
        
        Если ПользовательОбъект = ОбъектПодключенияСправочникиПользователи.ПустаяСсылка() Тогда
        
            ОписаниеПользователяИБ = ИнформационнаяБаза_ОбъектПодключения.Пользователи.НовоеОписаниеПользователяИБ();    
            ОписаниеПользователяИБ.Вставить("Действие", "Записать");
            ОписаниеПользователяИБ.Вставить("ВходВПрограммуРазрешен", (ТекущийПользовательИБ.АутентификацияOpenID ИЛИ ТекущийПользовательИБ.АутентификацияОС ИЛИ ТекущийПользовательИБ.АутентификацияСтандартная));
            ИнформационнаяБаза_ОбъектПодключения.Пользователи.СкопироватьСвойстваПользователяИБ(ОписаниеПользователяИБ, ТекущийПользовательИБ);
            
            ПользовательОбъект = ОбъектПодключенияСправочникиПользователи.СоздатьЭлемент();
            ПользовательОбъект.Наименование = ТекущийПользовательИБ.ПолноеИмя;            
            
            ПользовательОбъект.ДополнительныеСвойства.Вставить("ОписаниеПользователяИБ", ОписаниеПользователяИБ);
            
            ПользовательОбъект.Записать();
            
        Иначе 
        
            ПользовательОбъект = ПользовательОбъект.ПолучитьОбъект();
            ПользовательОбъект.Наименование = ТекущийПользовательИБ.ПолноеИмя;
            ПользовательОбъект.ИдентификаторПользователяИБ = ТекущийПользовательИБ.УникальныйИдентификатор;
            
            ОписаниеПользователяИБ = Неопределено;
            ПользовательОбъект.ДополнительныеСвойства.Свойство("ОписаниеПользователяИБ", ОписаниеПользователяИБ);
            Если ОписаниеПользователяИБ = Неопределено Тогда
                
                ОписаниеПользователяИБ = ИнформационнаяБаза_ОбъектПодключения.Пользователи.НовоеОписаниеПользователяИБ();    
                ОписаниеПользователяИБ.Вставить("Действие", "Записать");
                ОписаниеПользователяИБ.Вставить("ВходВПрограммуРазрешен", (ТекущийПользовательИБ.АутентификацияOpenID ИЛИ ТекущийПользовательИБ.АутентификацияОС ИЛИ ТекущийПользовательИБ.АутентификацияСтандартная));
                ИнформационнаяБаза_ОбъектПодключения.Пользователи.СкопироватьСвойстваПользователяИБ(ОписаниеПользователяИБ, ТекущийПользовательИБ);
                
                ПользовательОбъект.ДополнительныеСвойства.Вставить("ОписаниеПользователяИБ", ОписаниеПользователяИБ);
            
            Иначе    
            
                ИнформационнаяБаза_ОбъектПодключения.Пользователи.СкопироватьСвойстваПользователяИБ(ПользовательОбъект, ТекущийПользовательИБ);
                
            КонецЕсли;                        
            
            ПользовательОбъект.Записать();
            
        КонецЕсли;
                
    КонецЦикла;    
    Результат = Истина;
Исключение
    ОписаниеОшибки = "" + ОбрабатываемыйПользователь + ": " + ОписаниеОшибки();    
КонецПопытки;

Хотите распространить запись справочника "Пользователи" в рамках MDM по другим системам(для обеспечения идентичности GUID'а)? Добавьте в код обработчика создание записей с заданным GUID'ом или воспользуйтесь примером "Миграции данных", описанным выше (процесс выгрузки ведь тоже можно выполнять автоматически).

Пример: Выполнение произвольного кода
Под данный пример попадает большое количество задач, но можно привести несколько для более предметного обсуждения:
- установка параметров информационных баз (таймаут ожидания блокировки, время засыпания сеанса, время завершения сеанса);

Процесс реализации задачи (опять же) не столько сложный, сколько рутинный, т.к. необходимо:
1. Открыть конфигуратор базы N
2. Изменить параметры
3. Вернуться к пункту №1 если есть системы, в которых еще заведена учетная запись


Код обработчика примерно следующего содержания (контекст информационной базы):

Результат = Ложь;
УстановитьВремяОжиданияБлокировкиДанных(20);
УстановитьВремяЗасыпанияПассивногоСеанса(120);
УстановитьВремяЗавершенияСпящегоСеанса(60);
Результат = Истина;

- изменение расписания или внеплановый запуск регламентных заданий;

Процесс реализации задачи (опять же) не столько сложный, сколько рутинный, т.к. необходимо:
1. Зайти в базу N.
2. Открыть обработку управления регламентными заданиями
3. Изменить параметры расписания
4. Вернуться к пункту №1 если есть не обработанные системы


Код обработчика примерно следующего содержания (контекст информационной базы):

Попытка
    
    РЗОбъект = РегламентныеЗадания.НайтиПредопределенное(Метаданные.РегламентныеЗадания.ЗагрузкаКурсовВалют);    
    РЗОбъект.Расписание.ПериодПовтораДней = 1;
    РЗОбъект.Записать();
    
    Результат = Истина;
    
Исключение    
    Результат = Ложь;
    ОписаниеОшибки = ОписаниеОшибки();    
КонецПопытки;

- изменение данных (констант, справочников, документов);

Процесс реализации задачи (опять же) не столько сложный, сколько рутинный, т.к. необходимо:
1. Зайти в базу N.
2. Открыть объект для изменения
3. Изменить параметры объекта
4. Вернуться к пункту №1 если есть не обработанные системы

Код обработчика примерно следующего содержания (контекст информационной базы):

ВидРасчетаНаименование = "Дальневосточная надбавка";

ВидРасчетаОбъект = ПланыВидовРасчета.ОсновныеНачисленияОрганизаций.СевернаяНадбавка.ПолучитьОбъект();
ВидРасчетаОбъект.Наименование = ВидРасчетаНаименование;
ВидРасчетаОбъект.Записать();

Результат = Истина;

- и т.д.

Еще раз обратим внимание на то, что речь идет о том, что все перечисленные выше операции выполняются сразу в нескольких системах. А несколькими строчками программного кода мы автоматиируем рутинные действия по набору систем.

Реализация задач сводиться к выбору в Админке необходимого набора систем, выбору обработчика и запуску обработки ОДНОЙ кнопкой.
Мы все еще занимаемся другими делами, а кофе уже и не лезет. Профит!

Пример: Сбор данных по нескольким системам
Речь не идет о формировании консолидированной отчетности :).
Т.к. мы рассматриваем автоматизацию деятельности разработчиков и сотрудников поддержки, то могу привести вполне реальную задачу - получение информации о доступах пользователей по имеющимся системам в рамках аудита актуальности учетных записей.

Процесс реализации задачи вручную:
1. Открыть конфигуратор базы N
2. Вывести список пользователей в табличный документ
3. Скопировать данные в консолидирующий файл
4. Вернуться к пункту №1 если есть не обработанные системы

Один раз создаем для многократного использования обработчик со следующей логикой: подключиться к очередной системе; выполнить перебор учетных записей платформы; сохраним данные по учетным записям во внешнем консолидирующем файле.
Код обработчика примерно следующего содержания (контекст информационной базы)

Дописывать = Истина;
ВыводитьТолькоАвторизованных = Истина;
Разделитель = ";";
РазделительСтрок = Символы.ПС;
Кодировка = КодировкаТекста.Системная;
ИмяФайла = "\\КаталогСохранения\users.csv";

СтрокаПодключения = СтрокаСоединенияИнформационнойБазы();    
ФайлCSV = Новый ТекстовыйДокумент;

ТекущийФайл = Новый Файл(ИмяФайла);
Если Дописывать И ТекущийФайл.Существует() Тогда 
    ФайлCSV.Прочитать(ИмяФайла, Кодировка, РазделительСтрок);
КонецЕсли;

МассивПользователей = ПользователиИнформационнойБазы.ПолучитьПользователей();
Для Каждого ТекущийЭлементМассивПользователей Из МассивПользователей Цикл
    Если ВыводитьТолькоАвторизованных И НЕ (ТекущийЭлементМассивПользователей.АутентификацияОС ИЛИ ТекущийЭлементМассивПользователей.АутентификацияСтандартная) Тогда Продолжить; КонецЕсли;
    ФайлCSV.ДобавитьСтроку("" + ТекущийЭлементМассивПользователей.Имя + Разделитель + СтрокаПодключения);        
КонецЦикла;

ФайлCSV.Записать(ИмяФайла, Кодировка, РазделительСтрок);

Результат = Истина;

Т.о. дальнейшая реализация задачи сводиться к выбору в Админке необходимого набора систем, указанию обработчика и собственно запуску обработки ОДНОЙ кнопкой. Приведенный функционал полностью автоматизирует  все пункты 1, 2, 3, 4 из текущего примера.

Кто хочет кофе?

Эпилог
В статье намеренно не приведена временная оценка преимуществ автоматизации, потому что для разного набора систем и инфраструктуры такая оценка может быть разной. Каждый сам может оценить объем выполняемой рутинной работы. Так же очевидно, что в ряде случаев разовые задачи проще сделать руками. Но если прослеживается периодичность выполнения таких задач, то необходимо хотя бы задуматься о возможности автоматизации процесса их реализации.

Немного удивляют коллеги, которые не готовы потратить лишниее время сегодня на подготовку для себя подобных инструментов, чтобы получить дополнительное свободное время завтра. А бывает и так, что занимаясь автоматизацией деятельности других, коллеги испытывают опасения и даже недоверие к средствам автоматизации собственной деятельности.

Лень - двигатель прогресса!

См. также

Подписаться Добавить вознаграждение
Комментарии
1. Ruslan (rus128) 28.09.16 11:30
Отчаянно плюсую!
Отдельный плюс - за чувство юмора и кофе :-)
2. Алексей Лянг (user595600_asoft) 30.09.16 11:16
А бывает и так, что занимаясь автоматизацией деятельности других, коллеги испытывают опасения и даже недоверие к средствам автоматизации собственной деятельности.

Точно подмечено...
Патриот; +1 Ответить