Автоматизируй это!

02.07.18

База данных - Инструменты администратора БД

Здравствуйте. Меня зовут Виталий Онянов. Я работаю в компании ФТО. Мы занимаемся внедрением и поддержкой ERP-систем, в том числе и на 1С. Сегодня я хотел бы поделиться нашим опытом автоматизации своих задач и рассказать о том, какие регламентные задания мы настраиваем на серверах наших клиентов. Возможно, кому-то покажется, что это совсем простые и очевидные вещи, но я в своей работе периодически вижу разработчиков, которые делают какие-то задачи руками изо дня в день, и мне бы хотелось донести до них мысль о том, что многие из этих задач можно и нужно автоматизировать.

Тем, кому лень читать всю статью, предлагаю посмотреть запись вебинара на данную тему:

Данный материал является обобщением многих моих и не только моих статей. Ознакомиться со всеми источникам можно здесь.

Ну а всем остальным, добро пожаловать по кат (все картинки кликабельны):

 

****************

1. SQL-скрипты

Начать я хотел бы с SQL-скриптов и конкретно с операции резервного копирования баз данных.

1.1 Резервное копирование базы данных

Как делают резервную копию базы данных 95% разработчиков?

В общем случае, чтобы сделать резервную копию в MS SQL Server, нужно открыть Management Studio, найти необходимую базу в списке, кликнуть по ней правой кнопкой мыши, и выбрать «Задачи» – «Создать резервную копию».

В открывшемся мастере необходимо:

  • Поставить флажок «Только резервное копирование», чтобы исключить копию из основной последовательности бэкапов;
  • Очистить список назначения, нажав кнопку «Удалить»;

  • Нажать «Добавить» для сохранения копии по новому пути;
  • И ввести в качестве места назначения какой-то не всегда тривиальный путь, не забыв указать при этом расширение .bak;
  • Затем нажать «ОК» и дождаться завершения операции.

Однако эту процедуру очень легко автоматизировать. Достаточно нажать кнопку «Скрипт» и получить для этой операции готовый сгенерированный скрипт для бэкапирования с заполненными параметрами.

В этом скрипте у нас два изменяемых параметра:

  • Имя базы, которую мы хотим забэкапить;
  • И путь к резервной копии.

Немного доработав этот скрипт, мы можем получить более универсальный вариант – такой, как показано на слайде. Здесь в качестве изменяемых параметров задается:

  • Имя базы данных;
  • Каталог, где хранится резервная копия.

А в теле скрипта находится исходный Transact-SQL-код для выполнения операции бэкапирования. Обратите внимание, что результирующее имя резервной копии будет сгенерировано автоматически в соответствии с заданными параметрами:

  • Имени базы данных;
  • Каталога для хранения;
  • Датой бэкапа.

Также в этом скрипте мы, используя заданные настройки почтового профиля, отправляем электронное сообщение.

Теперь, когда нам нужна резервная копия, мы можем просто запустить этот скрипт и дождаться электронного сообщения.

Но искать скрипт на диске не очень удобно, если мы точно не знаем, где он лежит.

Поэтому можно создать задание агента, состоящее всего лишь из одного шага, который содержит весь этот скрипт с необходимыми параметрами.

И теперь, если вам нужно быстро сделать резервную копию, вы просто находите задание в списке, в контекстном меню выбираете пункт «Запустить задание на шаге» и дожидаетесь уведомления на почту.

 

1.2 Восстановление базы данных

Чуть сложнее обстоит дело с восстановлением данных. Как мы перезаливаем данные? Под словом «перезаливаем» я понимаю процесс, когда данные из рабочей базы нужно загрузить в какую-то тестовую или разработочную базу.

Здесь мы опять заходим в Management Studio, правой кнопкой щелкаем по нужной базе, выбираем пункты: «Задачи» – «Восстановить» – «База данных».

Откроется мастер. Здесь нужно выбрать:

  • Базу данных источника;
  • Базу данных назначения – выбираем нашу тестовую базу;
  • Проверить, что подобрался необходимый набор резервных данных для восстановления.

Потом мы переходим на вкладку «Файлы» и в качестве файлов для восстановления выбираем файлы тестовой базы, заменяя пути:

  • К файлу базы данных;
  • К файлу журнала транзакций.

Потом переходим на вкладку «Параметры».

  • Ставим галочку «Перезаписать существующую базу данных»;
  • Снимаем галочку «Создать резервную копию заключительного фрагмента журнала до восстановления».

Затем еще раз внимательно все проверяем, чтобы нигде ничего не забыть. Нажимаем «ОК» и ждем, когда будет восстановление базы данных. 

После того как база перезалилась, нам для экономии места нужно еще внести изменения в «Свойства базы данных»:

  • Перевести ее модель восстановления с «Полной» на «Простую» (мы же помним, что это – тестовая база, поэтому для нее не нужно хранить журналы транзакций, чтобы места лишнего не занимать).
  • Установить флаг «Автоматическое сжатие» в значение «True»;

  • Запустить процесс сжатия журнала транзакций.

В результате получается очень много ручных операций, в которых легко запутаться и потерять на них много времени. Хочется это все как-то автоматизировать.

Попробуем решить эту задачу с помощью запроса в консоли Management Studio.

Первое, что мы должны сделать – это получить необходимую последовательность резервных копий для восстановления на указанную дату.

Информация обо всех сделанных резервных копиях хранится в специальной базе данных msdb в системных таблицах dbo.backupmediafamily, dbo.backupset и т.д. Там среди прочего, можно найти информацию о физическом расположении файла резервной копии.

Поэтому нам ничего не стоит написать запрос, получающий все резервные копии на указанную дату.

Например, мы можем написать запрос, где:

  • Сначала идет получение полных резервных копий;
  • Потом всех разностных резервных копий;
  • А затем –  получение всех журналов транзакций до указанной даты.

Следующее, что необходимо сделать – это заменить файлы рабочей базы на файлы тестовой.

  • Из системного представления sys.master_files (или sys.databases) мы получаем информацию о логическом и физическом расположении файлов рабочей и тестовой баз данных;
  • Далее с помощью параметра MOVE оператора RESTORE заменяем пути, по которым будет производиться восстановление (путь к файлу рабочей базы меняем на путь к файлу тестовой базы);
  • Производим такую замену в цикле для всех найденных файлов восстанавливаемой базы;
  • Восстанавливаем резервную копию на выбранную дату в тестовую базу данных;

  • В этом же скрипте переводим базу данных в простую модель восстановления;
  • Запускаем сжатие базы данных.

  • И в заключение мы, в зависимости от результата работы скрипта, генерируем:
    • Либо сообщение об ошибке (если оно было);
    • Либо сообщение об успехе.

А потом это сообщение с помощью настроенного профиля отправляем по электронной почте тому, чьи параметры заданы в скрипте.

Все настраиваемые параметры вынесены в шапку скрипта. Здесь мы указываем:

  • Базу данных источника;
  • Базу данных назначения;
  • Дату, на которую необходимо перезалить самые свежие данные (по умолчанию – текущая дата);
  • Профиль, от которого отправляется электронное сообщение;
  • И кому это сообщение отправляется.

Если у вас на сервере одна рабочая база и много тестовых разработочных, то вам, чтобы опять-таки, не запускать этот скрипт каждый раз руками и не искать его где-то на диске, удобно создать несколько заданий агента по перезаливке каждой необходимой базы данных.

Для этого нужно аналогичным образом создать задание агента сервера SQL, состоящее из одного шага, где указан этот сформированный текст и необходимые для его работы параметры.

И теперь, если вам нужно перезалить какую-то базу, достаточно просто найти ее в списке, щелкнуть правой кнопкой, выбрать пункт «Запустить задание на шаге» и дождаться уведомления на электронную почту.

 

1.3 Очистка тестовых баз

Нам для работы, как правило, нужно много разработочных баз, а нашим консультантам – много тестовых баз. Но, поскольку мы живем в условиях ограниченных ресурсов, а базы могут быть очень большие, на все места не хватает. Поэтому после того, как мы восстановили базу, мы ее еще и очищаем от лишних для разработчика данных:

  • Это могут быть сканированные копии каких-то документов – если не используются тома хранения файлов;
  • Это может быть регистр сведений «Версии объектов»;
  • Какие-нибудь классификаторы.

Удаление этих сведений ничем не помешает разработке, но размер базы при этом сильно уменьшится.

Сделать такую очистку очень просто:

  • Из системного представления мы собираем всю информацию обо всех базах, которые есть на SQL-сервере. Предположим, нас интересуют только те базы, название которых начинается с префикса FTO.

  • Затем, пробегаясь в цикле по этим базам, с помощью метода TRUNCATE TABLE мы удаляем ненужные нам таблицы.

Это также позволяет нам сэкономить много места.

Этот скрипт можно таким же образом конвертировать в задание. И, например, настроить расписание – каждую ночь очищать все тестовые базы.

Как видите, при работе с SQL-сервером мы активно используем скрипты, задания, планы обслуживания. По ссылке https://github.com/Tavalik/SQL_TScripts вы сможете найти эти и еще множество других скриптов, которые мы часто используем в своей жизни. Надеюсь, вам они тоже пригодятся.

 

2. Инструменты автоматизации

А дальше я хотел бы рассказать о других инструментах автоматизации.

Итак, с чего начинается автоматизация у разработчиков 1С? Как правило, это:

  • BAT-файлы;
  • PowerShell скрипты;
  • VBScript;
  • И прочие языки автоматизации. Это может быть какой-нибудь Python или даже Delphi – на чем умеют, на том и пишут.

У всех этих инструментов есть свои плюсы и минусы, но самый главный минус для нас, 1С-ников – это то, что если ты практически весь свой день проводишь в конфигураторе, разрабатываешь на 1С, то потом возвращаться к этим инструментам очень тяжело. Мне кажется, что я в свое время написал много самых разных «батников», но сейчас, если мне нужно написать очередной bat-файл, я все равно иду в поисковик «Яндекса» и ищу примеры. Потому что, к сожалению, когда что-то в своей жизни постоянно не используешь, оно быстро забывается.

 

AutoIT

Какие есть готовые инструменты автоматизации? В первую очередь я хотел бы рассказать про замечательную программу AutoIT. Это целая среда для разработки скриптов автоматизации.

Синтаксис языка очень похож на Basic. Разобраться в нем не очень сложно. Все написанные в этой программе скрипты работают сразу же «из коробки». Устанавливаете движок – и все, никаких дополнительных dll, библиотек или чего-то еще не нужно.

Кроме того, ваши скрипты будут изначально совместимы со всеми версиями Windows – тоже «из коробки». Также с помощью скриптов AutoIT можно запускать различные приложения (в том числе от имени другого пользователя), и даже создавать графические интерфейсы для ваших скриптов.

AutoIT умеет работать:

  • С файлами, реестром, буфером обмена;
  • С сетевыми протоколами TCP и UDP;
  • С COM-объектами;
  • С окнами Windows;
  • С текстом.

Также AutoIT может эмулировать нажатие клавиш клавиатуры и поведение мыши.

И, самое приятное – может все готовые скрипты компилировать сразу в исполняемый файл, чтобы потом их было удобно где-то использовать.

Это очень хорошая программа с огромным сообществом пользователей в мире, и, в частности, в России. Для AutoIT можно найти множество готовых скриптов и разобранных приемов использования.

Но, к сожалению, в разработке на AutoIT для 1С-ника есть тот же самый минус, что и у предыдущих инструментов автоматизации – необходимость тратить время на то, чтобы разобраться с незнакомыми возможностями, и непривычность синтаксиса.

Здесь показано, как выглядит скрипт, написанный на AutoIT.

У нас, например, компания имеет матричную структуру, разработчики часто перемещаются из одного проекта в другой, из проекта в поддержку, между разными отделами поддержки. И вот, предположим, я для нужд проекта автоматизировал все на AutoIT, разобрался в его синтаксисе, научился пользоваться и потом отдаю это все добро другому разработчику. Вопрос – будет ли у него время и желание в этом всем разбираться? Далеко не факт. Скорее всего, он будет использовать какие-то инструменты, которые ему ближе, ему более знакомы.

Поэтому – инструмент хороший, но для 1С-ников не очень подходит.

 

xStarter

Чуть лучше в плане доступности и наглядности обстоят дела у программы xStarter.

Исключительной особенностью этой программы является то, что она очень проста в использовании. Вы просто из списка готовых сценариев «накидываете» в дерево шагов необходимые команды, для каждой команды заполняете ее свойства, и все – скрипт готов, ничего особенного здесь делать не надо.

xStarter поддерживает очень большой список задач – все основные задачи, которые могут пригодиться вам в повседневной жизни, присутствуют:

  • Он умеет запускать приложения,
  • Поддерживаются всевозможные файловые операции,
  • Операции с FTP, HTTP,
  • Работу с архивами,
  • Работу с электронной почтой, с ICQ, Skype.

xStarter позволяет осуществлять:

  • Работу с базами данных через ADO DB Connection;
  • Операции с текстом;
  • Математические операции;
  • Операции с сетью и другие задачи.

В xStarter очень удобно записывать поведение мыши и клавиатуры для получения макроса, чтобы потом этот макрос использовать либо отдельно, либо внутри своих скриптов. Это тоже очень хорошая функциональность.

Эту программу очень любят системные администраторы, потому что для работы с xStarter, не надо быть программистом. У нас во многих отделах по несколько лет работают скрипты на xStarter по принципу: «работает – не трогай».

Например, если у вас стоит задача резервного копирования файловой информационной базы по следующему сценарию:

  • Заархивировать файлы с данными;
  • Архив сложить в какое-то место;
  • Там удалить старые архивы;
  • Потом этот архив закачать на FTP;
  • И отправить сообщение на электронную почту.

В xStarter такая задача решается буквально за пару минут.

Как выглядит итоговый скрипт для такой задачи:

  • Слева находится список задач;
  • Справа – дерево команд для выделенной в списке задачи;
  • В дереве команд можно использовать условные операторы.

С помощью xStarter такие последовательности действий автоматизируются очень быстро.

Еще скажу, что xStarter:

  • Может устанавливаться в виде службы;
  • Имеет собственный планировщик, который может запускать задачи по расписанию;
  • Умеет запускать скрипты по событиям Windows (например, при образовании файла и т.д.);
  • Может запускать скрипты по нажатию горячих клавиш;
  • Имеет возможность запуска скриптов на удаленных компьютерах в сети.

Это очень хорошая программа, с ее помощью можно реализовать очень много полезных и интересных штуковин. Но, при всех ее достоинствах, надо все-таки помнить, что набор решаемых xStarter’ом задач ограничен теми стандартными командами, которые там предусмотрены. Кроме того, если у вас большие сложные скрипты с циклами, вложенными условиями и т.д. – редактировать в этом редакторе их довольно тяжело.

 

Конфигурации и обработки 1С

И поэтому рано или поздно многие разработчики приходят к решению написать свои конфигурации и обработки на 1С. Раньше, если мне было лень что-то делать руками, я писал под эту задачу обработку, чтобы можно было ее запустить в любой базе.

Какие тут плюсы?

  • Во-первых, полная свобода творчества – это мой родной инструмент, я делаю в нем все, что хочу;
  • Во-вторых, можно использовать полные возможности платформы 1С и библиотеки стандартных подсистем. Все готово, все за вас уже написано – просто используйте;
  • Есть множество различных готовых решений на том же Инфостарте. Если вы где-то что-то увидели хорошее, можно взять себе и тоже использовать.

Но тут есть много подводных камней. Например, чтобы использовать такие конфигурации, нужна сама платформа 1С, нужна лицензия. Кроме того, регламентные задания будут запускаться строго на сервере 1С, что не всегда удобно. Конечно, это можно обойти с помощью различных средств, но это попахивает какими-то «костылями».

 

OneScript

Знаменательным событием стало появление инструмента OneScript. Этот инструмент имеет все преимущества предыдущих, но не имеет их главного недостатка – сложности в освоении одинэсниками.

Про OneScript на Инфостарте уже было написано и рассказано очень много. Поэтому я лишь кратко обозначу основные возможности движка.

Первое, что самое главное – синтаксис языка максимально приближен к синтаксису 1С. Я брал из своих конфигураций куски кода и копипастом вставлял их в код OneScript. Делал только небольшие тюнинговые изменения и это сразу работало. В принципе, нам, одинэсникам, OneScript позволяет создавать полноценные консольные приложения в знакомой, родной среде разработки. И мне кажется, это просто замечательно.

Также OneScript умеет работать со всеми универсальными механизмами. Как и сама 1С, он работает с текстом, XML, JSON и поддерживает регулярные выражения.

Так же, как и 1С, позволяет осуществлять:

  • Файловые операции;
  • Работу с сетью, архивами, различными двоичными данными и COM-объектами;
  • Поддержку различных сценариев и библиотек.

На этом моменте нужно остановиться чуть подробнее.

 

Библиотеки OneScript

Дело в том, что вся сила OneScript состоит именно в том, что для него уже создано множество готовых библиотек. Разработчики движка и стандартных библиотек – это такие же разработчики 1С, как и мы. И понятно, что в своей жизни они сталкиваются с типичными для разработчиков 1С задачами. Поэтому большинство из этих задач уже решено, в том числе и с помощью стандартных библиотек.

Я перечислю основные библиотеки, которые особенно подходят для решения наших повседневных задач:

  • v8runner – позволяет запускать 1С с различными параметрами, используя самые разные пакетные режимы запуска конфигуратора. В пакетном режиме можно сделать очень много полезного;
  • v8storage – библиотека для работы с хранилищем 1С;
  • files-common – поддержка всевозможных файловых операций;
  • strings – строковые операции;
  • params – библиотека для работы с параметрами скриптов, а также с файлами, которые содержат эти параметры;
  • logos – библиотека для логирования.
  • 1commands – библиотека для упрощения запуска различных командных файлов и приложений;
  • tempfiles – работа с временными файлами;
  • oscript-ftp – FTP-клиент для OneScript;
  • oscript-mail – компонента для работы с электронной почтой;
  • oscript-yadisk – реализация API Яндекс.Диска для OneScript;
  • gitrunner – программная обертка для работы с Git.

Большой обзор библиотек OneScript в этой статье: //infostart.ru/public/699642/

Очень много задач, которые постоянно возникают в жизни разработчика 1С, уже решены здесь с помощью стандартных библиотек. Кроме того, никто не запрещает вам создавать свои библиотеки OneScript.

Например, я пишу абсолютно одинэсовский код, чтобы описать функцию ВыполнитьЗапрос():

  • В данной функции с помощью ADODB.Connection создается подключение к какой-то базе данных MS SQL;
  • В этой базе выполняется какой-то указанный в параметрах функции SQL-запрос.

Мы такое много раз писали.

А теперь я беру все те SQL-скрипты, о которых я рассказывал в первой части доклада, и с помощью этой функции без проблем реализую такие экспортные процедуры, как:

  • СделатьРезервнуюКопиюБД();
  • ПолучитьСтруктуруФайловБД();
  • ПолучитьСписокФайловДляВосстановленияБД() – на дату;
  • ВосстановитьИзРезервнойКопииБД();
  • ВосстановитьБД();
  • ИзменитьМодельВосстановленияБД() – например, на Simple;
  • СжатьБД();
  • СжатьФайлыБД().

И оформляю все это в виде библиотеки. Теперь, чтобы выполнять какие-то операции с базой данных, мне уже не нужно запускать Management Studio. Мне достаточно вызвать экспортные процедуры получившейся библиотеки.

О создании своих библиотек можно прочитать здесь или здесь.

 

Пример сценария на OneScript

Теперь, используя свою библиотеку и большой набор стандартных библиотек, я без проблем могу реализовать следующий сценарий перезаливки базы:

  • В первую очередь, я проверяю, есть ли в базе захваченные или измененные объекты (потому что при перезаливке я могу чьи-то изменения затереть);
  • Если изменений нет, я устанавливаю блокировку регламентных заданий и начала сеансов;
  • По прошествии указанного времени в приложении завершаются все активные сеансы;
  • Дальше идет расчет последовательности файлов резервных копий рабочей базы для восстановления базы данных на дату;
  • После того, как соответствующий файл резервной копии будет найден, я произвожу восстановление базы данных. Причем, здесь мне не важно, где находятся рабочая и разработочная база – они могут находиться на разных серверах. Главное, что я получил все нужные для восстановления файлы и их использую. Тут возможно, нужно будет настроить права, но все это решается;
  • Далее я перевожу базу в простую модель восстановления;
  • Запускаю сжатие файла журнала транзакций;
  • Отключаю базу от рабочего хранилища;
  • Подключаю базу к разработочному хранилищу (поскольку базу я перезаписал, она теперь думает, что подключена к рабочему хранилищу).
  • После этого я сразу обновляю конфигурацию базы данных;
  • Снимаю блокировку регламентных заданий и начала сеансов;
  • И отправляю уведомление по электронной почте.

Все это без проблем реализуется простым вызовом необходимых процедур стандартных библиотек.

Теперь для того, чтобы перезалить эту базу, мне нужно будет просто запустить скрипт с соответствующими параметрами и дождаться уведомления на электронную почту. Например, разработчик может, уходя с работы, запустить этот скрипт, а утром его на работе будет ждать свежая, обновленная, подключенная к хранилищу база. Очень удобно.

 

«Перезаливатор»

Но мы пошли еще дальше. Представьте себе ситуацию:

Вы работаете над какой-то сложной задачей, погружены в процесс, находитесь, что называется, в состоянии «потока», на пике своей производительности. И тут вам звонит консультант и говорит: «У нас ошибка, нужно срочно перезалить базу».

Вы вырываетесь из своего контекста, идете на другой сервер, ищете там какой-то скрипт, запускаете его с какими-то параметрами, ждете уведомления, и потом еще должны позвонить консультанту и сказать, что все готово – база перезалита. Все, состояние потока потеряно.

Поэтому с помощью стандартной библиотеки gui мы написали интерфейс для наших скриптов – OneScript это тоже позволяет.

Теперь консультант сам запускает скрипт:

  • Выбирает из списка базу данных источника;

  • Выбирает базу данных назначения (причем, в списке баз данных назначения нет базы «Рабочая», чтобы случайно туда что-нибудь не перезалить);

  • Указывает дату;
  • Нажимает кнопку «Перезалить базу»;
  • При этом проходит контроль сеансов – их при необходимости можно прямо отсюда завершить;

  • База данных перезаливается, и консультанту приходит сообщение об успехе.

 

Все счастливы. Консультанты могут перезаливать какие угодно базы и как хотят. Разработчиков от их работы никто не отвлекает. Все работает, все прекрасно.

Официальный репозиторий программы: https://github.com/Tavalik/Perezalivator, статья на infostart.ru: //infostart.ru/public/860429/

Причем, это – только один из возможных сценариев, которые мы у себя внедрили. И более того, это не какая-то уникальная вещь. На GitHub и Infostart.ru уже есть несколько подобных готовых программ, написанных на OneScript, которые делают все то же самое.

 

Какие еще задачи мы решаем с помощью OneScript?

  • Обновление тестовых и всевозможных разработочных баз (которое я только что показал);
  • Обновление информационных баз из хранилища или файла поставки. Например, если у вас есть 10 баз, подключенных к одному хранилищу, вы запускаете скрипт, и она все их обновляет по заданному сценарию;
  • Обновление конфигурации в РИБ;
  • Вообще с помощью OneScript очень легко производится запуск различных сценариев по обмену данными;
  • Резервные копии файловых информационных баз, а также рабочего каталога кластера серверов, хранилища 1С – все это тоже делается легко с помощью OneScript;
  • Загрузка файлов на FTP/ «Яндекс.Диск»;
  • Очистка каталогов от старых файлов;
  • Контроль свободного места на дисках;
  • Задачи обновления релиза при интенсивной разработке;
  • И даже перенос задач между разными базами, подключенными к разным хранилищам (обычно мы делаем это вручную) – мы тоже смогли частично решить с помощью OneScript.

Я уверен, что многие вещи, которые вы в своей жизни постоянно делаете руками, можно без проблем автоматизировать с помощью OneScript.

 

Жизненный цикл работы со скриптом

В своей работе мы пытаемся придерживаться такой схемы разработки скриптов:

  • Разработчик создает скрипт на своем компьютере;
  • С помощью GIT осуществляется версионирование скриптов;
  • После того, как скрипт написан и протестирован, он конвертируется в исполняемый файл. Причем, неважно, это OneScript, xStarter или что-то еще;
  • Готовый исполняемый файл уходит по серверам клиентов;
  • Все настройки скриптов хранятся в файлах настроек;
  • Запускает скрипты стандартный планировщик Windows;
  • После того, как скрипты отработали, отправляется уведомление по электронной почте.

Преимущества такой схемы организации регламентных заданий:

  • Такая схема идеальна в ситуации, когда у нас много серверов, много однотипных задач и хочется это быстро автоматизировать;
  • Она не требует установки никакого дополнительного ПО;
  • Не требует вообще прав локального администратора – они у нас не всегда есть;
  • Позволяет очень быстро развернуть все регламентные задания. Например, если пришел новый клиент или появился новый сервер, чтобы развернуть и настроить все, у нас уходит максимум пару часов;
  • Она безопасна, потому что никто не может «вклиниться» в тело скрипта, так как это – исполняемый файл. Тут, правда, возникает вопрос хранения паролей в файлах настроек. Но он решается:
    • Либо с помощью настройки прав доступа в службе безопасности Windows.
    • Либо с помощью хранения паролей прямо в теле скрипта – например, если везде используется один и тот же пароль электронной почты для отправки сообщения, его можно «зашить» в сам скрипт.
    • Либо с помощью использования доменной авторизации. В этом случае в файлах настройки вообще не указываются ни логин, ни пароль, а для того пользователя, который запустил скрипт, везде проходит доменная авторизация. Для 1С и для SQL все это работает.
  • И еще важный параметр – как правило, в базах 1С уже используется рассылка электронных писем, поэтому нам не требуется какой-то дополнительной настройки сетевой безопасности (иногда это очень долгая бюрократическая процедура). Все порты SMTP-сервера, как правило, открыты, поэтому мы можем без проблем использовать электронную почту.

 

3. Контроль выполнения регламентных заданий

Когда мы постепенно начали эту схему разрабатывать, то столкнулись с еще одной проблемой. Представьте, что если в среднем отделе 3-6 клиентов, у каждого клиента 1-3 сервера, на каждом сервере 5-6 регламентных заданий, следовательно, за день «прилетает» 50-60 писем об их выполнении.

Если письмо с ошибкой отследить довольно легко – можно настроить такое правило на Outlook, то факт того, что письмо не пришло вообще – отследить нереально. Не будете же вы каждый день пересчитывать все 50 писем и проверять, есть ли среди них недостающие.

Поэтому мы начали искать какую-то программу, которая могла бы нам помочь в том, чтобы организовать контроль выполнения регламентных заданий.

Итак, мы искали программу, которая:

  • Могла бы работать с электронной почтой;
  • Делала рассылки уведомлений;
  • Не требовала бы установки клиентской части;
  • Имела простой, понятный интерфейс (желательно, русский);
  • Гибко настраивалась;
  • Была бы бесплатной или почти бесплатной.

Пытались сюда как-то «прикрутить» Zabbix, но в результате изобрели свой «велосипед».

Это – конфигурация на 1С с использованием библиотеки стандартных подсистем. Даже не конфигурация – это просто отдельная подсистема для библиотеки стандартных подсистем, которая решает указанную задачу.

Подсистема «Контроль выполнения заданий» реализована на управляемых формах. Она содержит в себе информацию обо всех регламентных заданиях, настроенных на всех серверах и ожидает соответствующего письма о выполнении этого задания.

Причем, раз данные хранятся в справочниках и регистрах сведений 1С, то с помощью системы компоновки данных мы можем строить любые интересующие нас отчеты.

Вот пример отчета о выполнении регламентных заданий, где зеленым отмечено успешное выполнение, а красным – ошибка,

В ячейке указано время выполнения этого задания. Вот такой наглядный отчет, по нему все видно.

Можно настроить графики – например, график по времени выполнения, чтобы контролировать, почему одно задание сначала работало столько времени, а теперь вдруг стало работать дольше.

Более того, с помощью стандартной подсистемы рассылки отчетов мы теперь можем организовать рассылку этих отчетов всем ответственным лицам.

Вот, например, вполне реальный отчет, который приходит мне каждое утро на почту – я здесь заменил только названия серверов и клиентов.

Мне одного взгляда на этот отчет достаточно, чтобы увидеть, что:

  • Здесь закончилось место на диске – это известная проблема этого сервера;
  • А здесь почему-то не сработало резервное копирование (либо сработало, но письмо по каким-то причинам не пришло) и нужно уже идти и разбираться, что случилось и почему.

Подсистема "Рассылка отчетов" позволяет очень гибко устанавливать отборы, кому, какие отчеты посылать. Соответственно, мы получаем дополнительный сервис, который можем оказывать нашим клиентам. Например, мы можем в эту рассылку включить системных администраторов или бизнес-аналитиков со стороны клиента, чтобы они видели, как работают регламентные задания в их базах.

 

Заключение

Я вам искренне желаю не делать одни и те же действия постоянно. Если вы что-то делаете второй или третий раз – это точно нужно автоматизировать.

Все знают, что заниматься автоматизацией – это полезно для бизнеса. Но для разработчика – это еще и во много раз интереснее, чем делать одно и то же действие. Начав заниматься автоматизацией один раз, уже невозможно остановиться, уже думаешь «можно автоматизировать еще здесь, здесь и здесь». Удачи!

 

Источники и статьи по данной тематике:

Вебинары по SQL-скриптам:

Перезаливатор:

Статьи и вебинары про OneScript:

 

Данная статья написана по итогам доклада, прочитанного на конференции INFOSTART EVENT 2017 COMMUNITY.

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя.

8400 руб.

20.08.2024    9224    72    32    

81

Инструменты администратора БД Роли и права Системный администратор Программист Пользователь 8.3.14 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Документооборот 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Роли… Вы тратите много времени и сил на подбор ролей среди около 2400 в ERP или 1500 в Рознице 2, пытаясь понять какими правами они обладают? Вы все время смотрите права в конфигураторе или отчетах чтоб создать нормальные профили доступа? Вы хотите наглядно видеть какие права дает профиль и редактировать все в простом виде? А может хотите просто указать подсистему и дать права на просмотр и добавление на объекты и не лезть в дебри прав и чтоб обработка сама подобрала нужные роли? Все это теперь стало возможно! Обновление от 18.09.2024, версия 1.2

16800 руб.

06.12.2023    9232    43    5    

74

SALE! %

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

15000 10000 руб.

10.11.2023    10837    40    27    

64

SALE! %

Инструментарий разработчика Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

4800 3840 руб.

14.01.2013    188985    1144    0    

915

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтер Пользователь Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    33014    107    152    

73

Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Брандмауэр для сервера 1С включает в себя управление возможностью начала и возобновления сеансов пользователей по различным условиям, ограничение общего числа возможных сеансов для работы с информационной базой, резервирование возможности работы с информационной базой определенных польззователей, запрет запуска нескольких сеансов для пользователя, журнализация событий начала (возобновления) и завершения (гибернации) сеансов, ведение списка активных сеансов для информационных баз кластера серверов

3600 руб.

06.02.2017    32215    34    18    

50

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS!

6000 руб.

06.11.2012    73048    628    45    

86

Инструменты администратора БД Системный администратор Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием Платные (руб)

Конфигурация Комплексная автоматизация 1.1 (и УПП 1.3 тоже) хранит файлы и изображения в справочнике Хранилище дополнительной информации в реквизите Хранилище типа ХранилищеЗначений. Та же история с ВложениямиЭлектроннойПочты. Но при этом присоединенные файлы в Электронном документообороте хранит в томах на диске. Эта доработка позволяет использовать стандартный механизм хранения файлов, изображений и вложений электронных писем в томах на диске. При этом можно разделить тома хранения по объектам конфигурации.

4200 руб.

10.11.2015    62956    94    59    

79
Вознаграждение за ответ
Показать полностью
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. fishca 1259 02.07.18 17:31 Сейчас в теме
Можно для всего этого подцепить Jenkins
2. comol 5110 03.07.18 11:08 Сейчас в теме
Один из самых, если не самый, для меня полезный доклад с прошлого инфостарта...
serge_grand; headMade; FTC; maXon777; +4 Ответить
3. Tavalik 3412 04.07.18 06:34 Сейчас в теме
(2)
Ого! Спасибо, очень приятно!
4. maXon777 129 04.07.18 07:47 Сейчас в теме
Очень крутая статья, спасибо! Не хотите выложить подсистему за стартмани?
5. LexSeIch 211 04.07.18 10:36 Сейчас в теме
Полезная статья. Хотелось бы добавить пару слов по AutoIT - инструмент очень полезный. Простой синтаксис, наличие возможности формировать окна, кнопки, поля ввода и создание исполняемых портабельных файлов делает его очень удобным в использовании. Эмуляция нажатий клавиш позволяет делать оболочки для запуска и отработки программ, имеющих только оконный интерфейс из командной строки. Большое сообщество и наработки позволяют быстро адаптировать сторонний код для разных областей применения. Например недавно используя стороннюю DLL и помощь интернета удалось создать консольный генератор QR кода... Пока бегло просмотрел статью, но дома обязательно "похожу по ссылкам" и просмотрю видео. Спасибо
headMade; Tavalik; +2 Ответить
6. DonAlPatino 178 04.07.18 13:02 Сейчас в теме
Подсистему «Контроль выполнения заданий» не планируете выложить в доступ? Пытались сделать подобное, но довести до продакшена в варианте для пачки баз так и не смогли.
9. Tavalik 3412 06.07.18 08:31 Сейчас в теме
(6) (4)
Надо реализовать еще несколько идей, причесать, инструкцию сделать или видео записать. Все никак руки не доходят. А так, да, обязательно выложу.
maXon777; +1 Ответить
10. maXon777 129 06.07.18 11:31 Сейчас в теме
(9)
Очень ждем. Готовы тестить бета-релиз :))
7. asved.ru 37 05.07.18 09:58 Сейчас в теме
Пример "как делать не надо". Почему? Потому что используется куча различных инструментов, сред, ЯП, точек входа. Весь этот адъ и Израиль нужно поддерживать, а регламент ввода в эксплуатацию новой ИБ превращается в портянку.
8. Tavalik 3412 05.07.18 10:20 Сейчас в теме
(7)
Я так не думаю. Но спасибо и за ваше мнение.
Инструментов, в конечном счете, только три: MS SQL, 1С и OneScript. Причем, по моему убеждению, все это разработчик 1С знать должен (OneScript идет плюсом к знанию синтаксиса языка 1С). Настройка всех заданий для новой ИБ занимает час-два, не больше.

Пример "как делать не надо".

Расскажите как надо. С удовольствием почитаю.
mc_onix; Shalnov; amon_ra; +3 Ответить
11. herfis 513 06.07.18 11:49 Сейчас в теме
(7) Вы слишком категоричны. Это обычный trade-off. Весь этот "адъ и Израиль" как вы выразились начинает окупаться сторицей начиная с некоторого порога размера инфраструктуры, количества инфраструктурных запросов и пользователей, их генерирующих.
12. amon_ra 61 17.08.18 12:19 Сейчас в теме
(7) не увидел ада. все инструменты обычные, нет ничего специфического.
Оставьте свое сообщение