Последовательный и параллельный бэкап баз в MS SQL скриптами

23.07.19

База данных - Архивирование (backup)

На картинке старый добрый Maintaince Plan. Работает давно и надежно. Но вот при 30 активных и столько же архивных базах каждое изменение - это много щелканий мышкой и сохранений. А хочется просто исправить список баз в одном месте, и все. В процессе переписывания Maintaince Plan в скрипт возникла идея попробовать обрабатывать базы параллельно. В конце концов, зачем была потрачена куча денег на "ядра, кэш и прочий треш"?

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
Последовательный и паралельный бэкап баз в MS SQL скриптами:
.7z 4,94Kb
7 2 500 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

В архиве 2 скрипта. Оба реализуют стандартный комплект действий над списком баз:

  1. проверить целостность
  2. перестроить индекс
  3. очистить процедурный кэш
  4. [NEW] обрезать transaction log
  5. с архивировать
  6. удалить старые архивы

В случае ошибок - послать уведомление на почту администраторам

  • serial.sql - выполняет комплект последовательно база за базой
  • parallel.sql - пытается выполнить весь комплект параллельно

В результате на малой продуктовом сервере (8 virtual proc Xeon E5-2650v2 2.60 и SSD raid) c 15 базами общим объемом 50Gb получили:

  • serial.sql - 13:51 минута
  • parallel.sql - 4:22 минуты

Итого быстрее в 3 раза.

технически parallel.sql создает отдельные job для каждой базы и сразу их стартует.

Если кто подскажет идею, как сделать по другому - буду очень благодарен. Т.к. при таком режиме управлять количеством реально запущенных задач не получается.И какая там "параллельность выполнения" сказать тяжело.

[UPD.23/07/2019]

Дошли руки поправить скрипты:

  • расширена обработка ошибок (не валимся если база в offline mode например)
  • включена возможность бэкапа transaction log

на основном продуктовом сервер с тремя базами общим объемом 150 gb получили:

  • serial.sql - 57 минут
  • parallel.sql - 28 минут

Ускорение в 2 раза.

PS теперь надо сделать предварительную проверку дефрагментации индексов и делать rebuild/reorg только тем что нужно. Ну и некоторые таблицы вообще не трогать.

[ВАЖНО] Паралельный бэкап на тестовом сервере с 15K дисками и 30 базами объемом в 200Gb поставил сервер колом до окончания процесса. Поэтому на боевых серверах надо быть аккуратным. Во избежании

Подключение: 1 step в обычном job куда вводиться текст скрипта:

 

Вступайте в нашу телеграмм-группу Инфостарт

MS SQL Maintaince Plan параллельный бэкап последовательный

См. также

Архивирование (backup) Инструменты администратора БД 1С:Предприятие 8 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS! Версия 1.4 от 28.05.2026

7320 руб.

06.11.2012    80621    635    45    

94

Архивирование (backup) Системный администратор Разработчик 1С:Предприятие 8 Россия Бесплатно (free)

Обычный архив базы 1С — чёрный ящик: файл вроде бы есть, но что в нём, когда он сделан и поднимется ли из него база, никто толком не знает, пока не случится беда. В статье я рассказываю, как мы сделали архив, в который можно зайти в любой момент: вторую живую базу 1С, полную копию рабочей, которая пополняется пообъектно через HTTP-сервисы примерно раз в минуту. Разбираю устройство: управляющая система вместо прямого обмена, расширение, которое не меняет данные, проверка хэша при снятии регистрации, автоматическое обновление структуры архива после обновления конфигурации, архивная база на PostgreSQL с инкрементными копиями. Отдельно — защита от шифровальщиков, пароли и версия расширения для концепции нулевого доверия, а также честные ограничения схемы.

12.11.2026    452    MikeT    4    

5

Информационная безопасность Архивирование (backup) Системный администратор Разработчик 1С 8.3 Бесплатно (free)

Утром базы не открылись: ночью хакеры зашифровали серверы, базы 1С, почту, кассы, мобильные приложения и бэкапы в сети. Критичные базы подняли из копий на отключённых дисках и потеряли около 10 часов данных. Рассказываю, как прошли первые сутки, что увидел только человек, что мы закрыли после атаки и какие двери в самой базе 1С программист может проверить у себя уже сегодня.

10.11.2026    17276    nedomolkov.ivan    70    

20

Архивирование (backup) Обновление 1С Системный администратор Разработчик 1С 8.3 Бесплатно (free)

Платформа 8.3.17, MS SQL Server: обновление конфигурации падает через 15 секунд на этапе обновления предопределённых данных, и конфигуратор при каждом входе предлагает только повторить. Проверьте у себя, когда сделана последняя полная копия базы: у нас её не было почти месяц. Разбор по минутам: что не помогло (перезапуск агента сервера 1С, перезагрузка, пакетный /UpdateDBCfg, три совета со стороны) и почему. Как ibcmd достал .dt из базы, которая не открывается, и как новую базу подставили под старым именем в кластере 1С через rac, не трогая пользователей. Простой 57 минут, потерь данных нет. Отдельно ошибки ИИ-агента Claude, который работал на сервере, и порядок действий на случай, если это случилось у вас.

03.11.2026    928    nedomolkov.ivan    14    

6

Архивирование (backup) Инструменты администратора БД Системный администратор Разработчик 1С 8.3 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем Абонемент ($m)

Полностью автоматизированная внешняя обработка для администрирования 1С: блокировка/разблокировка ИБ, массовое завершение сеансов, резервное копирование и восстановление из .dt, выгрузка/загрузка конфигурации (.cf), пакетная работа с расширениями (.cfe) и дополнительными обработками – всё через удобную форму без ручных запусков конфигуратора и консоли кластера

1 стартмани

21.01.2026    6669    67    war41k    0    

18

Архивирование (backup) Групповая разработка (Git, хранилище) Системный администратор Разработчик Бесплатно (free)

Как дать возможность каждому разработчику 1С вести разработку, тестирование и оптимизацию на собственной полноразмерной копии базы и при этом не тратить миллиарды рублей и тысячи часов на развертывание тестового окружения, а так же экономить дисковое пространство? Расскажем о том, как с помощью инструмента Database Lab получать полноразмерные копии базы 1C на СУБД PostgreSQL за считанные секунды (даже в случае использования многотерабайтных баз).

15.12.2025    14398    nasonkin    19    

31

Архивирование (backup) Учет документов Бухгалтер 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

В текущих версиях 1С пока нет функции, позволяющей автоматически отмечать возврат оригиналов документов с помощью сканера штрих-кодов. Многие контрагенты часто сталкиваются с проблемой утери оригиналов УПД или их невозврата. В ответ на эти запросы было разработано расширение, которое упрощает контроль за возвратом оригиналов документов и помогает лучше организовать их хранение.

12200 руб.

19.02.2025    3006    3    0    

3

Архивирование (backup) Системный администратор 1С 8.3 Бесплатно (free)

Предлагаю Вашему вниманию 3 скрипта на bash (sh) для архивирования (backup) типовых конфигураций на Linux средствами 1С и Postgres. Перед запуском корректно заполните раздел "Параметры" в соответствии с Вашими настройками.

20.01.2025    6094    Prelude    5    

12
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. webester 26 28.02.19 02:47 Сейчас в теме
>>Оба реализуют стандартный комплект действий над списком баз
А где статистика, индексы? Эти действия как раз, надо делать перед бекапом.
2. capitan 2610 28.02.19 09:56 Сейчас в теме
Согласен с предыдущим оратором.
Как минимум иллюстрация того что ИТС читать все же нужно.
(1)
делать перед бекапом

А вот по поводу - перед бекапом или после - я бы поспорил
Если что то пойдет не так - бекап будет только предыдущий
А так - сделал бекап - делай с базой все что хочешь нужно
8. webester 26 28.02.19 17:09 Сейчас в теме
(2) Это штатные механизмы обслуживания базы, которые сами данные по факту абсолютно не трогают. Если делать бекап до обслуживания у базы с полной моделью восстановления то при восстановлении будем поднимать еще и огоромный лог который делает обслуживание индексов. То есть время поднятия базы можно легко увеличить раза так в 4. Если вы хотя бы раз в неделю поднимаете в тестовую базу из копии размером гигов 50-200 это будет немного напрягать. Ну как немного...
CyberMuesli; +1 – Ответить
10. capitan 2610 01.03.19 09:27 Сейчас в теме
(8)Я бы не сказал что перестроение индекса не трогает данные особенно кластерного.
И я видел когда такие моменты совпадали с приходом кирдыка по железу например.
Например файл бд переехал на сбойный сектор
И все амба и каюк, бекапа уже не будет
12. DonAlPatino 174 01.03.19 12:50 Сейчас в теме
(10) Ну такой кирдык по железу ( в отсутствии резервирования) может придти и без перестроения индекса, а прост о во время работы....
15. webester 26 09.03.19 09:44 Сейчас в теме
(10)Давай попробуем максимально натянуть сову на глобус. Например БД куда-то едет без бекапов. Ситуация конечно технически возможна. Но проблема не в обслуживании в данном случае.
18. CyberMuesli 14.04.19 13:01 Сейчас в теме
(8)

Браво, коллега, вы понимаете очень тонкий момент. Обслуживание индексов фиксируется в логах, и это громадный объем операций. Тянуть это в бэкап логов и в дифбэкапы нет никаких резонов.

Но на время восстановления это не должно повлиять при грамотной организации схемы бэкапирования. Дело в том, что если мы соблюдаем RTO, было бы неправильно восстанавливать базу к моменту сбоя исключительно по логам, иначе мы можем и не успеть, вне зависимости от того, придется ли при восстановлении проходить по логам операции обслуживания индексов или нет. Поэтому для соблюдения RTO за базой неотступно следуют дополнительные опорные точки в виде короткоживущиех дифбэкапов, а с помощью логов восстанавливается только последний хвостик. Именно с помощью последнего дифбэкапа мы и перепрыгнем регламентные операции. Поэтому время восстановления существенно не изменится. В то время как при восстановлении только по логам, время действительно может возрасти кратно.

Но есть и другие причины,

1. В логе после обслуживания индексов зафиксировано слишком много изменений и свободного места в нем практически не остается. Ближайшие операции пользователей или регламентные задания 1С начнут увеличивать лог.

2. Дифбэкапы станут большими. Если их нет, или они короткоживущие и создаются только с целью снизить RTO, данное обстоятельство можно игнорировать. Но схема бэкапирования может предусматривать создание ежедневных дифбэкапов вместо полных. И тогда сильно возрастают накладные расходы на их хранение, а вопросы «до или после» и «с какой периодичностью» начинают имеет существенное значение.
21. DonAlPatino 174 15.04.19 09:50 Сейчас в теме
(18) если уж нужен короткий RTO, то может просто always on и не мучаемся?
By the way - уж коль мы дошли до логов - нигде не нашел ответа на вопрос (возможно плохо искал), что у нас происходит с фрагментацией индексов после бэкапа transaction log в full mode?
20. DonAlPatino 174 15.04.19 09:46 Сейчас в теме
(8) Сделать backup transaction log'ов перед full backup, чтобы их обрезать? Грязновато - зато в Full backup останутся "чистые" данные без лога?
22. webester 26 16.04.19 10:22 Сейчас в теме
(20)(18)Давайте еще вприсядку станцуем для полноты картины, вместо того, чтобы просто поменять порядок действий.
23. DonAlPatino 174 16.04.19 10:41 Сейчас в теме
(22) Дык работа у нас такая :-) Я, к слову, с (8) абсолютно согласен. т.к. главный потребитель бэкапов - это отдел разработки. И dev сервера prod'у ни чета по ресурсам :-(
3. DonAlPatino 174 28.02.19 11:31 Сейчас в теме
(1)"перестроить индекс", который автоматически обновляет статистику не подходит? Тогда что имеется в виду?
4. capitan 2610 28.02.19 13:13 Сейчас в теме
(3)Слышали бы вы как MVP Microsoft костерил людей которые вместо пересчета статистики перестраивают индексы.
Если вкратце - физически изнашиваете свой диск
5. DonAlPatino 174 28.02.19 14:52 Сейчас в теме
(4) у меня в планах смотреть фрагментированность индексов и в зависимости от этого делать rebuild/reorg/nothing :-). Сделаю - сделаю и обновление статистики. Вопрос не получиться ли дольше по времени...
Ну и как "MVP Microsoft костерил" разработчиков и архитекторов 1С платформы на предмет "они до сих пор не используют все возможности SQL 2008", например, я тоже слышал. И не раз.
6. capitan 2610 28.02.19 14:54 Сейчас в теме
(5)Вы найдите в ИТС методичку, а статистика очень быстро обновляется даже на 200 Гб
7. DonAlPatino 174 28.02.19 15:08 Сейчас в теме
(6)Я не про статистику, а про анализ фрагментированности индексов и rebuild/reorg/nothing в зависимости от степени.
13. DonAlPatino 174 01.03.19 12:52 Сейчас в теме
(11) Оно у меня в закладках и активно используется. Или там есть про запуск параллельных задач, а я пропустил?
14. a.doroshkevich 1211 03.03.19 13:54 Сейчас в теме
(13)там про анализ фрагментированности
24. itoptimum 24 12.05.20 14:03 Сейчас в теме
(13) там все есть. *DatabasesInParallel='Y'
9. webester 26 28.02.19 17:10 Сейчас в теме
(3)Действительно. Смотрю в книгу вижу фигу.
16. CyberMuesli 14.04.19 09:30 Сейчас в теме
Совершенно не понял, зачем писать параллельный скрипт, если стандартное задание backup database уже бэкапирует базы параллельно.

В качестве аргумента, если я правильно понял, называется неудобство изменения плана обслуживания, если в него добавляется еще одна база — добавлять ее нужно в нескольких заданиях плана обслуживания.

Судя по скриншотам с затертыми именами баз данных, в заданиях вместо опции «Все базы данных» перечисляются конкретные базы. Из-за непонимания важности обслуживания всех баз данных по единому плану и вытекает данное неудобство и предлагаемое автором решение.

Разделение баз на те, которые бэкапируются, и на какие-то другие — серьезная методологическая ошибка. В заданиях плана обслуживания не должно быть явного перечисления баз. Только «все базы» + игнор оффлайновых и не иначе. При этом они бэкапятся параллельно сервером sql без всяких самодельных скриптов, а добавление новых баз не требует изменений в плане обслуживания.

Кроме того, предлагаемый план обслуживания непрофессиональный, и автора совершенно справедливо отправляли в ИТС.

Но раз уж главной темой статьи является параллельность, то сделаем акцент именно на ней. Автор озабочен параллельностью одной единственной задачи (которая на самом деле параллельна штатно), а сам связывает последовательным выполнением, задачи плана обслуживания, которые могут выполняться параллельно.

Потому кроме ИТС, посылаем автора в мануал администратора SQL
17. DonAlPatino 174 14.04.19 11:39 Сейчас в теме
(16) "Совершенно не понял, зачем писать параллельный скрипт, если стандартное задание backup database уже бэкапирует базы параллельно. " 10 баз бэкапиться параллельно в 10 потоков? Серьезно?
"Судя по скриншотам с затертыми именами баз данных, в заданиях вместо опции «Все базы данных» перечисляются конкретные базы. Из-за непонимания важности обслуживания всех баз данных по единому плану и вытекает данное неудобство и предлагаемое автором решение." У меня там 40 баз, списанных в архив. Мне их тоже каждую ночь переиндексировать и бэкапить? Серьезно?
"Кроме того, предлагаемый план обслуживания непрофессиональный, и автора совершенно справедливо отправляли в ИТС. " Конкретные претензии можно? А то на ничем не мотивированный наезд похоже...
"Но раз уж главной темой статьи является параллельность, то сделаем акцент именно на ней. Автор озабочен параллельностью одной единственной задачи (которая на самом деле параллельна штатно), а сам связывает последовательным выполнением, задачи плана обслуживания, которые могут выполняться параллельно. " Вы, простите скрипт смотрели или "чукча не читатель - чукча писатель?"
Отдельно можно вопрос - а параллельностью какой конкретно "одной единственной задачи" озабочен автор? А то он, к сожалению, не в курсе...
19. webester 26 14.04.19 16:51 Сейчас в теме
(16)
В заданиях плана обслуживания не должно быть явного перечисления баз.

Расскажите, что делать с тестовыми базами? Их тоже обслуживать и бекапить?
Для отправки сообщения требуется регистрация/авторизация