Организация резервного копирования файлов с использованием rclone

21.01.20

База данных - Архивирование (backup)

Описание использования достаточно универсальной утилиты по синхронизации файлов.

Вводные

Rclone - умеющая синхронизировать файлы с различными внешними сервисами, список можно посмотреть на главной https://rclone.org/

Для меня из удобств

1. работает на nix и win без дополнительных усилий

2. варианты подключения к сервисам

3. умение шифровать на лету

 

Рассматриваю варианты использования исходя из собственного опыта

1. Копирование сформированного файла бекапа на внешние сервисы, организация ротации

2. Копирование папки с файлами (общей папки пользователей) с вынесением разности в отдельную структуру.

 

Настройка

Перед использованием скрипта нужно сформировать настройки подключения к внешним сервисам, это подробно описано например https://selectel.ru/blog/rclone-rsync-dlya-oblakov/.

Конфиг хранится в виде текстового файла в профиле пользователя от которого запускается утилита.

Шифрование настраивается поверх настроенного подключения, более подробно описано в https://rclone.org/crypt/ и вместо подключения "selectel_site_archive" можно использовать "selectel_site_archive_crypt"

 

Копирование сформированного файла бекапа на внешние сервисы

Скрипт копирования на внешние ресурсы:

# Создаем папку
rclone mkdir selectel_site_archive:back_up_sites/sitename_ru/daily

# Копируем бекап на Я-диск, используется для разворачивания тестов
rclone copy -v /home/bitrix/backup/archive/daily yandex_disk:sitename_ru

# Удаляем старые версии, нужна только от текущего числа
rclone delete yandex_disk:sitename_ru --min-age 1d

# Перемещаем копию в основное хранилище
rclone move -v /home/bitrix/backup/archive/daily selectel_site_archive:back_up_sites/sitename_ru/daily

# Удаляем старые копии старше недели
rclone delete selectel_site_archive:back_up_sites/sitename_ru/daily --min-age 7d

По аналогии можно добавить декадные, ежемесячные и.т.д.

 

Копирование папки с файлами с вынесением разности в отдельную структуру.

Полный бекап файлового хранилища достаточно затратно и не всегда удобно из него восстанавливаться. Вариант решения:

REM @ECHO OFF
SET CURRENT_DAY="%date:~-4,4%_%date:~-7,2%_%date:~-10,2%_%time:~-11,2%-%time:~-8,2%-%time:~-5,2%"
SET CURRENT_DAY=%CURRENT_DAY:"=%
C:\rclone\rclone.exe sync \\storage.localnet.ru\public\ E:\public\ --backup-dir E:\public_backup\%CURRENT_DAY%

Запускаю раз в час, получаю свежий бекап общей папки и разность в отдельной структуре с подписанным временем. В моем понимании минимальная защита от шифровальщиков есть.

 

Благодарю за внимание.

rclone резервное копирование

См. также

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS!

6000 руб.

06.11.2012    72788    625    45    

84

Архивирование (backup) Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Программа позволяет выполнять автоматическое создание копий файловых и серверных информационных баз 1С Предприятие 8 и размещение копий в облаке Яндекс.Диск, локальном или сетевом ресурсе.

1200 руб.

03.09.2014    15705    21    6    

27

Архивирование (backup) Администрирование СУБД Системный администратор Россия Бесплатно (free)

Постараюсь объяснить, зачем нужно резервное копирование именно журнала транзакций, а не только базы данных, и почему я словно сбросил груз, настроив его - как, покажу, естественно. Кстати, будут скрипты T-SQL (с подробными комментариями) - отличный способ сделать администрирование базы более уютным.

04.12.2023    9426    n_mezentsev    15    

27

Архивирование (backup) Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

В данной инструкции будет описано, как с помощью pgAdmin, bat-файлов и планировщика заданий Windows организовать резервное копирование, восстановление и хранение копий баз данных.

07.10.2022    28598    sapervodichka    37    

147

Архивирование (backup) Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Россия Абонемент ($m)

Захотелось клиентам выгрузку архива баз, и выгрузку в дт, готовые скрипты с сети не заработали. Может, кому-то поможет. Релиз 8.3.18.1741.

1 стартмани

25.08.2022    5732    3    Gnom-Gluck    6    

7

Архивирование (backup) Системный администратор Программист Платформа 1С v8.3 Абонемент ($m)

Небольшая утилита для копирования файловых баз данных 1С.

1 стартмани

02.06.2022    4689    3    Giblarium    12    

5
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. пользователь 21.01.20 22:47
Сообщение было скрыто модератором.
...
2. пользователь 22.01.20 14:44
Сообщение было скрыто модератором.
...
3. пользователь 22.01.20 17:59
Сообщение было скрыто модератором.
...
4. OscarTT 10.07.24 01:10 Сейчас в теме
Добрый день.
Как подстраховаться в такой ситуации:
Локальный каталог с бэкапами копируется в облако ЯД.
Для того чтобы облако не захламлялось, добавляются ключи для удаления файлов старше 7 дней.
Пока в локальном каталоге существуют файлы, все идет по плану.
Но если вдруг локально перестали делаться бэкапы (перестали появляться новые файлы), то в облаке через 7 дней не останется ни одного файла.
Т.е. через месяц бездействия системы архивирования локально будут храниться только файлы месячной давности, а в облаке будет пусто. Это еще можно пережить.
Но самое печальное если вдруг локально будет очищен каталог, тогда и в облаке через 7 дней будет пусто.
Можно ли rclone научить удалять файлы старше 7 дней, НО оставлять в облаке файлы младше 3 дней?
5. malikov_pro 1324 02.11.24 00:45 Сейчас в теме
(4) Научится немного писать на питоне и сделать проверку успешно бекапа или наличия файла.
https://infostart.ru/1c/articles/1625361/ - здесь есть примеры
Оставьте свое сообщение