Организация резервного копирования файлов с использованием rclone

21.01.20

База данных - Архивирование (backup)

Описание использования достаточно универсальной утилиты по синхронизации файлов.

Вводные

Rclone - умеющая синхронизировать файлы с различными внешними сервисами, список можно посмотреть на главной https://rclone.org/

Для меня из удобств

1. работает на nix и win без дополнительных усилий

2. варианты подключения к сервисам

3. умение шифровать на лету

 

Рассматриваю варианты использования исходя из собственного опыта

1. Копирование сформированного файла бекапа на внешние сервисы, организация ротации

2. Копирование папки с файлами (общей папки пользователей) с вынесением разности в отдельную структуру.

 

Настройка

Перед использованием скрипта нужно сформировать настройки подключения к внешним сервисам, это подробно описано например https://selectel.ru/blog/rclone-rsync-dlya-oblakov/.

Конфиг хранится в виде текстового файла в профиле пользователя от которого запускается утилита.

Шифрование настраивается поверх настроенного подключения, более подробно описано в https://rclone.org/crypt/ и вместо подключения "selectel_site_archive" можно использовать "selectel_site_archive_crypt"

 

Копирование сформированного файла бекапа на внешние сервисы

Скрипт копирования на внешние ресурсы:

# Создаем папку
rclone mkdir selectel_site_archive:back_up_sites/sitename_ru/daily

# Копируем бекап на Я-диск, используется для разворачивания тестов
rclone copy -v /home/bitrix/backup/archive/daily yandex_disk:sitename_ru

# Удаляем старые версии, нужна только от текущего числа
rclone delete yandex_disk:sitename_ru --min-age 1d

# Перемещаем копию в основное хранилище
rclone move -v /home/bitrix/backup/archive/daily selectel_site_archive:back_up_sites/sitename_ru/daily

# Удаляем старые копии старше недели
rclone delete selectel_site_archive:back_up_sites/sitename_ru/daily --min-age 7d

По аналогии можно добавить декадные, ежемесячные и.т.д.

 

Копирование папки с файлами с вынесением разности в отдельную структуру.

Полный бекап файлового хранилища достаточно затратно и не всегда удобно из него восстанавливаться. Вариант решения:

REM @ECHO OFF
SET CURRENT_DAY="%date:~-4,4%_%date:~-7,2%_%date:~-10,2%_%time:~-11,2%-%time:~-8,2%-%time:~-5,2%"
SET CURRENT_DAY=%CURRENT_DAY:"=%
C:\rclone\rclone.exe sync \\storage.localnet.ru\public\ E:\public\ --backup-dir E:\public_backup\%CURRENT_DAY%

Запускаю раз в час, получаю свежий бекап общей папки и разность в отдельной структуре с подписанным временем. В моем понимании минимальная защита от шифровальщиков есть.

 

Благодарю за внимание.

rclone резервное копирование

См. также

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS!

6000 руб.

06.11.2012    73526    629    45    

88

Архивирование (backup) Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Программа позволяет выполнять автоматическое создание копий файловых и серверных информационных баз 1С Предприятие 8 и размещение копий в облаке Яндекс.Диск, локальном или сетевом ресурсе.

1200 руб.

03.09.2014    15918    21    6    

27

Архивирование (backup) Платформа 1С v8.3 1С:Управление нашей фирмой 3.0 Платные (руб)

Расширение поможет настроить резервное копирование баз SQL в стандартный файл выгрузки баз 1С (*.dt).

2400 руб.

27.08.2024    1452    1    6    

1

HighLoad оптимизация Администрирование СУБД Архивирование (backup) Системный администратор Программист Платформа 1С v8.3 Бесплатно (free)

Бэкап в Postgres состоит из набора граблей, которые нужно обойти для успешного восстановления. Они заложены в самых неожиданных местах от предмета резервного копирования (база или кластер) до структуры каталогов. Один неверный шаг и восстановление будет невозможным. Почему нельзя было сделать проще, как в MS SQL или Oracle? Почему бэкап в Postgres оставляет впечатление чьей-то лабораторной работы? Статья адресована прежде всего специалистам 1С, избалованным комфортом в MS SQL, в суровых буднях импортозамещения на Postgres.

13.08.2024    3375    1CUnlimited    9    

6

Архивирование (backup) Администрирование СУБД Системный администратор Россия Бесплатно (free)

Постараюсь объяснить, зачем нужно резервное копирование именно журнала транзакций, а не только базы данных, и почему я словно сбросил груз, настроив его - как, покажу, естественно. Кстати, будут скрипты T-SQL (с подробными комментариями) - отличный способ сделать администрирование базы более уютным.

04.12.2023    10285    n_mezentsev    15    

27

Архивирование (backup) Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

В данной инструкции будет описано, как с помощью pgAdmin, bat-файлов и планировщика заданий Windows организовать резервное копирование, восстановление и хранение копий баз данных.

07.10.2022    30752    sapervodichka    37    

147
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. пользователь 21.01.20 22:47
Сообщение было скрыто модератором.
...
2. пользователь 22.01.20 14:44
Сообщение было скрыто модератором.
...
3. пользователь 22.01.20 17:59
Сообщение было скрыто модератором.
...
4. OscarTT 10.07.24 01:10 Сейчас в теме
Добрый день.
Как подстраховаться в такой ситуации:
Локальный каталог с бэкапами копируется в облако ЯД.
Для того чтобы облако не захламлялось, добавляются ключи для удаления файлов старше 7 дней.
Пока в локальном каталоге существуют файлы, все идет по плану.
Но если вдруг локально перестали делаться бэкапы (перестали появляться новые файлы), то в облаке через 7 дней не останется ни одного файла.
Т.е. через месяц бездействия системы архивирования локально будут храниться только файлы месячной давности, а в облаке будет пусто. Это еще можно пережить.
Но самое печальное если вдруг локально будет очищен каталог, тогда и в облаке через 7 дней будет пусто.
Можно ли rclone научить удалять файлы старше 7 дней, НО оставлять в облаке файлы младше 3 дней?
5. malikov_pro 1326 02.11.24 00:45 Сейчас в теме
(4) Научится немного писать на питоне и сделать проверку успешно бекапа или наличия файла.
https://infostart.ru/1c/articles/1625361/ - здесь есть примеры
Оставьте свое сообщение