Организация резервного копирования файлов с использованием rclone

21.01.20

База данных - Архивирование (backup)

Описание использования достаточно универсальной утилиты по синхронизации файлов.

Вводные

Rclone - умеющая синхронизировать файлы с различными внешними сервисами, список можно посмотреть на главной https://rclone.org/

Для меня из удобств

1. работает на nix и win без дополнительных усилий

2. варианты подключения к сервисам

3. умение шифровать на лету

 

Рассматриваю варианты использования исходя из собственного опыта

1. Копирование сформированного файла бекапа на внешние сервисы, организация ротации

2. Копирование папки с файлами (общей папки пользователей) с вынесением разности в отдельную структуру.

 

Настройка

Перед использованием скрипта нужно сформировать настройки подключения к внешним сервисам, это подробно описано например https://selectel.ru/blog/rclone-rsync-dlya-oblakov/.

Конфиг хранится в виде текстового файла в профиле пользователя от которого запускается утилита.

Шифрование настраивается поверх настроенного подключения, более подробно описано в https://rclone.org/crypt/ и вместо подключения "selectel_site_archive" можно использовать "selectel_site_archive_crypt"

 

Копирование сформированного файла бекапа на внешние сервисы

Скрипт копирования на внешние ресурсы:

# Создаем папку
rclone mkdir selectel_site_archive:back_up_sites/sitename_ru/daily

# Копируем бекап на Я-диск, используется для разворачивания тестов
rclone copy -v /home/bitrix/backup/archive/daily yandex_disk:sitename_ru

# Удаляем старые версии, нужна только от текущего числа
rclone delete yandex_disk:sitename_ru --min-age 1d

# Перемещаем копию в основное хранилище
rclone move -v /home/bitrix/backup/archive/daily selectel_site_archive:back_up_sites/sitename_ru/daily

# Удаляем старые копии старше недели
rclone delete selectel_site_archive:back_up_sites/sitename_ru/daily --min-age 7d

По аналогии можно добавить декадные, ежемесячные и.т.д.

 

Копирование папки с файлами с вынесением разности в отдельную структуру.

Полный бекап файлового хранилища достаточно затратно и не всегда удобно из него восстанавливаться. Вариант решения:

REM @ECHO OFF
SET CURRENT_DAY="%date:~-4,4%_%date:~-7,2%_%date:~-10,2%_%time:~-11,2%-%time:~-8,2%-%time:~-5,2%"
SET CURRENT_DAY=%CURRENT_DAY:"=%
C:\rclone\rclone.exe sync \\storage.localnet.ru\public\ E:\public\ --backup-dir E:\public_backup\%CURRENT_DAY%

Запускаю раз в час, получаю свежий бекап общей папки и разность в отдельной структуре с подписанным временем. В моем понимании минимальная защита от шифровальщиков есть.

 

Благодарю за внимание.

Вступайте в нашу телеграмм-группу Инфостарт

rclone резервное копирование

Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

См. также

Архивирование (backup) Инструменты администратора БД Системный администратор Программист 1С 8.3 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем Абонемент ($m)

Полностью автоматизированная внешняя обработка для администрирования 1С: блокировка/разблокировка ИБ, массовое завершение сеансов, резервное копирование и восстановление из .dt, выгрузка/загрузка конфигурации (.cf), пакетная работа с расширениями (.cfe) и дополнительными обработками – всё через удобную форму без ручных запусков конфигуратора и консоли кластера

1 стартмани

21.01.2026    4774    48    war41k    0    

17

Архивирование (backup) Групповая разработка (Git, хранилище) Системный администратор Программист Бесплатно (free)

Как дать возможность каждому разработчику 1С вести разработку, тестирование и оптимизацию на собственной полноразмерной копии базы и при этом не тратить миллиарды рублей и тысячи часов на развертывание тестового окружения, а так же экономить дисковое пространство? Расскажем о том, как с помощью инструмента Database Lab получать полноразмерные копии базы 1C на СУБД PostgreSQL за считанные секунды (даже в случае использования многотерабайтных баз).

15.12.2025    9597    nasonkin    18    

30

Архивирование (backup) Системный администратор 1С 8.3 Бесплатно (free)

Предлагаю Вашему вниманию 3 скрипта на bash (sh) для архивирования (backup) типовых конфигураций на Linux средствами 1С и Postgres. Перед запуском корректно заполните раздел "Параметры" в соответствии с Вашими настройками.

20.01.2025    4345    Prelude    5    

12

Архивирование (backup) 1С:Предприятие 8 1С:Управление нашей фирмой 3.0 Платные (руб)

Расширение поможет настроить резервное копирование баз SQL в стандартный файл выгрузки баз 1С (*.dt).

3 стартмани

27.08.2024    3600    1    a_kudaev    6    

2

HighLoad оптимизация Администрирование СУБД Архивирование (backup) Системный администратор Программист 1С:Предприятие 8 Бесплатно (free)

Бэкап в Postgres состоит из набора граблей, которые нужно обойти для успешного восстановления. Они заложены в самых неожиданных местах от предмета резервного копирования (база или кластер) до структуры каталогов. Один неверный шаг и восстановление будет невозможным. Почему нельзя было сделать проще, как в MS SQL или Oracle? Почему бэкап в Postgres оставляет впечатление чьей-то лабораторной работы? Статья адресована прежде всего специалистам 1С, избалованным комфортом в MS SQL, в суровых буднях импортозамещения на Postgres.

13.08.2024    9169    1CUnlimited    11    

6

Инструменты администратора БД Архивирование (backup) Системный администратор Программист 1С:Предприятие 8 Абонемент ($m)

Обработка для "обновления" своей тестовой базы из резервной копии рабочей базы без помощи админов.

1 стартмани

21.05.2024    4372    15    DenDev01    4    

9

Архивирование (backup) Администрирование СУБД Системный администратор Россия Бесплатно (free)

Постараюсь объяснить, зачем нужно резервное копирование именно журнала транзакций, а не только базы данных, и почему я словно сбросил груз, настроив его - как, покажу, естественно. Кстати, будут скрипты T-SQL (с подробными комментариями) - отличный способ сделать администрирование базы более уютным.

04.12.2023    17871    n_mezentsev    15    

27
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. пользователь 21.01.20 22:47
Сообщение было скрыто модератором.
...
2. пользователь 22.01.20 14:44
Сообщение было скрыто модератором.
...
3. пользователь 22.01.20 17:59
Сообщение было скрыто модератором.
...
4. OscarTT 10.07.24 01:10 Сейчас в теме
Добрый день.
Как подстраховаться в такой ситуации:
Локальный каталог с бэкапами копируется в облако ЯД.
Для того чтобы облако не захламлялось, добавляются ключи для удаления файлов старше 7 дней.
Пока в локальном каталоге существуют файлы, все идет по плану.
Но если вдруг локально перестали делаться бэкапы (перестали появляться новые файлы), то в облаке через 7 дней не останется ни одного файла.
Т.е. через месяц бездействия системы архивирования локально будут храниться только файлы месячной давности, а в облаке будет пусто. Это еще можно пережить.
Но самое печальное если вдруг локально будет очищен каталог, тогда и в облаке через 7 дней будет пусто.
Можно ли rclone научить удалять файлы старше 7 дней, НО оставлять в облаке файлы младше 3 дней?
5. malikov_pro 1355 02.11.24 00:45 Сейчас в теме
(4) Научится немного писать на питоне и сделать проверку успешно бекапа или наличия файла.
https://infostart.ru/1c/articles/1625361/ - здесь есть примеры
Для отправки сообщения требуется регистрация/авторизация