Резервное копирование "онлайн" клиент-серверных баз в dt (не отключая пользователей)
База данных - Архивирование (backup)
В статье я расскажу о том, зачем и как мы реализовали архивирование баз данных в dt в режиме онлайн без отключения сеансов пользователей.
Большинству компаний, у которых есть собственный IT отдел, сервера и статичный перечень рабочих баз, вполне может хватать и стандартных средств онлайн архивации средствами выбранного ими SQL сервера. В этом случае возникает только одно неудобство: Чтобы развернуть такую базу хотя бы в копию, нужен работающий SQL сервер, желательно не тот, где развернута рабочая база, также нужны навыки работы с SQL сервером. В общем, этот вариант, замечательный для IT службы, не очень удобен для программистов 1С, которые для разработки очень часто разворачивают файловые варианты баз.
В силу ориентированности нашего датацентра на партнеров (программистов 1С), которые находятся в нашем облаке и особенностей реализации самого облака мы реализовали такую возможность. Итак что для этого понадобилось и как работает архивирование онлайн.
Мы рассматривали несколько вариантов реализации бекапов в онлайн.
Один из рассмотренных вариантов — это воспользоваться средствами самого SQL, pgdump или pg_basebackup. Например:
Создадим дамп базы данных по имени, в файл
pg_dump -U postgres base > pgsql.backup
Создадим новую базу base-backup
createdb -T template0 base-backup
Зальем наш дамп базы из файла в созданную только что базу
psql -U postgres base-backup < pgsql.backup
Но этот вариант и другие, которые требуют копирования большого количества данных, мы сразу забраковали по следующим причинам:
Если база большого размера, то
- Процесс дампа значительно нагружает систему.
- Нужно довольно много дорогостоящего места на дисках, где распологаются SQL сервера.
- В наших кластерах, где сотни информационных баз, использование значительных ресурсов для бекапов очень расточительно.
И мы разработали следующий алгоритм бекапов, который полностью нас устроил:
Особенности реализации:
Postgresql в среде виртуализации.
Среда виртуализауции построена на базе системы linux.
Файловая система среды виртуализации поддерживает снапшоты и работает по COW технологии
1. Сервера PostgreSQL развернуты на файловой системе с поддержкой COW (CopyOnWrite). В вашем случае это может быть вtrfs или zfs. (Зависит от предпочтений linux или freebsd).
В нашем случае откомпилированный под freebsd postgresql на zfs показал лучшую производительность, чем под linux.
Это дает возможность сделать мгновенный снимок блочного устройства практически с нулевыми затратами.
Поэтому на первом шаге мы выполняем SQL команду в нужной нам базе:
CHECKPOINT;
Таким образом сбрасывая на диск все завершенные транзации PostgreSQL
И сразу после этого создаем снапшот системы, например:
btrfs subvolume snapshot /mnt/data/lxc1001 /mnt/data/lxc1001-backup
или
zfs clone rpool/data/jail1001@clone rpool/data/jail1001-backup
У нас процесс автоматизирован, поэтому время между CHECKPOINT и снапшотом составляет доли секунды. Таким образом мы получаем клон файловой системы PostgreSQL на момент времени.
2. На следующем шаге мы должны превратить наш диск в vm qemu, lxc или jail freebsd.
Поскольку диск уже существует, то нам остается только сгенерировать конфигурационный файл для нашей машины, что также делается практически мгновенно, если процесс автоматизирован. Если вы используете KVM виртуализацию, не забудьте поместить новую виртуальную машину или в изолированную виртуальную сеть или vlan, поскольку после старта у нее будет такой же адрес как и у оргинального postgresql.
3. Далее процесс уже вполне понятен. На сервере 1С мы создаем новую базу и указываем новый postgresql сервер. (Программно можно через RAS ). Чтобы снизить нагрузку на оборудование и сделать процесс бекапа наименее заметным для пользователей, лучше всего для целей бекапов держать отдельный сервер 1С на отдельном оборудовании, на котором не работают пользователи.
4. Подключаемся конфигуратором и выгружаем базу в dt.
5. Уничтожаем созданную базу на сервере 1С, виртуальную машину Postgresql и затем созданный клон и снапшот.
Вот, собственно, и всё.
Подытожим преимущества данного способа:
- Минимальное количество дисковых операций и затраты на дисковое пространство
- Минимальное время (если автоматизировано) на подготовку Postgres для выгрузки dt.
- Если сервер 1С для бекапов развернут на отдельном оборудовании, то пользователи даже не заметят процесса выгрузки архивной копии.
Вступайте в нашу телеграмм-группу Инфостарт
выгрузка dt архивирование копии баз бекап облачное резервирование.
Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».
- 0% комиссии — оплата напрямую исполнителю;
- Исполнители любого масштаба — от отдельных специалистов до команд под проект;
- Прямой обмен контактами между заказчиком и исполнителем;
- Безопасная сделка — при необходимости;
- Рейтинги, кейсы и прозрачная система откликов.
См. также
Архивирование (backup) Инструменты администратора БД 1С:Предприятие 8 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)
Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS! Версия 1.4 от 28.05.2026
7320 руб.
06.11.2012 80606 635 45
Архивирование (backup) Системный администратор Разработчик 1С:Предприятие 8 Россия Бесплатно (free)
Обычный архив базы 1С — чёрный ящик: файл вроде бы есть, но что в нём, когда он сделан и поднимется ли из него база, никто толком не знает, пока не случится беда. В статье я рассказываю, как мы сделали архив, в который можно зайти в любой момент: вторую живую базу 1С, полную копию рабочей, которая пополняется пообъектно через HTTP-сервисы примерно раз в минуту. Разбираю устройство: управляющая система вместо прямого обмена, расширение, которое не меняет данные, проверка хэша при снятии регистрации, автоматическое обновление структуры архива после обновления конфигурации, архивная база на PostgreSQL с инкрементными копиями. Отдельно — защита от шифровальщиков, пароли и версия расширения для концепции нулевого доверия, а также честные ограничения схемы.
12.11.2026 439 MikeT 4
Информационная безопасность Архивирование (backup) Системный администратор Разработчик 1С 8.3 Бесплатно (free)
Утром базы не открылись: ночью хакеры зашифровали серверы, базы 1С, почту, кассы, мобильные приложения и бэкапы в сети. Критичные базы подняли из копий на отключённых дисках и потеряли около 10 часов данных. Рассказываю, как прошли первые сутки, что увидел только человек, что мы закрыли после атаки и какие двери в самой базе 1С программист может проверить у себя уже сегодня.
10.11.2026 17232 nedomolkov.ivan 70
Архивирование (backup) Обновление 1С Системный администратор Разработчик 1С 8.3 Бесплатно (free)
Платформа 8.3.17, MS SQL Server: обновление конфигурации падает через 15 секунд на этапе обновления предопределённых данных, и конфигуратор при каждом входе предлагает только повторить. Проверьте у себя, когда сделана последняя полная копия базы: у нас её не было почти месяц. Разбор по минутам: что не помогло (перезапуск агента сервера 1С, перезагрузка, пакетный /UpdateDBCfg, три совета со стороны) и почему. Как ibcmd достал .dt из базы, которая не открывается, и как новую базу подставили под старым именем в кластере 1С через rac, не трогая пользователей. Простой 57 минут, потерь данных нет. Отдельно ошибки ИИ-агента Claude, который работал на сервере, и порядок действий на случай, если это случилось у вас.
03.11.2026 915 nedomolkov.ivan 14
Архивирование (backup) Инструменты администратора БД Системный администратор Разработчик 1С 8.3 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем Абонемент ($m)
Полностью автоматизированная внешняя обработка для администрирования 1С: блокировка/разблокировка ИБ, массовое завершение сеансов, резервное копирование и восстановление из .dt, выгрузка/загрузка конфигурации (.cf), пакетная работа с расширениями (.cfe) и дополнительными обработками – всё через удобную форму без ручных запусков конфигуратора и консоли кластера
1 стартмани
21.01.2026 6664 67 war41k 0
Архивирование (backup) Групповая разработка (Git, хранилище) Системный администратор Разработчик Бесплатно (free)
Как дать возможность каждому разработчику 1С вести разработку, тестирование и оптимизацию на собственной полноразмерной копии базы и при этом не тратить миллиарды рублей и тысячи часов на развертывание тестового окружения, а так же экономить дисковое пространство? Расскажем о том, как с помощью инструмента Database Lab получать полноразмерные копии базы 1C на СУБД PostgreSQL за считанные секунды (даже в случае использования многотерабайтных баз).
15.12.2025 14386 nasonkin 19
Архивирование (backup) Учет документов Бухгалтер 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)
В текущих версиях 1С пока нет функции, позволяющей автоматически отмечать возврат оригиналов документов с помощью сканера штрих-кодов. Многие контрагенты часто сталкиваются с проблемой утери оригиналов УПД или их невозврата. В ответ на эти запросы было разработано расширение, которое упрощает контроль за возвратом оригиналов документов и помогает лучше организовать их хранение.
12200 руб.
19.02.2025 3003 3 0
Архивирование (backup) Системный администратор 1С 8.3 Бесплатно (free)
Предлагаю Вашему вниманию 3 скрипта на bash (sh) для архивирования (backup) типовых конфигураций на Linux средствами 1С и Postgres. Перед запуском корректно заполните раздел "Параметры" в соответствии с Вашими настройками.
20.01.2025 6087 Prelude 5
1) создал пустую базу в мс скл для выгрузки в дт
2) создал в ней представления (скриптом) на таблицы базы ,из которой нужно сделать дт
3) создал базу в кластере ручками (но сейчас можно скриптом)
4) выгрузил дт ручками (сейчас можно скриптом).
думаю такое можно сделать и в postgresql. ведь чудес не бывает - и за использование COW все равно расплачиваетесь падением производительности.
Интересно, как вы думаете зачем 1С тогда сделала возможность резервирования только в монопольном режиме?
Что будет с содержимым вашего архива, когда бекап делается минут 30, а за эти 30 минут пользователи активно вводят данные?
Кому он вдруг понадобился при таком уровне автоматизации администрирования??
Кому он вдруг понадобился при таком уровне автоматизации администрирования??
Странный вопрос ) Именно программисты и спрашивают. У нас в облаке кроме пользователей крутятся и сторонние программисты. И на удивление, им зачем-то постоянно нужны именно свежие dt для доработок клиента. Часто еще сервер хранилища конфигураций просят настроить. Наверное, все-таки разработка на локальной файловой базе идет быстрее.
Программист должен владеть основными операциями СУБД. MS владеют все. PG отдельные. Если это не так - то это еще не программист. (недавно коллега спросила как установить себе на комп 1с сервер... беда...)
В конце концов администратор БД всегда придет на помощь и покажет как и что делается. Да и гугл кагбэ есть.
Разработка в файловом варианте тестовой базы (только если заказчик не пользует файловый) - нонсенс и дилетантство.
Никто ведь и не говорит, что бекап средствами sql делается медленно. Наше облако делает 4-х кратное резервирование и файловой системой и резервными хранилищами и бекапами целиком виртуальных машин с sql и средствами sql. Статья называется "Как делать бекапы в dt в онлайн режиме". О том и речь.
У нас в облаке есть и большие базы и по 50Гб и больше. В них, действительно программисты вынуждены вести разработку в режиме клиент-сервер, но большая часть баз - это средние организации с количеством рабочих мест 5-20 с базами по 2-5Гб со своими сторонними программистами, которые подключаются к нам в облако и быстро вносят какие-либо правки "по старинке" в свою файловую базу.
В то же время 1С не рекомендует использовать выгрузку в dt для целей резервного копирования.
Правильное архивирование файловой базы - это копирование содержимого каталога, когда в базе никого нет, серверной базы - бэкап средствами СУБД
В общем не стоит говорить, что dt не является бэкапом. Это полноценный бэкап. А рекомендуется этот метод для резервирования или нет это другой вопрос.
сегодня только пробовал использовать типовую обработку по переносу БП 3.0 в КА 2.4 и что. в ...опе бы им всем...
Если "битый" бэкап:
Средствами СУБД - при неудачном восстановлении база восстанавливается на момент заливки бэкапа.
DT - при неудачном восстановлении гробит базу наглухо, итог: нет базы и нет бэкапа (т.к. он "битый").
Думаю, плюсы очевидны.
И еще я вроде как подчеркнул, что не рекомендую делать бэкапы через dt, я лишь настаиваю, что на мой взгляд, делать их для разовых бэкапов имеет смысл.
Событие нечастое, но случаи были
Ключевое то что у вас облако и мелкие базы. И вы с программистами по разные стороны барикад. ))) Конечно это метод. Идея известная. За публикацию респект.
Я, например, работаю с клиентами >50Гб. Поэтому и другой взгляд на вещи.
Думаю, что не нужно объяснять, что при "правильном" программировании конфа должна быть работоспособна и в к-с и в файловом варианте.
Скажем так, это сильно "по старинке". Если уж "сторонние программисты" не умеют работать с Хранилищем (а вы им, как облачники, часто этого толком не позволяете), не проще ли, с точки зрения бизнеса и удобной опции отдельной строчкой в прайсе сделать "вчерашнюю копия базы" ведь очень редко "сопровождающему лицу" нужен прямо актуальный DT
Я как раз из тех "сопровождающих", у которого свой аккаунт на облаке, а клиентов я туда привожу по партнерке. И в моём случае ТП облака пошли навстречу - одна и та же SQL база видна и у меня,и у сопровождаемых мною клиентов, и есть одна "собственная" SQL база "Текущий клиент" (на сервере с отладкой), куда мне ТП делает копию базы по моему запросу (средствами MS SQL конечно)
А у вас с точки зрения технаря вроде всё нормально сделано - "Задачу поставили - задачу решили", а вот с точки зрения бизнеса и бизнес-заказчиков - костыль, Я уж молчу про безопасность - ведь получается вы физически знаете логин/пароль пользователя ПП, раз сами выгрузку инициируете в dt? - значит возможностей для злоупотребления у сотрудников облака куда как больше
Если выгружать в DT это будет дольше, да и потом этот DT можно засунуть себе куда подальше, так как из него не развернуть файловую базу...
Тогда зачем нужен этот DT спрашивается)))
Только для маленьких баз приведенный в статье материал.
а как известно там сплошной текст и числа
а все это дело архиваторы любя и жмут довольно таки бодро
ну и не стоит забывать, что в базе есть и двоичные данные выраженные в изображениях
Именно )
И у нас не скрипты, а специально разработанная конфигурация для обслуживания Датацентра.
все можно сделать командной строчкой
Этот dt-шник программерам нужен не часто. Чаще им надо потестироваться на актуальных данных. И они могут делать это прямо на копии по vpn или http. И зачем вгонять СУБД и кластер 1С в виртуальные машины? От этого им сразу нехорошо.
pg_dump из рабочей
pg_restore в копию с --clean
и 1cv8.exe .... /DumpIB и все это ночью или раз в неделю
Сисадмины любят снэпшоты. А здесь мгновенный способ выкинуть насторону dtшник, не теребя дампом сервер платящих клиентов.
Правда сервер будет пережевывать всю эту виртуализацию, имея по тесту гилева 8-11 попугаев, ну а так у большинства т.н. "продакшенов" в рф . Часто ли платят за повышение количества попугаев?
Годный прием сисадминства - "откинь проблемы эффективно". К ней еще прилагается - "работает - не трожь"
Прочитав тему я понял, что для описанного автором способа необходимо... нужен работающий SQL сервер, желательно не тот, где развернута рабочая база, также нужны навыки работы с SQL сервером и необходимо знание систем виртуализации, желателен опыт отлова косяков в последних.
зачем мне еще больше переменных при решении подобных задач?
Этот дамп - единственная многонитевая\многопроцессорная функция в платформе.
Поэтому все завиртуалено. Тонна компромиссов. Не нужно все это, когда мало данных.
P.S. Статья узкоспециализированная под конкретную задачу, под конкретную СУБД, написанная скорее всего системным администратором.
А что тут сложного? Если 1Сник это не может, то не знаю для чего он нужен.
У 1сника работа - данные, а не игра в глупенькие разборки "сисадмин против 1сника".
Этот метод вполне рабочий, если перекидывается большими данными в 300, 500 Gb - 1 Tb.
Банальное бэкапирование (сюрприз!) и на линуксе делается не менее банально, чем на ms
Статья про другое. Как вы правильно заметили - она про решение конкретной узкой задачи. Про очень эффективное решение. Только вы ошиблись - суть предлагаемой технологии не является специфичной для конкретной СУБД, несмотря на то что описывается она в приложении к postgresql.
А если вам не нравится, что она выходит за рамки пресловутой "привычной области знаний рядовых одинэсников", то это каким-то луддизмом попахивает, извините.
таким образом, чтобы ни происходило в течение 2-х суток - риски минимизированы. Ну а если вы в течение 2-х суток не заметили проблем с базой, то это уже проблемы квалификации
Как уже говорили dt файл не самый лучший вариант хранения, я один раз столкнулся что база из dt не грузиться и ни как было не поднять.
Зато видел на ms sql базу битую , она работала, но не тестировалась и не с сохранялась штатными средствами, зато бекапы sql работали на ура.
По поводу нужны разработчикам dt.... Если база более 4 гигов, то быстрее её разворачивать из бекапа sql чем из dt, и если разработчик в теме он знает как поставить себе на рабочем месте сервер 1С для личного использования.
1. Мы это можем.
2. Это требования облачных договоров. Чтобы клиенты облака могли периодически забирать архивы своих баз. Все-таки в dt они имеют наименьший размер.
Для чего делались этот механизм и другие интересные решения благодаря возможностям платформы виртуализации на нашем вебинаре:
Делаем и резервное копирование причем 2-х кратное, с дублированием на резервное хранилище архивов ). Резервные копии делаются целиком виртуальных машин. И я об этом писал выше. Так, что вы зря думаете, что у нас облако резервируется только выгрузками в dt.
Просто наши резервные копии виртуальных машин исключительно для внутреннего использования у нас и никак не интересны нашим партнерам и фрилансерам, которые располагаются у нас в облаке.
У нас архивированием занимается управляющая база. В ней сейчас настроено ограничение на 15 параллельных бекапов. Конечно, когда они выполняются параллельно, то бекапы делаются несколько медленнее, но пользователям этого практически не видно. За бекапы отвечает специально предназначенный для этого хост.
вечером каждый раз снимается автоматом бэкап на MS SQL, далее он разворачивается также автоматом на копии базы, затем автоматом с этой копии выгружается dt - так на всякий случай, но это пока база в 8 гигов.
Потому как если успешно выгружается dt, то это не просто верификация бэкапа, но и весомое подтверждение логической целостности данных в нем.
Но на больших данных такая схема проблематична из-за высокой ресурсоемкости.
ЗЫ. Хотя надежнее, наверное, запускать ТиИ в пакетном режиме. Там можно указать вывод результатов в лог и потом лог анализировать.
Которая на уровне гипервизора, правильно я понимаю? То есть если мы развернём виртуалку с MS SQL на борту, то алгоритм тот же самый - чекпоинт, клоним диск с файлами MS SQL, и далее по тексту.
Не совсем. У нас Postgres физически на zfs. MS SQL на zfs можно поместить только через zvol, поскольку MS может быть только в KVM. А в этом случае нужно еще заботиться о сбросе кешей в VM. В общем с MS такой способ менее надежен.
Начиная с версии платформы 8.3.14, есть такой инструмент, как автономный сервер. С помощью этого инструмента можно выгрузить DT, не выгоняя пользователей из базы. Быстро и не надо с репликациями заморачиваться....
И любой здравомыслящий человек не думает. Потому, что сделать целостную выгрузку не выгоняя пользователей невозможно без специальных механизмов. Они есть во "взрослых" СУБД. Они есть в файловых системах с использованием COW. А для обычного файлового режима единственный способ это сделать - заблокировать на время выгрузки работу пользователей. Ничего подобного в документации нет. Больше всего это действительно смахивает на багофичу, которой можно легко и просто получить "битый" dt.
Если я невнимательно читал документацию, то укажите конкретно место в документации, где написано, что автономный сервер решает проблему создания копий в разделенном режиме.
Вы можете заказать платную консультацию или разработку у автора. Будет создан приватный заказ на «Бирже заказов» для автора.
№ 681438
Создание 03.10.17 15:17
Обновление 03.10.17 15:17
Просмотры 36247
Загрузки 0
Рейтинг
67
Комментарии 82
Код открыт Да
Рубрики Архивирование (backup)
Кому
Системный администратор
,
Разработчик
Тип файла Нет файла
Платформа 1С:Предприятие 8
Конфигурация Универсальные
Операционная система Не имеет значения
Страна Не имеет значения
Отрасль Не имеет значения
Налоги Не имеет значения
Вид учета Не имеет значения
Доступ к файлу Бесплатно (free)