Возвращаемся с PostgreSQL на Microsoft SQL Server

12.03.24

База данных - Инструменты администратора БД

Автоматизированный перенос баз данных с сервера PostgreSQL на сервер Microsoft SQL Server и обратно.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Скрипт по переходу с PostgreSQL на Microsoft SQL Server
.epf 9,59Kb
5
5 Скачать (3 SM) Купить за 2 450 руб.
Скрипт по переходу с PostgreSQL на Microsoft SQL Server на Python
.zip 1,75Kb
2
2 Скачать (3 SM) Купить за 2 450 руб.
Обработка проверки базы на работоспособность после переноса на другой сервер
.zip 4,52Kb
3
3 Скачать (1 SM) Купить за 1 850 руб.

Добрый день! Сегодня я хочу рассказать о том, как быстро вернуться назад на Microsoft SQL Server, так как переход на PostgreSQL не всегда является удачным. Почти год назад мы перевели большую часть наших баз на PostgreSQL, но на текущий момент мы пришли к выводу вернуться обратно на Microsoft SQL Server. Причин на это было много, не сказать, что каждая из них критически важная, но вкупе спустя год они привели к подобному выводу. Конкретно на наших ошибках я останавливаться не буду, т.к. данный материал — это своего рода шпаргалка, в которой описывается быстрый автоматический процесс перевода большого количества баз на Microsoft SQL Server или на PostgreSQL.

 

Задача, которая стояла передо мною:

За выходные перевести больше 20 баз на новый сервер баз данных.

 

Решение:

Т.к. не хотелось все выходные провести за компьютером, решил написать простой скрипт на python, который для указанных баз соберет итоговый скрипт, который можно будет запустить на сервере и по результату получить полный переход на новый сервер.

Сразу скажу, что выполнить скрипт на python или на one script на данном сервере не было возможности, т.к. сисадмин на установку постороннего софта ответил отказом. Итогом оставалось либо писать скрипт на PowerShell или создать простой командный файл. 

Решение было отдано в пользу командного файла.

 

Поэтапное описание решения

Скрипт нам необходимо будет запускать на сервере с Windows, поэтому файл будет с расширением «cmd».

Для простоты наш скрипт будет содержать код по переносу только одной базы «VMarkirovka_test_3». 

G:\BakUp\ - папка в которую мы будем складывать все наши файлы

G:\BakUp\log.txt - Лог файл, в который мы будем писать ход выполнения нашего скрипта 

 

Подготовительные работы

Перед созданием скрипта нам необходимо провести подготовительные работы:

Для работы мы подняли временный сервер 1С Предприятие, чтобы не загружать боевой сервер дополнительной нагрузкой. На нашем сервере 1С предприятия запускаем службу ras сервера, на котором привязаны необходимые нам базы.

В нашем случаи «vs-06» - это сервер предприятия, на котором подключены наши базы 1С. Порт используем «1540»

Команды:

    ras cluster --port=1545 vs-06:1540  

    если надо стартовать как службу в windows добавляем параметр --service

    ras cluster --service --port=1545 vs-06:1540  

Далее нам необходимо получить id нашего кластера. Для этого выполняем команду:  

  rac cluster list

    в ВЫВОДЕ видим следующее

        cluster                       : df9a3b4e-3c53-46b0-bab5-5e1d645832d2

        host                          : VS-06

        port                          : 1541

    отсюда нам нужно значение cluster: df9a3b4e-3c53-46b0-bab5-5e1d645832d2

Далее нам необходимо получить список баз на кластере и вывести его в отдельный файл «ListBases.txt». 

Выполняем следующую команду:

   rac infobase --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 summary list >> G:\BakUp\ListBases.txt

В результате в файл будет выгружен следующий текст подобный этому:

“infobase : 783cd8f7-a19a-4fa1-9f63-e51c2df84d56

name     : markirovka2_tets

descr    : "relock"

infobase : 3931fb05-ea23-41a5-99e7-e59dc6a6b980

name     : VMarkirovka_test_3

descr    : “

Из этого файла нас интересует значение поля «infobase», для каждой переносимой базы. В дальнейшем мы будем использовать это поле для работы с базой в кластере вместо ее имени.

 

Описание скрипта

1. Чтобы текст на русском языке не отображался иероглифами, в лог файле необходимо установить кодировку 1251. 

Команды:

chcp 1251

2. Добавляем описательную информацию в файл лога в виде базы и времени начала работы с данной базой (используем для этого %time%). 

Команды:

echo Время начала %time% >> G:\BakUp\log.txt
echo ----------------------------------------------------------- >> G:\BakUp\log.txt
echo VMarkirovka_test_3 >> G:\BakUp\log.txt
echo ----------------------------------------------------------- >> G:\BakUp\log.txt

3. Перед начало работы с базой ее надо заблокировать. Для этого воспользуемся командой «rac.exe infobase update», в параметрах которой указываем с какой базой мы работаем, на каком кластере и что нам необходимо сделать «--sessions-deny=on --scheduled-jobs-deny=on --denied-message="База временно заблокирована для тех. работ». 

Команды:

echo Блокируем базу время %time% >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\rac.exe" infobase --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 update --infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980 --infobase-user="Программист" --infobase-pwd="123456" --sessions-deny=on --scheduled-jobs-deny=on --denied-message="База временно заблокирована для тех. работ" >> G:\BakUp\log.txt
«--infobase-user="Программист" --infobase-pwd="123456"» - пользователь и пароль от базы данных

4. Делаем бекап базы данных на локальный диск, в нашем случаи — это файл «G:\BakUp\VMarkirovka_test_3.dt». Для бекапа воспользуемся командой «ibcmd.exe infobase dump». 

Команды:

echo Бекап базы данных время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\ibcmd.exe" infobase dump --database-server="10.10.45.23 port=5432" --database-name=VMarkirovka_test_3 --database-user=admin --database-password=4aaaf --dbms=PostgreSQL --user="Программист" --password="123456" G:\BakUp\VMarkirovka_test_3.dt >> G:\BakUp\log.txt

Описание параметров команды:

  • «--database-server ="10.10.45.23 port=5432"» – сервер PostgreSQL
  • «--database-name=VMarkirovka_test_3» - имя базы на сервере
  • «--database-user=admin» - пользователь PostgreSQL
  • «--database-password=4aaaf» - пароль на пользователя PostgreSQL
  • «--user="Программист" --password="123456"» - пользователь и пароль от базы данных

5. Восстанавливаем базу на сервере Microsoft SQL Server. Для этого воспользуемся командой «ibcmd.exe infobase create». 

Команды:

echo Восстанавливаем базу на сервер sql  время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\ibcmd.exe" infobase create --db-server=newSqlServ --dbms=MSSQLServer --db-name=VMarkirovka_test_3 --db-user=sa --db-pwd="123" --create-database --restore="G:\BakUp\VMarkirovka_test_3.dt" >> G:\BakUp\log.txt

Описание параметров команды:

  • «--db-server=newSqlServ» – сервер Microsoft SQL Server
  • «--db-name=VMarkirovka_test_3» - имя базы на сервере
  • «--db-user=sa » - пользователь на SQL Server
  • «--db-pwd="123"» - пароль на пользователя SQL Server
  • «--create-database» - параметр указывает, что эту базу надо создать на сервере
  • «--restore="G:\BakUp\VMarkirovka_test_3.dt"» - параметр указывает что нужно базу восстановить из файла

6. Далее нам необходимо на рабочем сервере 1с предприятия для данной базы указать новое местоположение базы СУБД. Для этого воспользуемся командой «rac.exe infobase update

Команды:

echo Перепривязываем на рабочем сервере 1с предприятия базу к новому серверу sql время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\rac.exe" infobase update --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 --infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980 --infobase-user="Программист" --infobase-pwd="123456" --dbms=MSSQLServer --db-server="10.10.25.35" --db-name=VMarkirovka_test_3 --db-user=sa --db-pwd="123" --descr="relock" --license-distribution=allow >> G:\BakUp\log.txt

Описание параметров команды:

  • «--cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2» - кластер на котором мы обновляем базу
  • «--infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980» - база на кластере, которую мы обновляем
  • «--infobase-user="Программист" --infobase-pwd="123456"» - пользователь и пароль от базы данных
  • «--dbms=MSSQLServer» - тип СУБД на сервере баз данных
  • «--db-server="10.10.25.35"» – сервер Microsoft SQL Server
  • «--db-name=VMarkirovka_test_3» - имя базы на сервере
  • «--db-user=sa » - пользователь на SQL Server
  • «--db-pwd="123"» - пароль на пользователя SQL Server
  • «descr="relock"» - описание базы на сервере 1С предприятия
  • «--license-distribution=allow» - разрешить выдачу лицензий сервером

7. Теперь нам необходимо снять блокировку с базы 1С Предприятия. Для этого воспользуемся командой «rac.exe infobase update», в параметрах которой указываем с какой базой мы работаем, на каком кластере и что нам необходимо сделать --sessions-deny=off --scheduled-jobs-deny=off"». 

Команды:

echo Снимаем блокировку базы время %time%  
"C:\Program Files\1cv8\8.3.23.1912\bin\rac.exe" infobase --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 update --infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980 --infobase-user="Программист" --infobase-pwd="123456" --sessions-deny=off --scheduled-jobs-deny=off >> G:\BakUp\log.txt

Описание параметров команды:

  • «--infobase-user="Программист" --infobase-pwd="123456"» - пользователь и пароль от базы данных
  • «--sessions-deny=off» - блокировка начала сеансов выключена
  • «--scheduled-jobs-deny=off» - блокировка регламентных заданий выключена

8. И в заключении нам нужно проверить, что база запускается и работает. Для этого мы командой открываем нашу базу и выполняем там внешнюю обработку, которая выполняет внешнюю команду и добавляет в наш лог файл строчку, что база проверена.

Важное пояснение: «для запуска внешних обработок у пользователя должна быть отключена защита от опасных действий и добавлена роль на запуск внешних отчетов и обработок»

Команды:

echo Проверяем программно, работает ли база время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\1cv8.exe" ENTERPRISE /S vs-06\VMarkirovka_test_3 /N"Программист" /P"123456" /DisableStartupMessages /Execute "G:\BakUp\ПроверкаБазы.epf" >> G:\BakUp\log.txt

Описание параметров команды:

  • «ENTERPRISE» – запуск 1С в режиме предприятия.
  • «/DisableStartupMessages» - Подавляет стартовые сообщения
  • «/S<Адрес>» -адрес информационной базы, хранящейся на сервере 1С:Предприятия. Адрес складывается из  <Имя компьютера, работающего сервером приложений>\ <Ссылочное имя информационной базы>
  • «/N<Имя>» - имя пользователя 
  • «/P<Пароль>» - пароль пользователя
  • «/Execute» - указывает путь к внешней обработки, которая будет выполнена при открытии базы. 

Внешняя обработка имеет форму при открытии которой выполняется команда  «ЗапуститьПриложение», которая выполняет скрипт, пишущий в наш лог файл строку «База проверена». Можно дописывать строку в файл и стандартными средствами 1С.

 

На этом наш скрипт готов, и мы можем его выполнить.
Если нам необходимо обработать много баз, то повторяем все шаги для каждой базы и добавляем их в файл скрипта. 

Python использовался для написания скрипта по переносу требуемых баз, т.к. изначально планировалось выполнить все шаги для каждой базы на нем и по мере выполнения отправлять в телеграмм уведомления (блок с телеграммом из скрипта я удалил). Для тех, кто не знаком с питоном я приложил обработку на 1С.

В обработке на 1С сначала необходимо считать файл со списком баз, далее выделить базы, которые надо перенести, после чего мы заполняем параметры и генерируем скрипт.

Тестирование проводилось на платформе 1С:Предприятие 8.3 (8.3.23.1912)

 

Ссылки на другие работы автора:

PostgreSQL SQLServer Microsoft SQL Server СУБД перенос скрипт script база

См. также

SALE! 15%

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя.

8400 7140 руб.

20.08.2024    7766    55    22    

66

Инструменты администратора БД Роли и права Системный администратор Программист Пользователь 8.3.14 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Документооборот 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Роли… Вы тратите много времени и сил на подбор ролей среди около 2400 в ERP или 1500 в Рознице 2, пытаясь понять какими правами они обладают? Вы все время смотрите права в конфигураторе или отчетах чтоб создать нормальные профили доступа? Вы хотите наглядно видеть какие права дает профиль и редактировать все в простом виде? А может хотите просто указать подсистему и дать права на просмотр и добавление на объекты и не лезть в дебри прав и чтоб обработка сама подобрала нужные роли? Все это теперь стало возможно! Обновление от 18.09.2024, версия 1.2

16800 руб.

06.12.2023    8842    42    5    

73

SALE! 15%

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 8500 руб.

10.11.2023    10415    36    21    

61

SALE! 35%

Инструментарий разработчика Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

4800 3120 руб.

14.01.2013    187972    1138    0    

912

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтер Пользователь Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    32666    106    152    

73

Инструменты администратора БД Системный администратор Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием Платные (руб)

Конфигурация Комплексная автоматизация 1.1 (и УПП 1.3 тоже) хранит файлы и изображения в справочнике Хранилище дополнительной информации в реквизите Хранилище типа ХранилищеЗначений. Та же история с ВложениямиЭлектроннойПочты. Но при этом присоединенные файлы в Электронном документообороте хранит в томах на диске. Эта доработка позволяет использовать стандартный механизм хранения файлов, изображений и вложений электронных писем в томах на диске. При этом можно разделить тома хранения по объектам конфигурации.

4200 руб.

10.11.2015    62814    94    59    

79

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS!

6000 руб.

06.11.2012    72788    625    45    

84

Инструменты администратора БД Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Многие сталкиваются с проблемой когда изображения, находящиеся в базе разные по объему и размерам. Менеджеры могут добавить файлы в очень высоком разрешении, объемом свыше 20 Мегабайт. База данных становится слишком большой, выгрузка на сайт идёт медленно и требуется много место на хостинге. Как сжать картинки и уменьшить размер базы 1С? Это можно сделать с помощью данной обработки. Существует возможность выбрать различные варианты для того чтобы уменьшить картинки: в разы, в процентах от первоначального объема, а также сделать картинки одинаковой ширины. В результате размер базы 1С значительно сократится (в зависимости от количества и размера картинок), а изображения станут небольшого объема, равными по ширине, почти без потери качества. Работает на управляемых формах для УТ 11, КА, ERP.

3000 руб.

21.07.2022    9832    7    4    

15
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. ivanov660 4577 12.03.24 11:10 Сейчас в теме
Неожиданно. Можете хотя бы обезличено поделиться проблемами, сходу могу предположить:
- администрирование СУБД на линуксе
- ухудшение производительности
2. s22 22 12.03.24 11:32 Сейчас в теме
- написанный не по стандарту код
15. anosin 29 14.03.24 19:10 Сейчас в теме
(2) о каком стандарте речь?
3. Tarlich 116 12.03.24 11:40 Сейчас в теме
все равно же пользователям пройтись указать новый путь надо ...
прикольно было бы
1 - получить имя из кластера
2 - выгрузить в ДТ
3 - создать в кластере временную базу уже СКЛ (потом удалить)
4 - произвести изменения в файле 1CV8Clst
Эт не точно , но примерно ....
в таком исполнении если базы опубликованы веб ....
4. senshib 12.03.24 11:58 Сейчас в теме
Почему не использовали Миграция между информационными базами без выгрузки в dt-файл? Всё же ускорение процедуры переноса БД.
6. Smikle 55 12.03.24 13:22 Сейчас в теме
(4) если честно, то даже не задумался об этом, так как все равно сначала надо блокировать базу и после делать бекап для любого варианта дальнейших действий. Но обязательно попробую на средней по объему типовой базе, насколько этот вариант будет быстрее или дольше, чем использованный.
5. Smikle 55 12.03.24 13:18 Сейчас в теме
(1) Проблем было много.
- Администрирование серверов на линуксе (дообучение админов)
- Администрирование PostgreSQL (опять понадобилось обучение)
- Много сервисов на COM (Причем от некоторых так и не смогли отказаться, т.к. там работа со старым недешевым оборудованием)
- Многократное ухудшение производительности по старым нетиповым базам, где код написан на скорую руку без учетов стандартов. Некоторые базы пришлось перевести обратно уже через пару месяцев, т.к. после оценки пришли к выводу, что проще написать новый продукт, чем доработать существующий.

Плюс было много работы с IT персоналом и других мелких проблем.
abasovit; it_tungus; ivanov660; +3 Ответить
7. SerVer1C 815 12.03.24 17:29 Сейчас в теме
8. PerlAmutor 155 13.03.24 07:38 Сейчас в теме
(5) После возврата на MSSQL производительность не упала? У меня были ситуации, когда переписанный запрос "по стандарту" под PostgreSQL дает такую же производительность как и на MSSQL, но если его выполнять обратно на MSSQL - производительность сильно деградирует. Что-то связанное с разной работой индексов и статистикой.
9. Smikle 55 13.03.24 10:00 Сейчас в теме
(8) Пока работает без нареканий, но если будут проблемы, то я дополню отзыв для сообщества.
10. user1923499 13.03.24 22:59 Сейчас в теме
(5)
Насчёт com - сервера приложений 1с тоже на Линукс перевели? Почему не оставили на Винде?
13. Smikle 55 14.03.24 09:12 Сейчас в теме
(10) мы не переводили на linux только те базы, которые работали с промышленным оборудованием по СОМ, которое иначе использовать было не возможно (промышленное оборудование работает по СОМ и других интерфейсов взаимодействия с ним нет).
11. DrZombi 301 14.03.24 04:17 Сейчас в теме
Заранее несмогли оценить? Зря не тестили :)
И помните, посгре скл тоже импортное по :))))))
12. user594010_logobobah 14.03.24 07:16 Сейчас в теме
(11) и откуда оно импортируется?
14. Smikle 55 14.03.24 09:16 Сейчас в теме
(11) Ну почему, мы тестировали, потом перешли и отработали год. Мы под это дело даже инфраструктуру серьезно поменяли. Просто спустя год стали понятны все наши ошибки и были сделаны соответствующие выводы.
Возможно в будущем будет сделана еще одна попытка, но для этого надо избавиться от старого софта и пром. оборудования.
Дмитрий74Чел; +1 Ответить
Оставьте свое сообщение