Возвращаемся с PostgreSQL на Microsoft SQL Server

12.03.24

База данных - Инструменты администратора БД

Автоматизированный перенос баз данных с сервера PostgreSQL на сервер Microsoft SQL Server и обратно.

Скачать исходный код

Наименование Файл Версия Размер
Скрипт по переходу с PostgreSQL на Microsoft SQL Server
.epf 9,59Kb
1
.epf 9,59Kb 1 Скачать
Скрипт по переходу с PostgreSQL на Microsoft SQL Server на Python
.zip 1,75Kb
0
.zip 1,75Kb Скачать
Обработка проверки базы на работоспособность после переноса на другой сервер
.zip 4,52Kb
0
.zip 4,52Kb Скачать

Добрый день! Сегодня я хочу рассказать о том, как быстро вернуться назад на Microsoft SQL Server, так как переход на PostgreSQL не всегда является удачным. Почти год назад мы перевели большую часть наших баз на PostgreSQL, но на текущий момент мы пришли к выводу вернуться обратно на Microsoft SQL Server. Причин на это было много, не сказать, что каждая из них критически важная, но вкупе спустя год они привели к подобному выводу. Конкретно на наших ошибках я останавливаться не буду, т.к. данный материал — это своего рода шпаргалка, в которой описывается быстрый автоматический процесс перевода большого количества баз на Microsoft SQL Server или на PostgreSQL.

 

Задача, которая стояла передо мною:

За выходные перевести больше 20 баз на новый сервер баз данных.

 

Решение:

Т.к. не хотелось все выходные провести за компьютером, решил написать простой скрипт на python, который для указанных баз соберет итоговый скрипт, который можно будет запустить на сервере и по результату получить полный переход на новый сервер.

Сразу скажу, что выполнить скрипт на python или на one script на данном сервере не было возможности, т.к. сисадмин на установку постороннего софта ответил отказом. Итогом оставалось либо писать скрипт на PowerShell или создать простой командный файл. 

Решение было отдано в пользу командного файла.

 

Поэтапное описание решения

Скрипт нам необходимо будет запускать на сервере с Windows, поэтому файл будет с расширением «cmd».

Для простоты наш скрипт будет содержать код по переносу только одной базы «VMarkirovka_test_3». 

G:\BakUp\ - папка в которую мы будем складывать все наши файлы

G:\BakUp\log.txt - Лог файл, в который мы будем писать ход выполнения нашего скрипта 

 

Подготовительные работы

Перед созданием скрипта нам необходимо провести подготовительные работы:

Для работы мы подняли временный сервер 1С Предприятие, чтобы не загружать боевой сервер дополнительной нагрузкой. На нашем сервере 1С предприятия запускаем службу ras сервера, на котором привязаны необходимые нам базы.

В нашем случаи «vs-06» - это сервер предприятия, на котором подключены наши базы 1С. Порт используем «1540»

Команды:

    ras cluster --port=1545 vs-06:1540  

    если надо стартовать как службу в windows добавляем параметр --service

    ras cluster --service --port=1545 vs-06:1540  

Далее нам необходимо получить id нашего кластера. Для этого выполняем команду:  

  rac cluster list

    в ВЫВОДЕ видим следующее

        cluster                       : df9a3b4e-3c53-46b0-bab5-5e1d645832d2

        host                          : VS-06

        port                          : 1541

    отсюда нам нужно значение cluster: df9a3b4e-3c53-46b0-bab5-5e1d645832d2

Далее нам необходимо получить список баз на кластере и вывести его в отдельный файл «ListBases.txt». 

Выполняем следующую команду:

   rac infobase --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 summary list >> G:\BakUp\ListBases.txt

В результате в файл будет выгружен следующий текст подобный этому:

“infobase : 783cd8f7-a19a-4fa1-9f63-e51c2df84d56

name     : markirovka2_tets

descr    : "relock"

infobase : 3931fb05-ea23-41a5-99e7-e59dc6a6b980

name     : VMarkirovka_test_3

descr    : “

Из этого файла нас интересует значение поля «infobase», для каждой переносимой базы. В дальнейшем мы будем использовать это поле для работы с базой в кластере вместо ее имени.

 

Описание скрипта

1. Чтобы текст на русском языке не отображался иероглифами, в лог файле необходимо установить кодировку 1251. 

Команды:

chcp 1251

2. Добавляем описательную информацию в файл лога в виде базы и времени начала работы с данной базой (используем для этого %time%). 

Команды:

echo Время начала %time% >> G:\BakUp\log.txt
echo ----------------------------------------------------------- >> G:\BakUp\log.txt
echo VMarkirovka_test_3 >> G:\BakUp\log.txt
echo ----------------------------------------------------------- >> G:\BakUp\log.txt

3. Перед начало работы с базой ее надо заблокировать. Для этого воспользуемся командой «rac.exe infobase update», в параметрах которой указываем с какой базой мы работаем, на каком кластере и что нам необходимо сделать «--sessions-deny=on --scheduled-jobs-deny=on --denied-message="База временно заблокирована для тех. работ». 

Команды:

echo Блокируем базу время %time% >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\rac.exe" infobase --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 update --infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980 --infobase-user="Программист" --infobase-pwd="123456" --sessions-deny=on --scheduled-jobs-deny=on --denied-message="База временно заблокирована для тех. работ" >> G:\BakUp\log.txt
«--infobase-user="Программист" --infobase-pwd="123456"» - пользователь и пароль от базы данных

4. Делаем бекап базы данных на локальный диск, в нашем случаи — это файл «G:\BakUp\VMarkirovka_test_3.dt». Для бекапа воспользуемся командой «ibcmd.exe infobase dump». 

Команды:

echo Бекап базы данных время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\ibcmd.exe" infobase dump --database-server="10.10.45.23 port=5432" --database-name=VMarkirovka_test_3 --database-user=admin --database-password=4aaaf --dbms=PostgreSQL --user="Программист" --password="123456" G:\BakUp\VMarkirovka_test_3.dt >> G:\BakUp\log.txt

Описание параметров команды:

  • «--database-server ="10.10.45.23 port=5432"» – сервер PostgreSQL
  • «--database-name=VMarkirovka_test_3» - имя базы на сервере
  • «--database-user=admin» - пользователь PostgreSQL
  • «--database-password=4aaaf» - пароль на пользователя PostgreSQL
  • «--user="Программист" --password="123456"» - пользователь и пароль от базы данных

5. Восстанавливаем базу на сервере Microsoft SQL Server. Для этого воспользуемся командой «ibcmd.exe infobase create». 

Команды:

echo Восстанавливаем базу на сервер sql  время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\ibcmd.exe" infobase create --db-server=newSqlServ --dbms=MSSQLServer --db-name=VMarkirovka_test_3 --db-user=sa --db-pwd="123" --create-database --restore="G:\BakUp\VMarkirovka_test_3.dt" >> G:\BakUp\log.txt

Описание параметров команды:

  • «--db-server=newSqlServ» – сервер Microsoft SQL Server
  • «--db-name=VMarkirovka_test_3» - имя базы на сервере
  • «--db-user=sa » - пользователь на SQL Server
  • «--db-pwd="123"» - пароль на пользователя SQL Server
  • «--create-database» - параметр указывает, что эту базу надо создать на сервере
  • «--restore="G:\BakUp\VMarkirovka_test_3.dt"» - параметр указывает что нужно базу восстановить из файла

6. Далее нам необходимо на рабочем сервере 1с предприятия для данной базы указать новое местоположение базы СУБД. Для этого воспользуемся командой «rac.exe infobase update

Команды:

echo Перепривязываем на рабочем сервере 1с предприятия базу к новому серверу sql время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\rac.exe" infobase update --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 --infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980 --infobase-user="Программист" --infobase-pwd="123456" --dbms=MSSQLServer --db-server="10.10.25.35" --db-name=VMarkirovka_test_3 --db-user=sa --db-pwd="123" --descr="relock" --license-distribution=allow >> G:\BakUp\log.txt

Описание параметров команды:

  • «--cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2» - кластер на котором мы обновляем базу
  • «--infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980» - база на кластере, которую мы обновляем
  • «--infobase-user="Программист" --infobase-pwd="123456"» - пользователь и пароль от базы данных
  • «--dbms=MSSQLServer» - тип СУБД на сервере баз данных
  • «--db-server="10.10.25.35"» – сервер Microsoft SQL Server
  • «--db-name=VMarkirovka_test_3» - имя базы на сервере
  • «--db-user=sa » - пользователь на SQL Server
  • «--db-pwd="123"» - пароль на пользователя SQL Server
  • «descr="relock"» - описание базы на сервере 1С предприятия
  • «--license-distribution=allow» - разрешить выдачу лицензий сервером

7. Теперь нам необходимо снять блокировку с базы 1С Предприятия. Для этого воспользуемся командой «rac.exe infobase update», в параметрах которой указываем с какой базой мы работаем, на каком кластере и что нам необходимо сделать --sessions-deny=off --scheduled-jobs-deny=off"». 

Команды:

echo Снимаем блокировку базы время %time%  
"C:\Program Files\1cv8\8.3.23.1912\bin\rac.exe" infobase --cluster=df9a3b4e-3c53-46b0-bab5-5e1d645832d2 update --infobase=3931fb05-ea23-41a5-99e7-e59dc6a6b980 --infobase-user="Программист" --infobase-pwd="123456" --sessions-deny=off --scheduled-jobs-deny=off >> G:\BakUp\log.txt

Описание параметров команды:

  • «--infobase-user="Программист" --infobase-pwd="123456"» - пользователь и пароль от базы данных
  • «--sessions-deny=off» - блокировка начала сеансов выключена
  • «--scheduled-jobs-deny=off» - блокировка регламентных заданий выключена

8. И в заключении нам нужно проверить, что база запускается и работает. Для этого мы командой открываем нашу базу и выполняем там внешнюю обработку, которая выполняет внешнюю команду и добавляет в наш лог файл строчку, что база проверена.

Важное пояснение: «для запуска внешних обработок у пользователя должна быть отключена защита от опасных действий и добавлена роль на запуск внешних отчетов и обработок»

Команды:

echo Проверяем программно, работает ли база время %time%  >> G:\BakUp\log.txt
"C:\Program Files\1cv8\8.3.23.1912\bin\1cv8.exe" ENTERPRISE /S vs-06\VMarkirovka_test_3 /N"Программист" /P"123456" /DisableStartupMessages /Execute "G:\BakUp\ПроверкаБазы.epf" >> G:\BakUp\log.txt

Описание параметров команды:

  • «ENTERPRISE» – запуск 1С в режиме предприятия.
  • «/DisableStartupMessages» - Подавляет стартовые сообщения
  • «/S<Адрес>» -адрес информационной базы, хранящейся на сервере 1С:Предприятия. Адрес складывается из  <Имя компьютера, работающего сервером приложений>\ <Ссылочное имя информационной базы>
  • «/N<Имя>» - имя пользователя 
  • «/P<Пароль>» - пароль пользователя
  • «/Execute» - указывает путь к внешней обработки, которая будет выполнена при открытии базы. 

Внешняя обработка имеет форму при открытии которой выполняется команда  «ЗапуститьПриложение», которая выполняет скрипт, пишущий в наш лог файл строку «База проверена». Можно дописывать строку в файл и стандартными средствами 1С.

 

На этом наш скрипт готов, и мы можем его выполнить.
Если нам необходимо обработать много баз, то повторяем все шаги для каждой базы и добавляем их в файл скрипта. 

Python использовался для написания скрипта по переносу требуемых баз, т.к. изначально планировалось выполнить все шаги для каждой базы на нем и по мере выполнения отправлять в телеграмм уведомления (блок с телеграммом из скрипта я удалил). Для тех, кто не знаком с питоном я приложил обработку на 1С.

В обработке на 1С сначала необходимо считать файл со списком баз, далее выделить базы, которые надо перенести, после чего мы заполняем параметры и генерируем скрипт.

Тестирование проводилось на платформе 1С:Предприятие 8.3 (8.3.23.1912)

 

Ссылки на другие работы автора:

PostgreSQL SQLServer Microsoft SQL Server СУБД перенос скрипт script база

См. также

Автоподбор ролей для профилей и групп доступа в любых типовых базах 1С УТ 11, КА 2, ERP2, Розница 2/3, УНФ 16/3, БП 3, ЗУП 3 и подобных (УФ, Платформа 8.3.14+)

Инструменты администратора БД Роли и права 8.3.14 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Документооборот 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Роли… Вы тратите много времени и сил на подбор ролей среди около 2400 в ERP или 1500 в Рознице 2, пытаясь понять какими правами они обладают? Вы все время смотрите права в конфигураторе или отчетах чтоб создать нормальные профили доступа? Вы хотите наглядно видеть какие права дает профиль и редактировать все в простом виде? А может хотите просто указать подсистему и дать права на просмотр и добавление на объекты и не лезть в дебри прав и чтоб обработка сама подобрала нужные роли? Все это теперь стало возможно! Обновление от 15.12.2023, версия 1.1.

14400 руб.

06.12.2023    3876    20    1    

43

Infostart УДиФ: Управление данными и формами 1С

Инструменты администратора БД Инструментарий разработчика Роли и права Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 руб.

10.11.2023    4829    12    2    

38

PowerTools

Инструментарий разработчика Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 руб.

14.01.2013    179081    1086    0    

863

Ускоренное проведение документов (x4), устранение ошибок 60/62 счетов и зачет авансов (Бухгалтерия 3.0)

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    28360    83    146    

61

Конфигурация Session Monitor

Мониторинг Инструменты администратора БД Платформа 1С v8.3 Россия Платные (руб)

Конфигурация Session Monitor предназначена для мониторинга сервера 1С с целью отслеживания чрезмерной нагрузки от конкретных сеансов и скорости реакции рабочих процессов.

1500 руб.

01.12.2020    14489    36    0    

51

Система хранения присоединенных файлов в томах на диске

Инструменты администратора БД Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием Платные (руб)

Конфигурация Комплексная автоматизация 1.1 (и УПП 1.3 тоже) хранит файлы и изображения в справочнике Хранилище дополнительной информации в реквизите Хранилище типа ХранилищеЗначений. Та же история с ВложениямиЭлектроннойПочты. Но при этом присоединенные файлы в Электронном документообороте хранит в томах на диске. Эта доработка позволяет использовать стандартный механизм хранения файлов, изображений и вложений электронных писем в томах на диске. При этом можно разделить тома хранения по объектам конфигурации.

4200 руб.

10.11.2015    61679    90    59    

74

Хранилище файлов на SQL

Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Управленческий учет Платные (руб)

Привязка файлов / сканов к объектам 1С с сохранением их на SQL-сервере

12000 руб.

09.10.2019    11277    5    8    

9

Автоматическое резервное копирование любой клиент-серверной базы 1С в формате DT с удалением сеансов, архивацией, изменением расширения (8.3.14+, расширение)

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней.

6000 руб.

06.11.2012    70393    622    44    

80
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. ivanov660 4349 12.03.24 11:10 Сейчас в теме
Неожиданно. Можете хотя бы обезличено поделиться проблемами, сходу могу предположить:
- администрирование СУБД на линуксе
- ухудшение производительности
2. s22 19 12.03.24 11:32 Сейчас в теме
- написанный не по стандарту код
15. anosin 29 14.03.24 19:10 Сейчас в теме
(2) о каком стандарте речь?
3. Tarlich 116 12.03.24 11:40 Сейчас в теме
все равно же пользователям пройтись указать новый путь надо ...
прикольно было бы
1 - получить имя из кластера
2 - выгрузить в ДТ
3 - создать в кластере временную базу уже СКЛ (потом удалить)
4 - произвести изменения в файле 1CV8Clst
Эт не точно , но примерно ....
в таком исполнении если базы опубликованы веб ....
4. senshib 12.03.24 11:58 Сейчас в теме
Почему не использовали Миграция между информационными базами без выгрузки в dt-файл? Всё же ускорение процедуры переноса БД.
6. Smikle 47 12.03.24 13:22 Сейчас в теме
(4) если честно, то даже не задумался об этом, так как все равно сначала надо блокировать базу и после делать бекап для любого варианта дальнейших действий. Но обязательно попробую на средней по объему типовой базе, насколько этот вариант будет быстрее или дольше, чем использованный.
5. Smikle 47 12.03.24 13:18 Сейчас в теме
(1) Проблем было много.
- Администрирование серверов на линуксе (дообучение админов)
- Администрирование PostgreSQL (опять понадобилось обучение)
- Много сервисов на COM (Причем от некоторых так и не смогли отказаться, т.к. там работа со старым недешевым оборудованием)
- Многократное ухудшение производительности по старым нетиповым базам, где код написан на скорую руку без учетов стандартов. Некоторые базы пришлось перевести обратно уже через пару месяцев, т.к. после оценки пришли к выводу, что проще написать новый продукт, чем доработать существующий.

Плюс было много работы с IT персоналом и других мелких проблем.
abasovit; it_tungus; ivanov660; +3 Ответить
7. SerVer1C 767 12.03.24 17:29 Сейчас в теме
8. PerlAmutor 129 13.03.24 07:38 Сейчас в теме
(5) После возврата на MSSQL производительность не упала? У меня были ситуации, когда переписанный запрос "по стандарту" под PostgreSQL дает такую же производительность как и на MSSQL, но если его выполнять обратно на MSSQL - производительность сильно деградирует. Что-то связанное с разной работой индексов и статистикой.
9. Smikle 47 13.03.24 10:00 Сейчас в теме
(8) Пока работает без нареканий, но если будут проблемы, то я дополню отзыв для сообщества.
10. user1923499 13.03.24 22:59 Сейчас в теме
(5)
Насчёт com - сервера приложений 1с тоже на Линукс перевели? Почему не оставили на Винде?
13. Smikle 47 14.03.24 09:12 Сейчас в теме
(10) мы не переводили на linux только те базы, которые работали с промышленным оборудованием по СОМ, которое иначе использовать было не возможно (промышленное оборудование работает по СОМ и других интерфейсов взаимодействия с ним нет).
11. DrZombi 290 14.03.24 04:17 Сейчас в теме
Заранее несмогли оценить? Зря не тестили :)
И помните, посгре скл тоже импортное по :))))))
12. user594010_logobobah 14.03.24 07:16 Сейчас в теме
(11) и откуда оно импортируется?
14. Smikle 47 14.03.24 09:16 Сейчас в теме
(11) Ну почему, мы тестировали, потом перешли и отработали год. Мы под это дело даже инфраструктуру серьезно поменяли. Просто спустя год стали понятны все наши ошибки и были сделаны соответствующие выводы.
Возможно в будущем будет сделана еще одна попытка, но для этого надо избавиться от старого софта и пром. оборудования.
Дмитрий74Чел; +1 Ответить
Оставьте свое сообщение