Yandex Cloud Managed Service: создание и перенос баз (реальные кейсы)

30.10.21

Интеграция - Облачные сервисы, хостинг

О том, почему нельзя просто переехать в Yandex Cloud Managed Service for SQL и как работать с бэкапами.

Содержание статей:

Напоминаю:

У нас теперь нет роли dbcreator. Это важно!

У нас теперь нет возможности копировать базы через бэкапы!

 

Кейс 1: Перенос баз 1с через dt

Нет смысла долго объяснять про перенос баз через dt, есть только одно, но...

Нет роли dbcreator, а это значит, у Вас не сработает галка «В случае отсутствия базы создать».

1 Читаем про создание базы тут -> https://cloud.yandex.ru/docs/managed-sqlserver/operations/databases

2 После создания пустой базы и создания пользователя с правами DB_OWNER на вновь созданную базу, подключаем ее через Администрирование серверов.

3 Заходим в конфигуратор и загружаем базу из dt.

 

Кейс 2: Необходимо было установить WMS на Managed Service for SQL Server в Yandex.Cloud

В апреле 2021 мы решили установить WMS сразу в Managed Service. Я наивно подумал, что там будет 1 база и 1 пользователь, поэтому я создал пустую базу и создал пользователя с ролью db_owner на эту базу.

На следующий день меня попросили пользователю дать роль dbcreator, так как во время установки WMS системы создаются базы и пользователи скриптами. Я, естественно, был удивлен, так как ранее было доходчиво объяснено о том, что нет возможности дать такую роль. Я еще раз пересказал всю информацию из статьи «Как мы на Managed Service for SQL Server в Yandex.Cloud переезжали» и предложил способ решения.

Но мне было сказано:

— Это хорошо, что у нас есть план Б, но все-таки создай обращение. Нужно официальное подтверждение о том, что такую роль дать нельзя.

Обращение:

 

 

Вырезка из https://cloud.yandex.ru/docs/managed-sqlserver/operations/databases

 

 

Идем по предложенному мной плану Б:

1 Узнаю версию MSSQL в YC через SQL Management Studio

SELECT @@version.

2 Создаю стенд и устанавливаем на него MSSQL нужной версии (Версия полностью идентична с Managed Service)

3 Разворачиваем WMS систему на стенде

4 Создал в Managed Service базы пустышки с такими же именами и пользователей, которые были созданы при установке WMS.

5 Дал пользователям права db_owner на базы WMS системы

6 *Выгрузил бэкапы баз со стенда и передал их специалистам в YC

7 *Они подняли бэкапы на Managed Service в заранее заготовленные базы пустышки

8 Под созданными пользователями настроили систему WMS

Согласитесь, такой вариант не сильно удобен. Очень много телодвижений и плюсом задействованы специалисты Yandex.

*Пункты, выделенные синим цветом, можно решить своими силами, но этот способ впервые был проделан мной в июне, до этого был только вариант, описанный выше.

 

Кейс 3: Необходимо было скриптами создать базу в Yandex.Cloud Managed Service for SQL Server

События перед 3 кейсом

В мае нам понадобились бэкапы, и мы запросили их у специалистов из Yandex. На этот момент у нас уже было несколько десятков баз. Специалисты опять спросили, не пробовали ли мы sqlpackage. Я сказал, что пробовали, не вышло, и дал ссылку на статью со всеми телодвижениями.

Нам выкачали бэкапы и спустя какое-то время предложили гипотезу с использованием sqlpackage.

Гипотеза была отложена, но в начале июня про нее пришлось вспомнить.

 

В отличие от предыдущего кейса сроки горели, да и стенд из предыдущего кейса уже был снесен.

1 Я установил SQL Server 2019 Developerэто была моя ошибка, хотя без нее кейс 3 не состоялся бы.

SQL Server 2019 Developer — это бесплатный выпуск с полным набором функций, лицензируемый для использования в качестве базы данных для разработки и тестирования и не предназначенный для применения в рабочей среде.

2 Скриптами создал базу

3 В Managed Service создал базу пустышку и пользователя. Дал права пользователю на вновь созданную базу.

4 Снял бэкап с базы, поднятой на SQL Server 2019 Developer, и попросил поднять его в базу, созданную на Managed Service у специалистов из YC

5 Для подстраховки параллельно вечером начал пробовать перенос через sqlpackage

 

Вечером поступает первый звоночек:

Специалисты Y.C:

 

 

Вот тут я и вспоминаю, что Managed Service for SQL Server в Yandex.Cloud работает на MS SQL 2016...

Кстати, только сейчас до меня дошло выражение "трудности = возможности"!)

 

Смысл гипотезы с SqlPackage:

Первоначально sqlpackage был придуман для того, чтобы базы данных распространять в виде инсталляции.

Далее он же стал использоваться для загрузки баз данных в Azure.

И он же пока единственная возможность снимать бекапы и закидывать базы в YC MS SQL самостоятельно

 

Необходимо на стенде повторить окружение Yandex.Cloud Managed Service for SQL Server, а точнее, повторить окружение у конкретной переносимой базы. Все это нужно для того, чтобы «автоматика склеилась».

То есть база приемник (Yandex.Cloud Managed Service for SQL Server) по внешним свойствам должна полностью совпадать с передаваемой базой (Стенд)

Действия на Managed Service for SQL Server:

1 Создаем базу приемник на Managed Service for SQL Server с таким же именем, как и база на стенде

 

 

2 Дожидаемся выполнения операции (если не дожидаться, тогда при следующем действии получим ошибку)

 

 

 

3 Создаем пользователя и даем ему права на базу

 

4 Дожидаемся выполнения операции

 

 

 

Действия на стенде:

1 Параметры сортировки (Collation) должны совпадать с настройками Managed Service for SQL

«Cyrillic_General_CI_AS» -> «Кириллица», «Большая буква = малая буква» и «е <> ё»

В противном случае могут некорректно работать сортировки и соединения.

Самое противное - если создать и перенести с неправильным параметром, тогда переделать будет практически невозможно.

 

 

2 Модель восстановления должна быть Полная (Full) и Включен компонент Broker (Service Broker = True)

 

 

3 В базе источнике убрать всех виндовых пользователей, оставить только SQL-ных, далее создать таких же пользователей с теми же паролями в YC MS SQL.

В общем, SQL-ные пользователи должны совпадать и на стенде, и на YC MS SQL. Одинаковые пароли и одинаковые роли.

 

 

Владельца (Owner) базы сделать SA.

 

4 Качаем sqlpackage (я качал под Windows)

https://docs.microsoft.com/ru-ru/sql/tools/sqlpackage/sqlpackage-download?view=sql-server-ver15

Запускаем установщик DacFramework.msi для Windows.

Программа sqlpackage устанавливается в папку C:\Program Files\Microsoft SQL Server\150\DAC\bin

Открываем новое окно командной строки и запустите файл sqlpackage.exe

Пример показывает версию sqlpackage:

 

 

5 Смотрим информацию по sqlpackage

Команда:

sqlpackage.exe /help

Также можно почитать тут -> https://docs.microsoft.com/ru-ru/sql/tools/sqlpackage/sqlpackage?view=sql-server-ver15

 

Выгрузка базы со стенда при виндовой авторизации:

sqlpackage.exe /a:Extract /ssn:ИМЯ_ХОСТА /sdn:ИМЯ_БАЗЫ /tf:"С:\ПАПКА_ДЛЯ_БАЗЫ\test.dacpac" /p:ExtractAllTableData=True /p:ExtractReferencedServerScopedElements=False

Выгрузка базы со стенда при SQL-ной авторизации:

sqlpackage.exe /a:Extract /ssn:ИМЯ_ХОСТА /sdn:ИМЯ_БАЗЫ /tf:"С:\ПАПКА_ДЛЯ_БАЗЫ\test.dacpac" /p:ExtractAllTableData=True /p:ExtractReferencedServerScopedElements=False /su:ПОЛЬЗОВАТЕЛЬ /sp:"ПАРОЛЬ"

 

Информация:

ИМЯ_ХОСТА – может быть localhost

/a:Extract: Создает файл приложения уровня данных (DACPAC), содержащий только схему или схему и пользовательские данные из подключенной базы данных SQL.

/p:ExtractAllTableData: Указывает, извлекаются ли данные из всех пользовательских таблиц. Если задано значение true, данные извлекаются из всех пользовательских таблиц и нельзя указать отдельные пользовательские таблицы для извлечения данных. Если задано значение false, укажите одну или несколько пользовательских таблиц для извлечения данных.

/p:ExtractReferencedServerScopedElements: Если задано значение true, извлекаются объекты имени для входа, аудита сервера и учетных данных, на которые ссылаются объекты из базы данных-источника.

 

Загрузка базы в YC MS SQL:

sqlpackage.exe /a:Publish /sf:"C:\ ПАПКА_ДЛЯ_БАЗЫ\test.dacpac" /tsn:АДРЕС_МАНАДЖЕТ_СЕРВИСА_В_ОБЛАКЕ /tdn: ИМЯ_БАЗЫ /tec:True /ttsc:True /tu:ПОЛЬЗОВАТЕЛЬ /tp:"ПАРОЛЬ" /p:AllowIncompatiblePlatform=True /p:IgnoreCryptographicProviderFilePath=True /p:IgnoreExtendedProperties=True /p:IgnoreFileAndLogFilePath=True /p:IgnoreFilegroupPlacement=True /p:IgnoreFileSize=True /p:IgnoreFullTextCatalogFilePath=True /p:IgnoreLoginSids=True /p:ScriptRefreshModule=False

 

Что особенно порадовало, дак это то, что я смог с 2019 MS SQL затащить базу на 2016 в YC MS SQL, при загрузке увидев вот такое предупреждение:

 

 

Информация:

/a:Publish: выполняет добавочное обновление схемы базы данных в соответствии со схемой исходного DACPAC-файла. Если база данных не существует на сервере, операция публикации создаст ее. В противном случае обновляется существующая база данных.

 

П.С. Про то, что гипотеза сработала, я сообщил в Яндекс и думаю, по этим рельсам уже кто-то проехал 😉

 

Кейс 4: Перенос базы из Managed Service for SQL Server к себе через SqlPackage

В 3 кейсе мы переносили со стенда в Managed Service for SQL Server. В этом кейсе ситуация обратная.

Выгрузка базы из YC MS SQL:

sqlpackage.exe /a:Extract /ssn:АДРЕС_МАНАДЖЕТ_СЕРВИСА_В_ОБЛАКЕ /sdn:ИМЯ_БАЗЫ /tf:"С:\ПАПКА_ДЛЯ_БАЗЫ\test.dacpac" /p:ExtractAllTableData=True /p:ExtractReferencedServerScopedElements=False  /su:ПОЛЬЗОВАТЕЛЬ /sp:"ПАРОЛЬ"

 

Загрузка базы:

sqlpackage.exe /a:Publish /sf:"С:\ПАПКА_ДЛЯ_БАЗЫ\test.dacpac" /tsn:ИМЯ_ХОСТА /tdn:ИМЯ_БАЗЫ /tec:True /ttsc:True /tu:ПОЛЬЗОВАТЕЛЬ /tp:"ПАРОЛЬ" /p:AllowIncompatiblePlatform=True /p:IgnoreCryptographicProviderFilePath=True /p:IgnoreExtendedProperties=True /p:IgnoreFileAndLogFilePath=True /p:IgnoreFilegroupPlacement=True /p:IgnoreFileSize=True /p:IgnoreFullTextCatalogFilePath=True /p:IgnoreLoginSids=True /p:ScriptRefreshModule=False

 

Парадокс SqlPackage:

Очень часто ко мне приходили люди и говорили: нам нужна копия базы.

Поработав с Managed Service for SQL Server в ответ, я стал говорить - есть 2 варианта:

1 Через dt, но в нерабочее время.

2 Через SqlPackage.

Знаете, сколько раз мне сказали: - Да, давай через SqlPackage!

Ровно ноль (0) раз!!!

Знаете, почему?

Потому, что я не встретил ни одного человека, который слышал про SqlPackage. Правда, я знаю двух, которым пришлось в итоге им пользоваться.

Не буду голословным, давайте загуглимЗаинфостартим SqlPackage и посмотрим, насколько он часто встречается в статьях:

 

 

2-е статьи!!!

Заинфостартите, например: git (753 статьи), http-сервис (320 статей), scrum (179 статей), sonar (40 статей).

Чувствуете «Популярность» и замыленность тем?

А между тем SqlPackage:

  1. С недавних пор стал опенсорсным, самостоятельным продуктом
  2. Есть под Windows, macOS и Linux
  3. Позволяет накатывать базы на разные версии MS SQL
  4. Отлично подойдет для непрерывной разработки
  5. Поддерживает языки: Китайский, Английский, Французский, Немецкий, Итальянский, Японский, Корейский, Португальский, Русский, Испанский
  6. Да и обновление релизов, думаю, тоже можно прикрутить. В общем, надо пробовать!

 

На этом статью заканчиваю. Следующая статья будет про мониторинг, регламенты, немного про бэкапы и станет финальной.

Всем удачи, надеюсь, информация для Вас полезна!

Yandex Cloud Managed Service SQL PostgreSQL SqlPackage Ola Hallengren Мониторинг бэкап Query store Масштабирование DACPAC dt MSSQL

См. также

Интеграция 1С с облаком S3 (Amazon, Yandex Object Storage, Ceph Object Gateway S3, MinIO и др.)

Облачные сервисы, хостинг 8.3.14 Конфигурации 1cv8 Россия Платные (руб)

Готовое решение по интеграции 1С с облаком S3 (Amazon, Yandex Object Storage, Ceph Object Gateway S3, MinIO и любое совместимое объектное хранилище). Решение даёт возможность осуществлять как основные операции (получить список, закачать, скачать, удалить и т.д.), так и расширенные (работа с бакетами, генерация ссылок, работа с правами и т.д.) с объектным хранилищем S3 прямо из 1С.

31200 руб.

27.04.2021    18429    24    70    

39

Облачная АТС Билайн - интеграция с 1С

Управление взаимоотношениями с клиентами (CRM) Телефония, SIP Облачные сервисы, хостинг Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Продукт интеграции возможностей Облачной АТС Билайн в систему 1С Предприятие 8. Звонки прямо из программы 1С, уведомления о текущих звонках, регистрация пропущенных и завершенных вызовов, ведение журнала, анализ данных об использовании мобильной связи.

12000 руб.

20.03.2019    22324    52    0    

35

В облако на работу: Все варианты авторизации ОС сервером 1С на базе РЕД ОС 8 в домене windows. Рецепты от Капитана

Облачные сервисы, хостинг Linux Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

В публикации рассматриваются все варианты авторизации ОС сервером 1С на базе РЕД ОС 8 в домене windows. Как случаи, когда сервер 1С авторизирует веб и обычных клиентов 1С в active directory, так и когда сам сервер является клиентом, например при HTTP запросах выполняемых сервером 1С.

18.03.2024    375    capitan    0    

8

Готовое облако или выделенный сервер? Экономика владения 1С

Облачные сервисы, хостинг Бесплатно (free)

Если вы работаете с 1С, то, скорее всего, используете для этого собственный сервер. Это решение дает больше гибкости: железо всегда под рукой, в любой момент можно поменять конфигурацию или установить дополнительное ПО. Например, чтобы организовать бухгалтеру удаленный рабочий стол. Но насколько этот вариант экономически выгоден для компании? Мы сравнили три варианта развертывания 1С: на собственном сервере, на арендованном в Selectel и в готовом облаке. Какие есть преимущества и недостатки у каждого варианта и что выгоднее — разбираем в статье.

13.03.2024    524    doctor_it    6    

0

Три пингвина под окном… Точки над Ё. Обзор рабочих мест пользователя 1С, собранных на отечественных дистрибутивах linux

Облачные сервисы, хостинг Linux Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Прошлая публикация "Три пингвина под окном… Обзор рабочих мест пользователя 1С, собранных на отечественных дистрибутивах linux" набрала более 20К просмотров. В моем случае это абсолютный рекорд. Как и обещал в ней, рассказываю, как установить неподдерживаемый дистрибутив ОС у облачного провайдера.

25.02.2024    2151    capitan    0    

6

Бесплатный митап “1С в облаке: возможности и риски, решения и кейсы”

Облачные сервисы, хостинг Мероприятия Бесплатно (free)

На митапе говорили о переносе 1С в облако: какие решения есть на рынке, их достоинства и недостатки. На примере реальных кейсов узнали особенности перехода, сроки, бюджеты, риски и возможности. В программе митапа 5 докладов и круглый стол.

06.02.2024    2776    0    Infostart    0    

18

Из 1С в S3 и обратно. Работа с объектным хранилищем

Облачные сервисы, хостинг Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

В данной статье демонстрируется работа с объектным хранилищем 1С с использованием подписанных (pre-signed) ссылок. Загрузка, скачивание и удаление реализованы на "чистом" языке 1С без внешних компонент и сервисов. В качестве провайдера хранилища S3 будем использовать Яндекс.Облако

06.02.2024    3868    Sedaiko    12    

59

В облаке, как дома: Устраиваемся поудобнее. Рабочее место пользователя 1С на базе РЕД ОС (HTTPS и архивирование)

Linux Облачные сервисы, хостинг Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

На прошедшем вебинаре "В облаке, как дома: Как настроить рабочее место пользователя 1С на базе РЕД ОС" мы договорились, что продолжением будет установка соединения по HTTPS и архивирование. Это финальные штрихи в настройке рабочего места. Вот и оно (продолжение) или они (штрихи), прошу под кат...

29.01.2024    712    capitan    5    

5
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. malikov_pro 1292 30.10.21 10:44 Сейчас в теме
Кратко: Работать с БД MSSQL как мы привыкли на собственных инсталляциях не получится, скрипты которые рассчитывают на "полные права" так же не будут работать (что в общем логично).
"Популярность" ключевого слова зависит от частотности операций связанных с ним. По администрированию MSSQL немного статей, тем более в облачном варианте, обычный подход "поставил, поправил максимальный объем памяти, настроил типовой план обслуживания" далее область "1С-Эксперт тех вопросов". Если гуглить SqlPackage, то больше ссылок на оф. доку из которой толком непонятно зачем это все, но при по иске по хабру выдает пару толковых статей.
2. dsdred 3251 30.10.21 11:11 Сейчас в теме
3. pbabincev 132 30.10.21 19:36 Сейчас в теме
Коллега, поясните, пожалуйста.
Вы саму базу разместили в облаке Яндекс, и цепляетесь к ней из 1С?
Правильно я понимаю?
В чем профит данного решения?
Спасибо.
4. pbabincev 132 30.10.21 19:44 Сейчас в теме
(3)
И еще вопрос в догонку.
Сама 1С крутится в яндексах? Или на своём сервере? И до перехода где крутилось всё это?
5. dsdred 3251 30.10.21 23:57 Сейчас в теме
(4)крутилась и крутится на Яндекс.
Сразу все крутилось в облаках на яндекс, просто инсталляция скуля переехала в манаджет сервис.
pbabincev; +1 Ответить
6. dsdred 3251 31.10.21 00:05 Сейчас в теме
(3)Была договорённость по максимуму использовать сервисы яндекс еще на старте проекта. То есть вся инфраструктура по максимуму на яндекс облаке, а нужные компоненты докупаются. Например понадобился bi купили даталенс и клик хаус, понадобилось ещё что-то тоже смотрели что есть на яндекс.

Получаем хорошее железо, быстрый канал внутри сервисов и возможности быстрого масштабирования. Это если вкратце,
а вообще я занимался только частью связанной с 1с ну и скуль Первоначально на мне был.
pbabincev; +1 Ответить
7. stepan_shock 112 24.03.24 11:02 Сейчас в теме
Да теперь понятно зачем нужны инженеры. Я всегда знал, что эти облака такоке себе приключение
8. dsdred 3251 24.03.24 11:07 Сейчас в теме
(7) согласен это приключение и квесты.
Но есть и плюсы.

Скоро будет митап на инфостарте про облачные решения. Я думаю там только про плюсы и расскажут.
Оставьте свое сообщение