Как мы на Managed Service for SQL Server в Yandex.Cloud переезжали

19.03.21

База данных - Администрирование СУБД

+7 –
> > > > >
  • image-20210131234820-1.png
  • image.png
  • image.png
  • image.png
  • image.png
  • image.png
Рассказ про грабли при переезде на Yandex Managed Service for SQL Server и DataLens.

Сразу скажу - смысл статьи не в критике. Я просто решил предупредить тех, кто решил проделать тот же путь, что и мы. Показать, какие вопросы пока не решены на текущий момент.

Немножко информации по сервису Managed Service for SQL Server:

Managed Service for SQL Server был запущен на Yandex.Cloud 18.12.2020 -> Сервис Yandex Managed Service for SQL Server™ перешел в общий доступ

Подробный рассказ в официальном видео:

 

Нам обещано, что почти всю головную боль на себя берет Yandex Managed Service for SQL Server

 

 

Мы знали про это решение до того, как оно появилось в декабре, решили, что после январских праздников будем перепрыгивать на Yandex Managed Service for SQL Server.

Нам надо было перенести несколько 1С баз и несколько баз других систем и подключить к одной из баз Yandex DataLens.

Задача простейшая, но…

 

Первым делом я решил перенести 1С базы.

1 Снял бекап средствами MSSQL

2 В Managed Service for SQL Server создал пустые базы и пользователя с правами владельца (DB_OWNER) на эти базы.

3 Попытался средствами MSSQL загрузить бекапы… Поковырялся пару часов и решил дедовским методом перенести через конфигуратор dt-ки.

Самое интересное, на видео выше показан именно этот метод, но почему-то я решил, что это просто совпадение.

Переезд состоялся без осложнений.

 

Осталось перенести не 1С базу и дело сделано…

Первым делом я решил-таки попробовать подсунуть бекап.

Я пытался подсунуть бекап через консоль:

Я пытался перенести бекап через Yandex Object Storage.

Не вышло...

 

В Яндекс мне порекомендовали следующее решение:

Здравствуйте. Пока единственный вариант развернуть бэкап — воспользоваться средствами экспорта-импорта в Management Studio или SSIS пакетом для загрузки данных.

Мои действия:

Я воспользовался мастером Импорт и экспорт данных в SQL Server. Данные перенеслись, но в процессе были ошибки, и система чью базу я переносил сообщила мне что база не ее. То есть при переносе что-то не перенеслось. Я повторил попытку, но и она закончилась фиаско.

Я опять обратился за советом.

 

В Яндекс мне порекомендовали следующее решение:

Концептуально сейчас есть такой порядок действий:

1. Экспорт структуры БД через SQLPackage.exe без пользователей https://docs.microsoft.com/ru-ru/sql/tools/sqlpackage/sqlpackage?view=sql-server-ver15 формат DACPAC. BACPAC не подойдёт, т.к. его импорт подразумевает право на создание БД и в существующую БД он импортироваться не умеет.

2. Создание в облаке пустой БД

3. Применение к этой БД структуры из шага 1 через тот же SQLPackage.exe

4. Загрузка данных в таблицы через средства экспорта-импорта или SSIS.

 

На каждом этапе мы сильно зависим от того, что есть в БД. Например, если окажется, что есть функции или процедуры, ссылающиеся на объекты, которых нет, то экспорт не удастся, придётся исключать отдельные объекты.

 

Мои действия:

1 Скачал последнюю версию SqlPackage.exe

2 Создал DACPAC
Команда:
sqlpackage.exe /TargetFile:"C:\Back_up_For_ya\sqlpackageoutput\output_current_version.dacpac" /Action:Extract /SourceServerName:"MSSQL" /SourceDatabaseName:"МояБаза"

3 Создал в Managed Service for SQL Server базу "МояБаза", создал пользователя "МойПользователь" и дал права DB_OWNER

4 Попытался загрузить DACPAC
Команда:
SqlPackage.exe /Action:Publish /SourceFile:"C:\Back_up_For_ya\sqlpackageoutput\output_current_version.dacpac" /TargetDatabaseName:"МояБаза" /TargetServerName:"МойСерверНаЯндексе" /TargetUser:"МойПользователь " /TargetPassword:"ПарольПользователя"

 
 Получил ошибку:

5 Запустил SqlPackage.exe так же как в 4 пункте, но добавил ключ расшифровки /Diagnostics:True

 
 Получил больше представления по ошибкам, вырезка из лога:

 

Дальше я все логи отдал в Яндекс и после нескольких дней ожеданий предложил такой вариант:

1 Я создам бекап и закину его в Object Storage.

2 Создам ссылку и дам специалистам Yandex.

3 Специалисты перенесут данный файл в место доступное для восстановления базы по средствам Microsoft SQL Server Management Studio

4 Я восстановлю базу из этого бекапа.

Возможен такой вариант?

 

В Яндекс мне ответили:

Такой вариант возможен. Только пункт 4 тоже сделают специалисты сервиса. Этот сценарий пока отрабатывается на тестовой базе. Если вы не против, можем попробовать импортировать сразу вашу базу. Для этого создадим чат в телеграме со специалистами сервиса и интерактивно все сделаем. Сообщите, пожалуйста, если такой вариант вас устроит.

 

Я естественно согласился и на следующий день мы со специалистами Яндекс довели дело до конца, но у меня было ощущение что я что-то не так делал, и я спросил:

Вопрос. Если нам еще нужно будет перенести базу через месяц, два. Мы сами сможем это сделать?

 

В Яндекс мне ответили:

пока вряд ли.
я буду готов оперативно помочь до появления надлежащих средств.

 

 

Вопрос с Yandex Managed Service for SQL Server закрыли. Переехать можно но сложно.

Я уверен на 90% что если бекап сохранить в MS Azure, то оттуда можно его и поднять без помощи Яндекс, но это не точно…

 

Немножко информации по сервису DataLens:

Сервис DataLens позволяет визуализировать данные для анализа.

 

Мое обращение в Яндекс:

У нас куплены Managed Service for SQL Server и Managed Service for PostgreSQL. В Yandex DataLens подключение к PostgreSQL создается без проблем, а к MS SQL Server подконектится не получается.

В Managed Service for SQL Server создана база и пользователь с ролями на эту базу (DB_DATAREADER DB_DENYDATAWRITER) Использовал инструкцию https://cloud.yandex.ru/docs/datalens/operations/connection/create-mssql-server#ms-sql-server-connection

Подключение не проходит. Database error.

Есть ли такая возможность в принципе или мы зря пытаемся?

 

Ответы Яндекс:

 

 

UPD 15.02.2021

Ответ Яндекс:

 

Сегодня 18.02.2021 и УРА! Подключение DataLens заработало!

 

UPD 19.03.2021

Все это время мы никак не могли протестировать DataLens, так как из-за ожидании его починки фокус сместился на другие задачи.

Вчера я все таки добрался до тестирования и... 

Мое обращение в Яндекс:

Ответ Яндекс:

Мое обращение в Яндекс:

 

Резюмирую:

В Managed Service for SQL Server переехать можно, но сложно.

DataLens то работает, то нет...

Думайте сами, решайте сами. Иметь или не иметь...

Вступайте в нашу телеграмм-группу Инфостарт

Yandex Managed Service for SQL Server DataLens Yandex.Cloud Cloud

+7 –

См. также

Выгрузка в SPOT 2D / ОРИМИ с произвольной структурой полей в файле для ЛЮБЫХ конфигураций платформы 8.3 +

Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Облачные сервисы, хостинг Программист Пользователь 1С v8.3 Управляемые формы 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Данная система предназначена всем, кому нужно выгружать данные в SPOT 2D или в ОРИМИ. Позволяет гибко настроить получение данных для каждого поля файла и файла выгрузки в целом. Имеет отборы по организации, складу, и папкам номенклатуры. Есть возможность выгружать данные как вручную, с выбором конкретного файла, за конкретный период, так и в автоматическом режиме в указанное вами время. Выгрузка может выполняться в файл или через http напрямую. Имеется подробная справка по настройке, а также примеры запросов для приведенных в примерах файлов выгрузки. Может работать в составе любой конфигурации!

18000 руб.

19.10.2018    29592    8    1    

10
Запись не найдена в менеджере имен баз данных

Администрирование СУБД Программист 1С v8.3 Россия Бесплатно (free)

Ошибка реструктуризации: "Запись не найдена в менеджере имен баз данных". Диагностика и решение проблемы.

22.08.2025    1889    a13k55    0    

16
Доступ в кластер 1С для всех – просто, доступно, безопасно

Информационная безопасность Администрирование СУБД Системный администратор Бесплатно (free)

Рассказываем о безопасной и удобной организации доступа к кластеру 1С для всей ИТ-команды с помощью централизованного приложения управления. Автор показывает, как настроить разграничение прав, избежать типичных уязвимостей и эффективно управлять сеансами, не рискуя целостностью системы. Особое внимание уделено работе с объектной моделью 1С, прерыванию тяжелых запросов и диагностике проблем через технологический журнал.

11.08.2025    2477    evvakra    4    

8
СУБД Tantor Postgres 17.5: обзор улучшений для 1С

HighLoad оптимизация Администрирование СУБД Системный администратор Программист 1С v8.3 Бесплатно (free)

Сегодня мы проведем обзор изменений, касающихся работы с высоконагруженными системами 1С. Новый релиз предлагает не просто несколько точечных исправлений, а целый арсенал специализированных функций, призванных существенно ускорить выполнение типичных для 1С операций, снизить нагрузку на инфраструктуру и упростить администрирование. Спектр улучшений распространился на многие ключевые узлы производительности от оптимизации работы с временными таблицами и сложными запросами RLS (row-level security) до ускорения критически важных процессов наподобие «Закрытия месяца». Обо всем этом и пойдет речь в статье.

22.07.2025    4409    Tantor    9    

10
Коровы на страже дискового пространства

Администрирование СУБД Системный администратор Бесплатно (free)

Расскажем об опыте внедрения технологии CoW (Copy-On-Write). Вы узнаете, как CoW помогает экономить терабайты дискового пространства с минимальными накладными расходами, а также как интегрировать ее в рабочие процессы разработки и тестирования. Автор кратко объяснит суть CoW, поделится выбором файловой системы (xfs или btrfs?), расскажет, как его команда управляет подтомами прямо из 1С и почему они выбрали MS SQL для Linux. Отдельно он разберет влияние CoW на CI-процессы: как это помогает анализировать длительные регрессы и ускоряет развертывание баз.

22.07.2025    2255    Golovanoff    7    

16
Настройка 1С окружения в Windows WSL (Docker, Linux)

Администрирование СУБД Linux Сервера Системный администратор Программист Бесплатно (free)

В современных Windows 10 и 11 можно использовать WSL (Windows Subsystem for Linux) для запуска Linux окружения. Возникает соблазнительная мысль: может, PostgreSQL и сервер 1С запустить в WSL. Или даже хуже: в Docker на WSL. Знал бы, что будет сложно - даже не начинал :) Сложность кроется в том, что WSL это не полноценные виртуалки, а легковестные контейнеры Hyper-V с особенностями сети и GUI. Из плюсов, наверно, только размер и скорость запуска.

21.07.2025    2225    FSerg    2    

8
Как мы в Magnit Tech переводим базы 1C на PostgreSQL

Администрирование СУБД Системный администратор Программист Бесплатно (free)

В статье подробно разберем, как в компании организован процесс миграции на PostgreSQL, начиная с подготовки команды, предварительного анализа 1С-систем (с использованием специальных чек-листов и инструментов для аудита) и заканчивая тонкой настройкой PostgreSQL. Расскажем о системе автоматизированного тестирования, которая позволяет сравнивать производительность на MS SQL и PostgreSQL без трудоемких ручных проверок. Особое внимание уделим проблемам, которые возникли при миграции систем объемом 20+ ТБ, и способам их решения. А также поразмышляем о том, что нужно было бы сделать по-другому, если бы этот проект пришлось начинать заново.

10.07.2025    2246    leongl    0    

11
Работа с дампами и запрос в техподдержку 1С, если что-то пошло не так

HighLoad оптимизация Администрирование СУБД Системный администратор Программист 1С v8.3 Бесплатно (free)

В финальной статье по докладу «Дамп – не приговор, а повод задуматься», с которым выступили на осенней конференции INFOSTART TECH EVENT 2024, рассказываем, чем может быть полезна информация, полученная из дампа.

27.05.2025    2579    it-expertise    0    

12
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. malikov_pro 1347 02.02.21 10:00 Сейчас в теме
"В Yandex DataLens подключение к PostgreSQL" - и с MySQL не работает, на сколько понимаю,+ они его кешируют в свой промежуточный ClickHouse. Гружу данные через PostgREST, чтобы не заморачиваться с ADO.

Почему не используете PG для 1С? Где расположен сервер 1С, как развернут, как лицензируется?
Как организован бекап баз, какие планы восстановления при сбое доступны?
+ – Ответить
3. dsdred 4024 02.02.21 10:18 Сейчас в теме
(1) PG используемпока не для 1с. Пока для срезов, в планах еще ClickHouse.
Я не буду говорить какую конфигурацию используем, но она не типовая и когда я ее прогнал через АПК мне выпало 150К ошибок и предупреждений. Поэтому пока решили с PG не экспериментировать. В планах на будущее будем тестить PG и если все ок перепрыгнем.

Бекапы организованы средствами Managed Service for SQL Server, все хранится в облаке.

Сейчас только начало проекта, поэтому особо рассказывать нечего ))


В Yandex DataLens подключение к PostgreSQL

По-моему работает. Покрайней мере к PostgreSQL и ClickHouse конект создается.
Прикрепленные файлы:
+ – Ответить
2. artbear 1582 02.02.21 10:08 Сейчас в теме
(0) Хорошая статья.

Мое впечатление от статьи - достаточно грустно с переездом со своих сиквел-серверов в Яндекс-облако (
фактически, своими силами мало что можно сделать.

Расскажи о результатах переезда, стало лучше/хуже, чем ожидалось, какие фишки появились и т.п.
+ – Ответить
4. dsdred 4024 02.02.21 10:29 Сейчас в теме
(2)У нас новый проект, стартовал в декабре поэтому я не могу оценить стало лучше или хуже.
Вся инфраструктура у нас на Яндексе в облаках поэтому скорость работы хорошая.
У нас договоренность использовать по максимуму сервисы Яндекса чтобы инфраструктуру проще содержать.

Через 1-3 года смогу дать какую-то оценку. Ну и плюсом обещаю по ходу какие-то вещи публиковать))
+ – Ответить
5. malikov_pro 1347 02.02.21 12:58 Сейчас в теме
(3) У меня PG так же для DataLens на VM в рамках Я-облака (чтобы тарификация была внутренняя). Думаю о переходе на сервис, потому что в типовой настройке проблемы с сессиями (склоняюсь к нагрузке со стороны DataLens.

"По-моему работает. Покрайней мере к PostgreSQL и ClickHouse конект создается." - пытался указать на архитектуру заточенную под ClickHouse c мастер таблицей и "справочниками" в SQL.
+ – Ответить
Для отправки сообщения требуется регистрация/авторизация