Подготовка тестового контура с помощью gitlab-ci и Яндекс.Диска

04.05.18

Интеграция - WEB-интеграция

В статье описан пример использования gitlab-ci для копирования продуктовой базы в Яндекс.Диск и разворачивания на другом контуре.

Должно быть установлено

oscript

пакет cpdb(oscript)  

rem устанавливаем пакет
opm install cpdb

будем ставить 

gitlab-runner

Для настройки создадим репозиторий на gitlab. Добавим файл .gitlab-ci.yml с текстом:

stages:
  - stage
 
'Подготовка тестового контура':
  stage: stage
  script: 
  - chcp 65001
  - mkdir %tmp%\PrepareStage\ib\ 
  - xcopy %secret_ib_file% %tmp%\PrepareStage\ib\ /Y /Z /V /J /I 
  - call cpdb dumpib -ib-path "/F%tmp%/PrepareStage/ib/" -dt-path "%tmp%/PrepareStage/trade_stage_%DATE%.dt" %secret_ib_user% %secret_ib_pass% -v8version 8.3.10
  - call cpdb putyadisk -file "%tmp%/PrepareStage/trade_stage_%DATE%.dt" -ya-token %secret_ya_token% -ya-path %secret_ya_path%
  - RMDIR %tmp%\PrepareStage\ /s /q
  when: manual

 

Файл .gitlab-ci.yml содержит набор инструкций для исполнения экземпляром gitlab-runner

Далее необходимо будет указать секретные переменные (те что начинаются с %secret) и зарегистрировать runner на машине с доступом к продуктовой базе

Настраиваем секретные переменные

Переходим в https://gitlab.com/<profile>/<myproject>/settings/ci_cd, в разделе Secret variables указываем ключи и значения секретных переменных

Например:

 ключ - secret_ib_file, значение d:\bases\trade\1cv8.1cd

 ключ - secret_ya_path, значение /stages/trade/

Имена ключей в Secret variables указываются без % 

Так же есть переменная secret_ya_token значение которой необходимо получить из здесь (OAuth-авторизация).

в разделе Платформы отмечаем Веб-сервисы и обязательно указываем Callback URI 

далее указываем какие права будут у нашего приложения

После создания приложения будет выдан его id, что бы получить токен, необходимо пройти по ссылке https://oauth.yandex.ru/authorize?response_type=token&client_id=<ID приложения> и разрешить его работу. Далее будет выдан токен который надо указать в значении переменной secret_ya_token

Рекомендую создать еще одно приложение, со всеми правами только без Запись в любом месте на диске и использовать его токен для развертывания.

Регистрируем runner

Для начала необходимо получить токен для раннера в gitlab. Снова переходим в https://gitlab.com/<profile>/<myproject>/settings/ci_cd.

В разделе Runners settings

1. Отключаем общие раннеры, они нам не нужны. Нажимаем кнопку Disable shared Runners

 2. Копируем токен для раннера, он будет нужен при регистрации

Наконец то регистрируем раннер

Оригинальная инструкция

1. Создаем папку на диске, например C:\GitLab-Runner.  Рекомендую для использования нескольких раннеров сделать основную папку GitLab-Runners и в ней подпапки с именами раннеров C:\GitLab-Runner\TradePrepareStage например

2. Загрузите двоичный файл для x86 или amd64 и поместите его в созданную вами папку. Переименуйте двоичный файл в gitlab-runner.exe.

3. Запустите командную строку с правами Администратора

4. Регистрируем раннер (официальная инструкция)

по очереди выполняем команды 

rem Переходим в папку со скаченным файлом раннера 
cd C:\GitLab-Runner\TradePrepareStag

rem выполняем команду
gitlab-runner.exe register

rem указываем адрес инстанса (так как можно регистрировать раннеры и на своем экземпляре gitlab)
https://gitlab.com

rem указываем токен для раннера
xxxxxxxxxxxxxxxxx 

rem указываем описание раннера (любое, чтоб понимать для чего он был зарегистрирован)
TradePrepareStag

rem на вопрос о тегах ничего не пишем, здесь они не будут использоваться
Please enter the gitlab-ci tags for this runner (comma separated):

rem на вопрос отвечаем ДА
Whether to run untagged jobs [true/false]:
true

rem на вопрос о том кто будет исполнять сценарии отвечаем shell (для windows)
Please enter the executor: ssh, docker+machine, docker-ssh+machine, kubernetes, docker, parallels, virtualbox, docker-ssh, shell:
shell

5. Устанавливаем раннер как службу и запускаем его

gitlab-runner install 

gitlab-runner start

По умолчанию, служба регистрируется как gitlab-runner. Лучше дополнительно указать имя службы, за место верхней инструкции выполнить:

gitlab-runner install --service gitlab-runner-trade-prepare-stage

gitlab-runner start --service gitlab-runner-trade-prepare-stage

 

Для выполнения инструкций переходим в https://gitlab.com/<profile>/<myproject>/pipelines и нажимаем кнопку запуска у конвеера или создаем новый конвеер по команде Run Pipeline.

После запуска можно зайти в задание и следить за результатом выполнения

После успешного выполнения, в каталоге Диска должна появиться выгрузка базы.

При выполнении команды putyadisk выводится ошибка о том что каталог уже создан, так же при повторном выполнении задания выводится ошибка, что и закачиваемый файл имеется на Яднекс.Диске.

Для повторной выгрузки файла пока что необходимо предварительно удалить ранее созданную выгрузку на сегодняшний день.

Заключение

В итоге мы получаем возможность забрать копию рабочей базы через веб-интерфейс gitlab, когда нам это необходимо. Почему gitlab?

1. веб-интерфейс для выполнения заданий

2. раннер не занимает много места по сравнению с jenkins (~50mb)

3. кажется, единственный сервис, предлагающий ci под windows

4. это бесплатно

См. также

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме. Без существенных изменений типовой конфигурации. Проверено с брендами: Интеграция 1С и GEELY Интеграция 1С и HAVAL Интеграция 1С и KIA Интеграция 1С и FORD Интеграция 1С и LADA ГАРАНТИЯ 100% ВНЕДРЕНИЯ!

36000 руб.

03.08.2020    15655    9    17    

9

Модуль для обмена "1С:Предприятие 8. УАТ. ПРОФ" с FortMonitor

WEB-интеграция 8.3.8 Конфигурации 1cv8 Автомобили, автосервисы Беларусь Украина Россия Казахстан Управленческий учет Платные (руб)

Расширение предназначено для конфигурации "1С:Предприятие 8. Управление Автотранспортом. ПРОФ". Функционал модуля: 1. Заполнение регистров сведений по подсистеме "Мониторинг", а именно: события по мониторингу, координаты по мониторингу, пробег и расход по мониторингу, текущее местоположение ТС по мониторингу 2. Заполнение путевого листа: пробег по мониторингу, время выезда/заезда, табличная часть ГСМ, места стоянок по геозонам. 3. Отчеты по данным загруженным в регистры сведений. 4. Предусмотрена автоматическая загрузка данных в фоновом режиме (условия работы данной загрузке читайте в описании товара) Модуль работает без включенной константы по настройкам мониторинга. Модуль формы предоставляется с открытым кодом, общий модуль защищен. Любой заинтересованный пользователь, имеет возможность скачать демо-версию расширения.

22656 руб.

25.05.2021    12809    30    8    

10

Интеграция 1С — Битрикс24. Обмен задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс24. Разработка имеет двухстороннюю синхронизацию 1С и Битрикс24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (8.3.18.1289). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021    17424    6    15    

13

[Расширение] БОР-Навигатор.Культура

Зарплата Бюджетный учет WEB-интеграция Обмен с ГосИС Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бюджетный учет Платные (руб)

Расширение конфигурации, включающее в себя объекты, необходимые для подготовки и сдачи отчета "Штатная численность" системы "БОР-Навигатор.Культура" в программе "1С:Зарплата и кадры государственного учреждения", редакция 3.1.

8400 руб.

01.02.2019    25686    9    0    

7

Интеграция с сервисом vetmanager

WEB-интеграция Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Внешняя обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.0

12000 руб.

02.02.2021    16256    41    49    

22
Оставьте свое сообщение