Отражаем хранилище в репозиторий git, Jenkins'ом. Опять 25

// =============================================================================
// Пайплайн для параллельной и последовательной обработки проектов.
//
// Назначение:
//   - Выгружать коммиты хранилища, передавать в git-репозиторий (gitsync).
//   - Запускать анализ SonarQube для каждого проекта, если он включен.
//
// Управление:
//   - Настройки загружаются из JSON-файлов (common.json и projects.json),
//     которые хранятся в том же репозитории, что и этот Jenkinsfile.
//   - Для каждого проекта можно настроить флаг активности (active),
//     а также режим параллельности (parallel).
//   - Через параметр PROJECT_FILTER (задаётся в веб-интерфейсе Jenkins)
//     можно выбрать, какие проекты обрабатывать:
//       *   - все активные проекты
//       cf  - проекты без GITSYNC_EXTENSION
//       cfe - проекты с GITSYNC_EXTENSION
//       список ключей через пробел - только указанные проекты, вне зависимости от их активности
// =============================================================================

// Значение метки агента по умолчанию, если не удастся прочитать из JSON
def agentLabel = 'sonar'
// Глобальные переменные для хранения конфигураций
def commonConfig
def projects

// -------------------------------------------------------------------
// Предварительная загрузка конфигураций на мастере
// Это нужно, чтобы прочитать JSON до того, как будет назначен агент.
// -------------------------------------------------------------------
node('master') {
    // Получаем файлы из репозитория (Pipeline script from SCM)
    checkout scm
    // Читаем общие настройки
    commonConfig = readJSON file: 'common.json'
    // Если метка агента задана в common.json, используем её, иначе 'sonar'
    agentLabel = commonConfig.agentLabel ?: 'sonar'
    // Читаем список проектов
    projects = readJSON file: 'projects.json'
}

// =============================================================================
// ВСПОМОГАТЕЛЬНЫЕ МЕТОДЫ
// =============================================================================

/**
 * Возвращает значение итоговой настройки проекта. 
 *
 * @param commonConfig  Oбщие настройки из common.json
 * @param project   Настройки проекта
 * @param key       Ключ настроек
 * @return          Значение настройки
 */
def getParam(commonConfig, project, String key) {
    return project.containsKey(key) ? project[key] : commonConfig.default[key]
}

/**
 * Фильтрует список проектов по параметру PROJECT_FILTER.
 *
 * @param projects      полный список проектов из projects.json
 * @param commonConfig  общие настройки из common.json (содержит default.active)
 * @return              отфильтрованный список проектов
 */
def filterProjects(projects, commonConfig) {
    // Берем значение параметра из веб-интерфейса Jenkins, по умолчанию '*'
    def filterMode = params.PROJECT_FILTER ?: '*'

    // Определяем, активен ли проект: приоритет - локальный флаг, затем общий default.active
    def isActive = { project -> 
        getParam(commonConfig, project, "active")
    }

    // Если фильтр не задан или равен '*', возвращаем все активные проекты
    if (!filterMode || filterMode == '*') {
        return projects.findAll { project -> isActive(project) }
    }

    // Обработка конкретных режимов фильтрации
    switch (filterMode) {
        case 'cf':
            // Только проекты без расширения GITSYNC_EXTENSION
            return projects.findAll { project ->
                isActive(project) && (!project.env.GITSYNC_EXTENSION || project.env.GITSYNC_EXTENSION.trim().isEmpty())
            }
        case 'cfe':
            // Только проекты с расширением GITSYNC_EXTENSION
            return projects.findAll { project ->
                isActive(project) && project.env.GITSYNC_EXTENSION && !project.env.GITSYNC_EXTENSION.trim().isEmpty()
            }
        default:
            // Режим "список ключей": разбиваем строку по пробелам и ищем совпадения
            def keys = filterMode.split(' ') as Set
            return projects.findAll { project ->
                project.env.SONAR_PROJECT_KEY in keys
            }
    }
}

/**
 * Обрабатывает один проект: клонирование, синхронизация, анализ.
 *
 * @param project       объект проекта из projects.json
 * @param commonConfig  общие настройки из common.json
 */
def processProject(project, commonConfig) {
    // Уникальный ключ проекта для SonarQube, используется как имя стадии
    def projectKey = project.env.SONAR_PROJECT_KEY

    // Функция безопасной очистки параметров от спецсимволов (защита от инъекций)
    def sanitizeParams = { input ->
        input?.replaceAll(/[^a-zA-Z0-9_\-\.:=\/\s]/, '')
    }

    // Создаем стадию с именем проекта (будет видна в Jenkins)
    stage(projectKey) {
        // Изолируем рабочую директорию проекта
        dir(projectKey) {

            // Формируем список переменных окружения
            def commonEnvList = commonConfig.env.collect { k, v -> "${k}=${v}" }
            def projectEnvList = project.env.collect { k, v -> "${k}=${v}" }
            // Объединяем общие и проектные переменные (проектные имеют приоритет)
            def allEnvList = commonEnvList + projectEnvList

            // Настройки для клонирования и синхронизации
            def clearDir = getParam(commonConfig, project, "clearDir")
            def repoBranch = getParam(commonConfig, project, "branch")
            // Дополнительные параметры для утилит (безопасно очищенные)
            def otherGitsyncParams = sanitizeParams(getParam(commonConfig, project, "otherGitsyncParams"))
            def otherSonarScannerParams = sanitizeParams(getParam(commonConfig, project, "otherSonarScannerParams"))

            // Если нужно, очищаем каталог перед началом
            if (clearDir) {
                deleteDir()
            }

            // Устанавливаем переменные окружения и выполняем команды
            withEnv(allEnvList) {
                // Клонирование репозитория из Git (ветка из конфигурации)
                git branch: repoBranch, url: project.env.GITSYNC_REPO_URL

                // Синхронизация локальной копии с удаленным хранилищем (gitsync)
                // Для аутентификации можно раскомментировать withCredentials ниже
                // withCredentials([gitUsernamePassword(credentialsId: commonConfig.gitCredentialsID, gitToolName: 'Default')]) {
                    powershell """chcp ${commonConfig.codepage}
                    gitsync s --numerator ${otherGitsyncParams}"""
                // }

                // Запуск анализа SonarQube, если он включен для проекта
                def runSonar = getParam(commonConfig, project, "useSonar")
                if (runSonar) {
                    // Директория с исходниками для анализа
                    def srcDir = getParam(commonConfig, project, "srcDir")
                    // Получаем токен из безопасного хранилища Jenkins
                    withCredentials([string(credentialsId: commonConfig.sonarqubeTokenID, variable: 'SONAR_TOKEN')]) {
                        def cl = """
                            chcp ${commonConfig.codepage}
                            cd \"${srcDir}\"
                            sonar-scanner --define sonar.projectKey=${project.env.SONAR_PROJECT_KEY} ${otherSonarScannerParams}
                        """
                        powershell cl
                    }
                }
            }
        }
    }
}

// =============================================================================
// ОСНОВНОЙ ПАЙПЛАЙН
// =============================================================================

pipeline {
    agent {
        // Используем метку агента, полученную из common.json (или значение по умолчанию)
        label agentLabel
    }

    stages {
        stage('Обработка проектов') {
            steps {
                script {
                    // 1. Получаем список проектов, согласно фильтру
                    def selectedProjects = filterProjects(projects, commonConfig)

                    // 2. Разделяем на параллельные и последовательные
                    def parallelProjects = selectedProjects.findAll { project ->
                        getParam(commonConfig, project, "parallel")
                    }
                    def sequentialProjects = selectedProjects.findAll { project ->
                        !getParam(commonConfig, project, "parallel")
                    }

                    // 3. Параллельная обработка (если есть проекты)
                    if (parallelProjects) {
                        def parallelStages = [:]
                        parallelProjects.each { project ->
                            def projectKey = project.env.SONAR_PROJECT_KEY
                            
                            // Определяем таймаут для проекта (из настроек проекта или общий по умолчанию)
                            def timeoutVal = getParam(commonConfig, project, "timeoutMinutes")
                            
                            // Каждая параллельная ветка оборачивается в catchError,
                            // чтобы ошибка в одном проекте не остановила остальные
                            parallelStages[projectKey] = {
                                // Если таймаут больше нуля, ограничиваем время выполнения всего проекта
                                if (timeoutVal > 0) {
                                    timeout(time: timeoutVal, unit: 'MINUTES') {
                                        catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
                                            processProject(project, commonConfig)
                                        }
                                    }
                                } else {
                                    // Таймаут не задан (0 или отсутствует) – выполняем без ограничения времени
                                    catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
                                        processProject(project, commonConfig)
                                    }
                                }
                            }
                        }
                        // Запуск всех параллельных веток
                        parallel parallelStages
                    }

                    // 4. Последовательная обработка (если есть проекты)
                    if (sequentialProjects) {
                        stage('Последовательные проекты') {
                            sequentialProjects.each { project ->
                                // Определяем таймаут для проекта (аналогично параллельной обработке)
                                def timeoutVal = getParam(commonConfig, project, "timeoutMinutes")
                                
                                // Оборачиваем каждый проект в catchError для изоляции ошибок
                                if (timeoutVal > 0) {
                                    timeout(time: timeoutVal, unit: 'MINUTES') {
                                        catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
                                            processProject(project, commonConfig)
                                        }
                                    }
                                } else {
                                    catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
                                        processProject(project, commonConfig)
                                    }
                                }
                            }
                        }
                    }                
                }
            }
        }
    }
}

{
  # Метка Jenkins-агента, где будет происходить сборка
  "agentLabel": "sonar",
  # Кодовая страница для логов gitsync и sonar scanner 
  "codepage": "65001",
  # ID секрета, хранящего раздельно пользователя и пароль для подключения к git-репозиторию
  "gitCredentialsID": "git_token",
  # ID секрета, хранящего токен для подключения к SonarQube
  "sonarqubeTokenID": "sonarqube_token",
  # Настройки проектов "по умолчанию". 
  # Все ключи из default могут быть переопределены непосредственно в объекте проекта (на верхнем уровне).
  "default": {
    # Проект активен
    "active": true,
    # Каталог репозитория, где хранятся сами исходники
    "srcDir": "src", 
    # Запускать анализ SQ
    "useSonar": true,
    # Ветка репозитория исходников. Бывает и main, и master. Указываем, как нам нужно.
    "branch": "main",
    # Запускать параллельно с другими проектами
    "parallel": true,
    # Дополнительные параметры командной строки для gitsync
    "otherGitsyncParams": "",
    # Дополнительные параметры командной строки для sonar scanner
    "otherSonarScannerParams": "",
    # Очищать рабочий каталог перед запуском gitsync.
    "clearDir": true,
    # Можем ограничить таймаутом время сборки проекта
    "timeoutMinutes": 0
  },
  # Переменные окружения "по умолчанию"
  # Здесь и переменные gitsync, и sonar scanner.
  "env": {
    "V8VERSION": "8.3.22.2283",
    "GITSYNC_STORAGE_USER": "user_gitsync",
    "GITSYNC_DOMAIN_EMAIL": "domain.ru",
    "GITSYNC_EMAIL": "domain.ru",
    "GITSYNC_REMOTE_PUSH_N_COMMITS": "2",
    "GITSYNC_LIMIT": "0",
    "GITSYNC_REMOTE_PUSH_TAGS": "true",
    "GITSYNC_REMOTE_PUSH": "true",
    "GITSYNC_SKIP_EXISTS_TAGS": "true",
    "GITSYNC_TASK_PREFIX": "#",
    "SONAR_HOST_URL": "https://sonarqube:9443",
    "SONAR_SOURCE_ENCODING": "UTF-8",
    "SONAR_INCLUSIONS": "**\\*.bsl",
    "SONAR_SCANNER_JAVA_OPTS": "-Xmx2G"
  }
}

* JSON не предусматривает комментарии - удалить.

[
    {
        # Задаем другую основную ветку
        "branch": "master",
        "env": {
            # Это расширение
            "GITSYNC_EXTENSION": "РасширениеВнешниеКонтрагентыДоговоры",
            # Путь к хранилищу
            "GITSYNC_STORAGE_PATH": "//STORAGES-1C/Расширения/РасширениеВнешниеКонтрагентыДоговоры/",
            # URL git-репозитория
            "GITSYNC_REPO_URL": "https://STORAGES-GIT/docflow/ebd-external_data.git",
            # Ключ проекта SonarQube
            "SONAR_PROJECT_KEY": "ebd.external_data"
        }
    },
    {
        # Отключаем параллельность
        "parallel": false,
        "env": {
            "GITSYNC_STORAGE_PATH": "//STORAGES-1C/TechProjects/194_БП/",
            "GITSYNC_REPO_URL": "https://STORAGES-GIT/1c/prom/main_disconnects.git",
            "SONAR_PROJECT_KEY": "Prom_bp_disconnect",
            # Имя проекта SonarQube
            "SONAR_PROJECT_NAME": "Пром (БП Отключения)",
            # Дополнительные java-опции для sonar scanner
            "SONAR_SCANNER_JAVA_OPTS": "-Xmx8G -Xms2G -Dfile.encoding=UTF-8"
      }
    }
]

* JSON не предусматривает комментарии - удалить.