Отражаем хранилище в репозиторий git, Jenkins'ом. Опять 25

// =============================================================================
// Пайплайн для параллельной и последовательной обработки проектов.
//
// Назначение:
//   - Выгружать коммиты хранилища, передавать в git-репозиторий (gitsync).
//   - Запускать анализ SonarQube для каждого проекта, если он включен.
//
// Управление:
//   - Настройки загружаются из JSON-файлов (common.json и projects.json),
//     которые хранятся в том же репозитории, что и этот Jenkinsfile.
//   - Общие свойства проекта задаются в common.props, проектные – в project.props.
//     При загрузке project.props объединяется с common.props (проектные переопределяют общие).
//     Аналогично сливаются переменные окружения (common.env + project.env).
//   - Через параметр PROJECT_FILTER (задаётся в веб-интерфейсе Jenkins)
//     можно выбрать, какие проекты обрабатывать:
//       *   - все активные проекты
//       cf  - проекты без GITSYNC_EXTENSION
//       cfe - проекты с GITSYNC_EXTENSION
//       список ключей через пробел - только указанные проекты, вне зависимости от их активности
// =============================================================================

// Значение метки агента по умолчанию, если не удастся прочитать из JSON
def agentLabel = 'sonar'
// Глобальные переменные для хранения конфигураций
def commonConfig
def projects

// -------------------------------------------------------------------
// Предварительная загрузка конфигураций на мастере
// -------------------------------------------------------------------
node('master') {
    // Получаем файлы из репозитория (Pipeline script from SCM)
    checkout scm
    // Читаем общие настройки
    commonConfig = readJSON file: 'common.json'
    // Если метка агента задана в common.json, используем её, иначе 'sonar'
    agentLabel = commonConfig.agentLabel ?: 'sonar'
    // Читаем список проектов
    projects = readJSON file: 'projects.json'

    // Слияние свойств и переменных окружения для каждого проекта
    projects.each { project ->
        // Слияние props: common.props + project.props (проектные переопределяют общие)
        project.props = commonConfig.props + (project.props ?: [:])
        // Слияние env: common.env + project.env (проектные переопределяют общие)
        project.env = commonConfig.env + (project.env ?: [:])
    }
}

// =============================================================================
// ВСПОМОГАТЕЛЬНЫЕ МЕТОДЫ
// =============================================================================

/**
 * Фильтрует список проектов по параметру PROJECT_FILTER.
 *
 * @param projects      полный список проектов с уже слитыми props и env
 * @return              отфильтрованный список проектов
 */
def filterProjects(projects) {
    // Берем значение параметра из веб-интерфейса Jenkins, по умолчанию '*'
    def filterMode = params.PROJECT_FILTER ?: '*'

    // Определяем, активен ли проект: используем слитое свойство active
    def isActive = { project -> project.props.active }

    // Если фильтр не задан или равен '*', возвращаем все активные проекты
    if (!filterMode || filterMode == '*') {
        return projects.findAll { project -> isActive(project) }
    }

    // Обработка конкретных режимов фильтрации
    switch (filterMode) {
        case 'cf':
            return projects.findAll { project ->
                isActive(project) && (!project.env.GITSYNC_EXTENSION || project.env.GITSYNC_EXTENSION.trim().isEmpty())
            }
        case 'cfe':
            return projects.findAll { project ->
                isActive(project) && project.env.GITSYNC_EXTENSION && !project.env.GITSYNC_EXTENSION.trim().isEmpty()
            }
        default:
            def keys = filterMode.split(' ') as Set
            return projects.findAll { project ->
                project.env.SONAR_PROJECT_KEY in keys
            }
    }
}

/**
 * Обрабатывает один проект: клонирование, синхронизация, анализ.
 *
 * @param project   объект проекта (с уже слитыми props и env)
 */
def processProject(project) {
    def projectKey = project.env.SONAR_PROJECT_KEY
    def props = project.props

    // Безопасная очистка дополнительных параметров командной строки
    def sanitizeParams = { input ->
        input?.replaceAll(/[^a-zA-Z0-9_\-\.:=\/\s]/, '')
    }

    stage(projectKey) {
        dir(projectKey) {

            // Очистка рабочей директории, если требуется
            if (props.clearDir) {
                deleteDir()
            }

            // Устанавливаем переменные окружения (уже слитые)
            withEnv(project.env.collect { k, v -> "${k}=${v}" }) {
                // Клонирование репозитория
                git branch: props.branch, url: project.env.GITSYNC_REPO_URL

                // Синхронизация через gitsync
                // Для аутентификации можно раскомментировать withCredentials
                // withCredentials([gitUsernamePassword(credentialsId: props.gitCredentialsID, gitToolName: 'Default')]) {
                    powershell """chcp ${props.codepage}
                    gitsync s --numerator ${sanitizeParams(props.otherGitsyncParams)}"""
                // }

                // Запуск SonarScanner, если включен
                if (props.useSonar) {
                    withCredentials([string(credentialsId: props.sonarqubeTokenID, variable: 'SONAR_TOKEN')]) {
                        def cl = """
                            chcp ${props.codepage}
                            cd \"${props.srcDir}\"
                            sonar-scanner --define sonar.projectKey=${project.env.SONAR_PROJECT_KEY} ${sanitizeParams(props.otherSonarScannerParams)}
                        """
                        powershell cl
                    }
                }
            }
        }
    }
}

// =============================================================================
// ОСНОВНОЙ ПАЙПЛАЙН
// =============================================================================

pipeline {
    agent {
        label agentLabel
    }

    stages {
        stage('Обработка проектов') {
            steps {
                script {
                    def selectedProjects = filterProjects(projects)

                    // Группировка по номеру группы
                    def groupedProjects = selectedProjects.groupBy { project -> project.props.group }
                    def sortedGroups = groupedProjects.keySet().sort()

                    sortedGroups.each { group ->
                        stage("Группа ${group}") {
                            def projectsInGroup = groupedProjects[group]
                            def parallelStages = [:]

                            projectsInGroup.each { project ->
                                def projectKey = project.env.SONAR_PROJECT_KEY
                                def timeoutVal = project.props.timeoutMinutes

                                parallelStages[projectKey] = {
                                    if (timeoutVal > 0) {
                                        timeout(time: timeoutVal, unit: 'MINUTES') {
                                            catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
                                                processProject(project)
                                            }
                                        }
                                    } else {
                                        catchError(buildResult: 'FAILURE', stageResult: 'FAILURE') {
                                            processProject(project)
                                        }
                                    }
                                }
                            }
                            parallel parallelStages
                        }
                    }
                }
            }
        }
    }
}

{
  # Метка Jenkins-агента, где будет происходить сборка
  "agentLabel": "sonar",
  # Настройки проектов "по умолчанию". 
  # Все ключи из default могут быть переопределены непосредственно в объекте проекта (на верхнем уровне).
  "props": {
    # Проект активен
    "active": true,
    # Кодовая страница для логов gitsync и sonar scanner 
    "codepage": "65001",
    # ID секрета, хранящего раздельно пользователя и пароль для подключения к git-репозиторию
    "gitCredentialsID": "git_token",
    # ID секрета, хранящего токен для подключения к SonarQube
    "sonarqubeTokenID": "sonarqube_token",
    # Каталог репозитория, где хранятся сами исходники
    "srcDir": "src", 
    # Запускать анализ SQ
    "useSonar": true,
    # Ветка репозитория исходников. Бывает и main, и master. Указываем, как нам нужно.
    "branch": "main",
    # Идентификатор группы проектов
    "group": 0,
    # Дополнительные параметры командной строки для gitsync
    "otherGitsyncParams": "",
    # Дополнительные параметры командной строки для sonar scanner
    "otherSonarScannerParams": "",
    # Очищать рабочий каталог перед запуском gitsync.
    "clearDir": true,
    # Можем ограничить таймаутом время сборки проекта
    "timeoutMinutes": 0
  },
  # Переменные окружения "по умолчанию"
  # Здесь и переменные gitsync, и sonar scanner.
  "env": {
    "V8VERSION": "8.3.22.2283",
    "GITSYNC_STORAGE_USER": "user_gitsync",
    "GITSYNC_DOMAIN_EMAIL": "domain.ru",
    "GITSYNC_EMAIL": "domain.ru",
    "GITSYNC_REMOTE_PUSH_N_COMMITS": "2",
    "GITSYNC_LIMIT": "0",
    "GITSYNC_REMOTE_PUSH_TAGS": "true",
    "GITSYNC_REMOTE_PUSH": "true",
    "GITSYNC_SKIP_EXISTS_TAGS": "true",
    "GITSYNC_TASK_PREFIX": "#",
    "SONAR_HOST_URL": "https://sonarqube:9443",
    "SONAR_SOURCE_ENCODING": "UTF-8",
    "SONAR_INCLUSIONS": "**\\*.bsl",
    "SONAR_SCANNER_JAVA_OPTS": "-Xmx2G",
    # Чтобы побороть ромбики в логах sonar scanner
    "JAVA_TOOL_OPTIONS": "-Dfile.encoding=UTF-8"
  }
}

* JSON не предусматривает комментарии - удалить.

[
    {
        "props": {        
          # Задаем другую основную ветку
          "branch": "master"
        },
        "env": {
            # Это расширение
            "GITSYNC_EXTENSION": "РасширениеВнешниеКонтрагентыДоговоры",
            # Путь к хранилищу
            "GITSYNC_STORAGE_PATH": "//STORAGES-1C/Расширения/РасширениеВнешниеКонтрагентыДоговоры/",
            # URL git-репозитория
            "GITSYNC_REPO_URL": "https://STORAGES-GIT/docflow/ebd-external_data.git",
            # Ключ проекта SonarQube
            "SONAR_PROJECT_KEY": "ebd.external_data"
        }
    },
    {
        "props": {        
          # Выводим в отдельную группу
          "group": 1
        },
        "env": {
            "GITSYNC_STORAGE_PATH": "//STORAGES-1C/TechProjects/194_БП/",
            "GITSYNC_REPO_URL": "https://STORAGES-GIT/1c/prom/main_disconnects.git",
            "SONAR_PROJECT_KEY": "Prom_bp_disconnect",
            # Имя проекта SonarQube
            "SONAR_PROJECT_NAME": "Пром (БП Отключения)",
            # Дополнительные java-опции для sonar scanner
            "SONAR_SCANNER_JAVA_OPTS": "-Xmx8G -Xms2G -Dfile.encoding=UTF-8"
      }
    }
]

* JSON не предусматривает комментарии - удалить.