Анализируем SQL сервер глазами 1С-ника

13.05.25

База данных - HighLoad оптимизация

Публикация размещена исключительно в образовательных целях и подходит только для платформы версии 8.3.22.2106.
Использует недокументированные средства доступа к базе данных 1С. Прямое обращение к СУБД нарушает лицензионное соглашение,
может изменить поведение платформы, привести к разрушению базы данных, скомпрометировать данные,
а также привести к отказу в официальной поддержке Фирмы 1С.
Обработка для простого и удобного анализа настроек, нагрузки и проблем с SQL сервером с упором на использование оного для 1С. Анализ текущих запросов на sql, ожиданий, конвертация запроса в 1С и рекомендации, где может тормозить.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Анализируем SQL сервер глазами 1с-ника: - обработка
.epf 189,33Kb ver:14.05.2025
221
221 Скачать (5 SM) Купить за 3 050 руб.
Анализируем SQL сервер глазами 1с-ника: - расширение для 1smonitor.ru
.cfe 795,88Kb ver:14.05.2025
82
82 Скачать (5 SM) Купить за 3 050 руб.

При работе любой системы очень часто возникают проблемы с производительностью и недовольство пользователей "тормозами".

Учитывая, что 1С - это многозвенная система - Клиент-сервер1С-СерверSQL, необходимо проводить комплексный анализ всей цепочки.

Один из элементов цепочки - это SQL сервер, с которым часто есть различные проблемы, в том числе организационные.

Когда администрирование SQL "вешают" не на администраторов баз данных, а на админов "широкого профиля" или на 1С-овцев, которые смотрят на SQL и не могут понять, что там не так.

Конечно, можно изучить море информации, пройти курсы DBA, узнать все про SQL.

Но на это надо время, силы и появляется шанс потери сотрудника, который с таким багажом может легко уйти на более высокооплачиваемую вакансию...

В помощь разборки причин неоптимальной или медленной работы SQL (для 1С) и создана данная обработка.

Она позволяет легко и просто "посмотреть" на SQL в "человеческом" языке, в том числе с точки зрения рекомендации фирмы 1С, производителя SQL, опыта независимых исследователей причин медленной работы SQL, в терминах метаданных 1С и получить готовые решения в виде команд и скриптов для улучшения производительности.

 

В данном решении приложено 2 варианта для использования

1 - Автономная обработка. Рекомендуется запускать на базе  с конфигурацией, равной текущей.

  • Тогда имена объектов будут подставляться в именах 1С, большинство запросов смогу даже открыться в конструкторе для анализа и форматирования запроса.
  • А часть даже выполнится (после небольшой обработкой напильником).
  • В планах (далеких) замена в параметрах гуиды на реальные данные из базы Сделано! Теперь можно видеть не гуиды -а реальные данные. Особенно удобно когда значение перечислений в условиях.

2 - Как  расширение к 1smonitor.ru. Можно на бесплатную версию ставить. Позволяет из "одного окна" мониторить все сервера. Настройки настройки подключения и метаданные берутся из монитора. Как расширение функционала в запросах новые закладки

  • Возможно подключение через агента 1с-монитор. В итоге работает под Windows/Linux без установки доп драйверов и танцев с бубнами!
  • Текст запроса на языке 1с  -максимально приближенный к анализу. Теперь корректно работает даже когда много связей с одинаковыми таблицами 
  • Советник -что вероятно послужило причиной тормозов и что делать. В том числе теперь анализируется план запроса (если он есть)
  • Добавлен функционал просмотра текущих сеансов (RAS&COM подключение).
    • В удобном виде 
      • -важные сверху,
      • виновник блокировки в виде имени и клиента в не номера соединения
    • можно тут-же "убить виновника тормозов"
    • можно выгрузить в таблицу
    • построить отчет

 

Источник данных

Все данные по SQL получаются исключительно запросами SQL. В том числе события, рекомендации и т.п.

 
 Чтобы пользоваться функционалом нужно

 

Возможности (буду без скринов - чтобы не спамить. Все скрины сверху - смотрите все чтобы понять функционал -данных много)

  1. Оперативная информация по SQL.
    1. Загрузка сервера SQL по процессорам (MS SQL)
    2. Текущие запросы. с текстом, ожиданиями, блокировками, советником что не так с запросом и прочими важными и детальными данными
      1. Если вы счастливый пользователь 1СМонитора и настроили RAS|Com подключение -то тут же увидите необходимую информацию о пользователе 1с, типе подключения и тп
    3. Очень детальная информация по запросу(MS SQL) -что там идет внутри. Видно какие подкоманды, их прогресс и тп
    4. Что сейчас работает из запросов в TempDB(MS SQL)
    5. Установленные текущие блокировки(MS SQL)
    6. показатели производительности по данным MS SQL
  2. Показывает информацию по SQL серверу
    1. Общие данные -что может быть кратко и важно
      1. подробно версию
      2. "Индекс производительности" - тестовый запрос. Помог найти косяк сервера с первого взгляда
      3. сколько работает
      4. режим производительности
      5. оперативной памяти, процессоров
      6. Дополнительные важные параметры
    2. Параметры
      1. имена
      2. текущие значения
      3. рекомендованные
      4. комментарий, почему так рекомендовано
      5. и если есть вариант установить командой - команда
    3. Трассировки(MS SQL)
      1. имя флага
      2. текущий режим - установлен или нет
      3. команда установки флага
      4. рекомендация
      5. Описание- на каком основании дана рекомендация
    4. Детали - тут все параметры SQL. "черновая" информация, но может, что-то интересное перейдет на закладки информация о сервере
    5. Доступное место - сколько есть места под базы, логи, можно ли шринкануть базу
    6. Базы на сервере
  3. Информация о базе
    1. Информация о бекапах - когда были, что бекапилось и сколько времени шло (MS SQL)
    2. Большие таблицы. Таблицы больше Гб. С именами 1С. Помогает понять, что занимает много места, и быстро удалять неважные данные, например, в базах разработчиков
    3. Данные о регистрации изменений - наверняка есть ненужные регистрации в неиспользуемых планах обмена.
    4. Недообновления - если есть таблицы-остатки неудачных обновлений. с именами *NG
  4. Рекомендации
    1. Рекомендация - итоговая страница. Что советует сделать и код скрипта для выполнения рекомендации
    2. Ожидания(MS SQL) - накопленные ожидания, информация о них и что можно сделать, чтобы улучшить ситуацию
    3. Использование индексов и статистика. Рекомендации по индексам и скрипт улучшения ситуации
    4. Рекомендуемые индексы
    5. Паразитные индексы. Список, как часто использовались
  5. Список запросов
    1. На основании чего получены данные. можно посмотреть, подправить, выполнить
    2. Посмотреть результаты выполнения
  6. Список скриптов
    1. Полезные скрипты -типа сжать tempdb, обновлять только нужную статистику и тп
  7. конвертер любого запроса SQL в 1с (актуально для режима внешняя обработка)

 

Везде, где можно, сделано:

1 - замена имен на метаданные 1С

2 - замена скрипта на понятные 1с-нику.

 
 Сильная оптимизация чтобы убрать лишние условия (типа "Основные данные"  и сравнение по типу, подтипу и ссылке сворачивать по ссылке)

3 - даны по возможности рекомендации -куда смотреть для ускорения запроса ( в том числе если есть план запроса -показывает из него важную информацию)

 
 Пример советника по текущему запросу

4- генерируются команды исправления данных на SQL


В данной обработке недоступна генерация скриптов, прямо или косвенно нарушающих лицензионное соглашение 1С или правила публикации на Инфостарте. Только выведен анализ наиболее вероятных причин медленной работы 1С.

 

Какие планы

1 - более глубокое погружение в PG

 

Если есть предложения - пишите, реализую. Это будет более эффективно, чем Вы будете тратить свое время на создание своей ветки данного решения.

 

Предоставленная информация и скрипты распространяются "как есть". Без гарантий отсутствия ошибок и ухудшения работы системы при их использовании в вашем случае. Применяйте все на свой здравый смысл, риск и страх. Протестировано на разных платформах и конфигурациях 1с

Для эффективного применения внимательно читайте приведенные рекомендации, ссылки на первоисточники и логические выводы и принимайте решения.

.
Тестировалась на разных платформах 1С:Предприятие 8.3 (начиная с 8.3.23.2040, до 8.3.25.1501).

Но явно не использовал какие-то специфические функции  платформы, поэтому будет работать и на старых релизах (8.3.20 и выше).

 

Важно

На текущий момент доделана конвертация SQL в запрос 1с, большинство из которых даже могут открываться в конструкторе запросов, что позволяет как привычно смотреть в конструкторе, та и при закрытии "отформатировать" запрос. 

Но

1. Не все идет гладко, не все запросы так удается конвертировать, но уже 99%+ получается

2. "нормально" работает пока только в режиме внешней обработки, которая запускается в базе  с целевой конфигурацией  Исправлено насколько возможно!

2.1 ставятся разные имена алиасов таблиц -если они обращаются к одинаковым таблицам источникам - такой режим чтобы из 1СМонитора работал -СДЕЛАНО так же в режиме из монитора! 

2.2 - открываются в конструкторе запросов. Чтобы кому удобно мог анализировать через конструктор, но и после форматирования конструктором удобно анализировать как текст. Естественно такой режим доступен только в целевой базе и  невозможен в 1СМониторе - другая конфигурация...  

3. Понятно что такой запрос не факт что выполнится -так как там параметры вставляются строкой=гуид - как только 1с сделает функцию в запросе подставить гуид и из него найдется ссылка - то переделаю и заработает ;). Пока в планах  - искать кодом по гуидам ссылки и их подставлять. но это далекие планы. Гуид меняется на объект если это исследуемая база.

Но как ни может показаться странным -запрос нередко удается выполнить после небольших очевидных (человеку) точечных ручных корректировок по месту!

 

 

 
 Изменения с 1 сентября 2024 - свежие в начале списка

Версия 14.05.2025

Исправлена проблема для postgresql - замер производительности теперь корректный

 

Версия 13.05.2025

Ускорена работа если не загружены метаданные (расширение для 1Смонитора)

Исправлена проблема для postgresql - дата получения изменения конфигурации + замера производительности

 

Версия 08.05.2025

в закладке общее выведена скорость выполнения тестового запроса. Помогла найти косяк в сервере

 

Версия 07.05.2025

пофиксена ошибка - новые запросы кастомизированы чтобы работали на скулях ниже 2017 тоже

 

Версия 04.05.2025

Добавлены табчасти   

- информация базах на сервере

- информация MS SQL perfomace counter

Пока для справки - на базе них сделаю рекомендации

"причесан" отчет по рекомендациям -убрано явно лишнее, стало красивее, понятнее, информативнее

 

Версия 21.04.2025

Косметика - отступы

 

Версия 18.04.2025

Добавлена информация о базе MS SQL

 

Версия 14.04.2025

Добавлено предупреждение что слишком много вложенных запросов

Небольшая косметика  - нашел случаи когда преобразование "добавить к дате" не могло обработаться

 

Версия 05.04.2025

Отсутствующие индексы из плана запроса - теперь корректно срабатывает когда много рекомендаций. плюс в индексе создаются только необходимые поля (перестал быть покрывающим) 

Добавлен вывод ожиданий которые были во время запроса 

Были ожидания:
PAGEIOLATCH_SH : 13 909 мс, 20 003 раз
SOS_SCHEDULER_YIELD : 7 889 мс, 35 678 раз
MEMORY_ALLOCATION_EXT : 1 994 мс, 1 041 363 раз
RESERVED_MEMORY_ALLOCATION_EXT : 55 мс, 8 722 раз
 

 

 

Версия 23.03.2025

Паразитные индексы - указаны поля и их имена

Драйвер скуля может быть от нового скуля 2019

Сделан задел по выводу информации о базе - получаю но пока не причесал - есть в запросах

 

Версия 09.03.2025

По большей части косметические изменения

 

Версия 08.02.2025

Добавлена закладка про сервер -запущенные агенты и когда

Добавлено в шапку о базе -последнее изменение конфигурации

 

Версия 29.01.2025

Качественно ускорился запрос и скорость получения данных по использованию индексов и рекомендаций их обновления

Орфография и пару параметров описал более понятно 

 

Версия 28.01.2025

Расширение -под новую версию 1Смонитора 2.0.8.4

 

Версия 16.01.2025

Ускорен запрос по использованию индексов - стал намного быстрее и стабильнее. 

 

Версия 04.01.202

Исправлено орфография

Анализ плана запроса - если есть рекомендация по отсутствующему индексу - то тут же предлагаю сгенерированный скрипт готовый

 

Версия 03.01.202

Исправлено получение метаданных автономной обработки

косметика в запросах -чтобы лишний мусор убрать из запроса и оставить только важное

 

Версия 10.12.2024

Оптимизация и причесывание конвертера в 1с запрос. Появились отступы -стало намного нагляднее "вложенности"

 

Версия 05.12.2024

Оптимизация и причесывание кода.

Рекомендуемые индексы теперь с указанием полей в терминах 1с

 

Версия 30.11.2024

Оптимизирован  запрос MS SQL -использование индексов

 

Версия 29.11.2024

В закладке оперативная добавлено информация о установленных блокировках MS SQL -кто, что, в каком количестве

 

Версия 28.11.2024

Косметические правки в конвертере запросов ( убраны бессмыслицы типа "истина и" чтобы текст был короче)

полезные скрипты - добавлен скрипт умного обновления статистики и реиндекс

 

 

Версия 19.11.2024

Оптимизация по "оборке" технического поля "ОбластьДанныеОсновныеДанные"

Оптимизация под PostgreSQL - анализ почему индекс неэффективен теперь и для метаданных PostgreSQL

 

Версия 10.11.2024

Рекомендации

Улучшен алгоритм замены полей в индексах -теперь меняет намного умнее

 

Версия 05.11.2024

Анализатор запроса

Улучшено сворачивание дублей полей (ссылка, тип ссылки, тип) в один

Расширение

Теперь план запроса (MS SQL) если нажать через открыть - там в плане запроса будут уже русские имена 

который можно вставить например в https://www.supratimas.com/ -и там будут имена объектов русские и понятные!

 

Версия 04.11.2024

Анализатор запроса

- в советник добавлена информация из плана - если нашлись отсутствующие индексы

- причесан конвертер -теперь в расширении работает корректно с множеством дублей таблиц

- имена таблиц стали понятнее и без глюков

расширение

в плане запросов добавлена кнопка показать ( не вызывает программу по умолчанию)

и в ней-же имена заменены на русские -чтобы проще понимать план

Версия 03.11.2024

Доработка расширения - текущие соединения более качественно отрабатывают соединения кластера если через ком соединение  -в том числе удаление соединения

Анализ скуля - 

лучше сворачивает дубли и новые рекомендации советника

 

Версия 27.10.2024

Для PostgreSQL улучшено получение данных по использованию индексов -что стоит "актуализировать" или получить информацию в удобном виде по индексу

Добавлена закладка "скрипты" - там полезные скрипты для обслуживания баз. Например скрипт обновления только нужной статистики, а не все махом  

 

Версия 20.10.2024

Добавлено анализ индекса для postgresql. Для MS -причесано 

и сделан задел на дальнейший анализ

 

Версия 07.10.2024

В расширении для монитора появилась закладка с рабочими процессами - иногда удобнее чем типовое

 

Версия 06.10.2024

Оптимизирован запрос по использованию статистики для POSTGRESQL

В генерации скриптов удаления больших таблиц - теперь работает по выделенным

 

 

Версия 02.10.2024

Исправлена рекомендация по обновлению статистики

в форме исправлено вывод информации по измененному количеству строк после обновления статистики

 

Версия 01.10.2024

Только расширение

Теперь может получать все базы из кластера, даже не зарегистрированные в 1Смониторе

 

Версия 30.09.2024

Качественно улучшена команда переделки индекса -если первое поле тип -переставляет его на ссылку  -чтобы статистика была более показательно1

 

Версия 29.09.2024

Добавлен деморежим -если установлен -в данных имя базы/пользователи заменяются или стандартным тестом или поля ввода уходят в режим пароля 

Доработки под пострге улучшение запросов

 

Версия 27.09.2024

Доработки под пострге больше - чтобы не тупил если нет прав или сбой получения данных

 

Версия 24.09.2024

Добавлено

если обработку запустить в целевой базе заменит гуиды на объекты - удобно анализировать

конвертер даты  -новый случай нашел

исправлено

ДобавитьКДате - параметры в 1с и MS SQL по разному порядок 

результат - даже страшный запрос  -открывается конструктором!

 

Версия 20.09.2024

Добавлено в расширении получение данных по сеансам кластера. если кластер не указан -все доступные

там же появился отчет по сеансам/лицензиям "итого" -удобно анализировать сколько сейчас нагрузка и сколько каких лицензий занято

 

Версия 18.09.2024

Если вы используете 1smonitor  -в текущих запросах подтягивается информация из сеансов - кто именно пользователь, его тип  подключения и сколько захвачено 

В текущих запросах при клике на ожидании -переходит на страницу с описанием ожидания

Мелкие косметические изменения

 

17.09.2024

Причесаны описания ожиданий

В рекомендациях генерация скрипта стала логичнее -на каждой закладке можно выделить что сгенерить -и создастся скрипт с описанием подробным и готовым к запуску

 

11.09.2024

Добавлены запросы для Postgre -в список доступных -смотрите -наверняка там есть интересное для вас

в расширение для монитора  -добавлено список сеансов. можно удобно смотреть и теперь можно тут-же "килл" виновника тормозов

 

09.09.2024

Улучшил советника -теперь стало более глубоко "копать" и давать советы, в итоге мне помогло найти причину тормозов ДО при переходе в "мои задачи" между папками. Было между некоторыми более 300 сек, стало порядка 1 сек...

 

08.09.2024

Добавлен в технические запрос MS SQL- показать запросы с предупреждениями -это на анализ что из этого можно "выжать"

Чуть подправлен конвертер в 1с запрос -

сделано большой задел для "разборки" плана запроса -ловлю "интересные" ситуации чтобы отладиться... 

 

02.09.2024

Только расширение для монитора -отчет по лицензиям 1с

для работы надо запустить сбор сеансов - значение "количество"

и через пару часов а лучше день наслаждаться собранной статистикой

 

01.09.2024

Только расширение для монитора -добавил обработку получения текущих сеансов 1с

Теперь умеет через RAS и com подключаться 

 

 

 
 ------ Изменения  версиях до 1 сентября 2024- старое -было по хронологии---------

 

MS SQL PostgreSQL производительность HighLoad

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

8400 руб.

20.08.2024    27995    187    90    

178

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 1C:Бухгалтерия Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

15000 руб.

10.11.2023    14495    62    33    

80

Инструменты администратора БД Роли и права Системный администратор Программист Пользователь 8.3.14 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Документооборот 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Роли… Вы тратите много времени и сил на подбор ролей среди около 2400 в ERP или 1500 в Рознице 2, пытаясь понять какими правами они обладают? Вы все время смотрите права в конфигураторе или отчетах чтоб создать нормальные профили доступа? Вы хотите наглядно видеть какие права дает профиль и редактировать все в простом виде? А может хотите просто указать подсистему и дать права на просмотр и добавление на объекты и не лезть в дебри прав и чтоб обработка сама подобрала нужные роли? Все это теперь стало возможно! Обновление от 18.09.2024, версия 1.2

19200 руб.

06.12.2023    13412    57    8    

86

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтер Пользователь Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    36307    117    152    

81

Инструменты администратора БД Системный администратор Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием Платные (руб)

Конфигурация Комплексная автоматизация 1.1 (и УПП 1.3 тоже) хранит файлы и изображения в справочнике Хранилище дополнительной информации в реквизите Хранилище типа ХранилищеЗначений. Та же история с ВложениямиЭлектроннойПочты. Но при этом присоединенные файлы в Электронном документообороте хранит в томах на диске. Эта доработка позволяет использовать стандартный механизм хранения файлов, изображений и вложений электронных писем в томах на диске. При этом можно разделить тома хранения по объектам конфигурации.

4200 руб.

10.11.2015    63673    99    59    

81

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS!

6000 руб.

06.11.2012    75295    631    45    

90

Инструменты администратора БД Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Многие сталкиваются с проблемой когда изображения, находящиеся в базе разные по объему и размерам. Менеджеры могут добавить файлы в очень высоком разрешении, объемом свыше 20 Мегабайт. База данных становится слишком большой, выгрузка на сайт идёт медленно и требуется много место на хостинге. Как сжать картинки и уменьшить размер базы 1С? Это можно сделать с помощью данной обработки. Существует возможность выбрать различные варианты для того чтобы уменьшить картинки: в разы, в процентах от первоначального объема, а также сделать картинки одинаковой ширины. В результате размер базы 1С значительно сократится (в зависимости от количества и размера картинок), а изображения станут небольшого объема, равными по ширине, почти без потери качества. Работает на управляемых формах для УТ 11, КА, ERP.

3000 руб.

21.07.2022    10872    13    4    

21