Что выросло в базе 1С за месяц: штатный метод отвечает, но мёртвый узел обмена не видит

17.11.26

База данных - Администрирование СУБД

ПолучитьРазмерДанныхБазыДанных показывает объём каждого объекта, но на всей конфигурации работает долго и не учитывает изменения, накопленные для отправки в узлы обмена.

База за месяц прибавила десятки гигабайт, и первый вопрос всегда один: что именно выросло. Самый большой регистр тут почти ничего не говорит. Он мог быть большим и год назад, а весь прирост дала какая-нибудь таблица на сотню мегабайт, о которой никто не помнит.

Ответ даёт только разница двух замеров одних и тех же объектов. В платформе для этого есть штатный метод, без прямых запросов к СУБД. Я сделал на нём обработку и по дороге наступил на две вещи, о которых в описании метода не написано. Вторая из них важнее: одну из классических причин разрастания базы, регистрацию изменений для узла обмена, при замере по объектам метод не видит.

 

Метод, который меряет объект

С платформы 8.3.15 есть ПолучитьРазмерДанныхБазыДанных. Он возвращает объём данных выбранных объектов в байтах, по тем записям, которые доступны текущему пользователю.

Имена = Новый Массив;
Имена.Добавить(Метаданные.РегистрыСведений.КурсыВалют);
Байт = ПолучитьРазмерДанныхБазыДанных(Новый Массив, Имена);

Первый параметр - разделители, его оставляем пустым массивом. Второй - что мерить. Если передать несколько объектов, метод вернёт одно число, их сумму. История данных в этот объём не входит, и это не размер файла базы на диске. Данные объектов, добавленных расширением, метод считает: регистр расширения у меня показал гигабайты.

 

По объекту выходит долго

Чтобы понять, что выросло, мерить надо каждый объект отдельно. В моей тестовой УТ 11.5.22.67 с расширениями (платформа 8.3.27.1606) объектов верхнего уровня 1713: справочники, документы, регистры, планы обмена. И каждый вызов метода стоит заметных денег.

Что меряем Время одного вызова
Пустой регистр около 100 мс
Регистр на 3,3 ГБ 15-17 с
Регистр на 5,6 ГБ 34-39 с
Вся база, вызов без параметров не уложился в минуту

 

Тысяча семьсот вызовов подряд это несколько минут даже на небольшой базе, а время крупных регистров растёт с их объёмом. При этом пустых объектов большинство: из 1713 ненулевых оказалось 351.

Отсюда приём. Объекты меряются пачками, у меня по четыре. Если пачка дала ноль, ноль у каждого её объекта: размеры не бывают отрицательными, и сумма нулевая только когда все слагаемые нулевые. Пачку с ненулевой суммой делим пополам и меряем половины, пока не дойдём до одного объекта. Каждое итоговое число получено своим вызовом, вычитания из суммы нет.

Сумма = ПолучитьРазмерДанныхБазыДанных(Новый Массив, Пачка);
Если Сумма = 0 Тогда
    Для Каждого Имя Из Пачка Цикл
        Размеры.Вставить(Имя, 0);
    КонецЦикла;
ИначеЕсли Пачка.Количество() = 1 Тогда
    Размеры.Вставить(Пачка[0], Сумма);
Иначе
    // делим пополам и ставим обе половины в очередь
КонецЕсли;

На первом замере это почти не экономит: крупный объект перемеряется на каждом уровне деления. Зато на втором замере уже известно, кто был пустым. Ненулевые меряются по одному сразу, пустые пачками до шестнадцати. На базе около 10 ГБ первый замер всей конфигурации занял 304 секунды и 1301 вызов, повторный 133 секунды и 548 вызовов. На базе в сотни гигабайт первый замер будет идти заметно дольше: его стоит запускать вне рабочего времени.

 

Регистрация изменений в размер не попадает

Классическая история с разросшейся базой такая. Когда-то настроили обмен, потом узел перестал забирать данные, а база продолжает регистрировать для него каждое изменение. Через год таблицы регистрации могут весить больше самих документов.

Я проверил, увидит ли это метод. На тестовой базе зарегистрировал для узла плана обмена изменения всего справочника номенклатуры, внутри транзакции с откатом:

НачатьТранзакцию();
ПланыОбмена.ЗарегистрироватьИзменения(Узел, Метаданные.Справочники.Номенклатура);
// замер записей регистрации и размера справочника
ОтменитьТранзакцию();
  До После регистрации После отката
Записей регистрации по узлу 0 60 778 0
Размер номенклатуры по методу, байт 67 573 319 67 573 319 67 573 319
Размер плана обмена по методу, байт 244 244 244

 

Шестьдесят тысяч новых записей, и ни одного байта прироста. Дело не в транзакции: запись в сам справочник внутри транзакции метод видит, на контрольном опыте размер справочника валют вырос с 250 до 354 байт и вернулся после отката. Таблицы регистрации изменений метод при замере по объектам не считает ни у объекта, ни у плана обмена. Вызов по всей базе без параметров я так проверить не смог: он не уложился в минуту.

Значит, мёртвый узел обмена по байтам не найти. Его можно найти по числу записей: для каждого объекта из состава плана обмена есть таблица Изменения, и её можно посчитать обычным запросом в разрезе узла.

ВЫБРАТЬ
    Т.Узел КАК Узел,
    КОЛИЧЕСТВО(*) КАК Записей
ИЗ
    Справочник.Номенклатура.Изменения КАК Т
СГРУППИРОВАТЬ ПО
    Т.Узел

Псевдоним И тут не годится: это ключевое слово языка запросов, а запрос с ним падает с ошибкой "Ожидается имя". Объектов в составе плана обмена бывают тысячи, поэтому запросы склеиваются через ОБЪЕДИНИТЬ ВСЕ пачками по сотне. Если одна таблица недоступна, пачка пересчитывается по одному запросу, чтобы не потерять остальные.

 

Что выросло на самом деле

Первый настоящий рост я поймал случайно. Повторный замер шёл чуть больше двух минут, и единственный объект, который за это время вырос, оказался регистром-журналом вызовов того самого HTTP-сервиса, через который я замеры и запускал: плюс 24 МБ. Служебные журналы вроде этого за год незаметно набирают гигабайты, и чистить их обычно некому.

Ещё несколько наблюдений, которые стоит держать в голове:

  • Объём считается по правам пользователя. Замер под другой учёткой или с другим набором ролей покажет изменение видимости, а не изменение базы. Поэтому сравнивать можно только замеры под одним пользователем.
  • Два замера показывают, что выросло, но не дают прогноза. Между ними мог пройти разовый обмен или загрузка.
  • Удаление данных не уменьшает файл базы само по себе. Байты метода и место на диске - разные числа.

 

Обработка

Всё это собрано в обработку "Рост данных 1С". Она снимает два замера всей конфигурации или выбранных объектов и показывает в форме, что выросло, сверху самое большое. Рядом отдельная таблица регистрации изменений по узлам обмена: сколько записей было и сколько стало. Первый замер можно сохранить в файл и сравнить с повторным через неделю или месяц. К СУБД обработка не подключается и данные не меняет.

А что у вас в последний раз раздуло базу, и как нашли виновника?

Первоисточники: описание метода на ИТС, изменения платформы 8.3.15.

 

Другие наши инструменты

Вступайте в нашу телеграмм-группу Инфостарт

рост базы 1С ПолучитьРазмерДанныхБазыДанных размер базы 1С регистрация изменений план обмена мёртвый узел обмена таблицы изменений разрастание базы объём данных

Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

См. также

HighLoad оптимизация Разработчик 1С:Предприятие 8 1C:ERP Бесплатно (free)

Приведем примеры использования различных в динамических списках и посмотрим, почему это плохо.

18.02.2025    16581    ivanov660    39    

62

HighLoad оптимизация Технологический журнал Системный администратор Разработчик Бесплатно (free)

Обсудим поиск и разбор причин длительных серверных вызовов CALL, SCALL.

24.06.2024    19239    ivanov660    13    

64

Администрирование СУБД 1С:Предприятие 8 1C:Бухгалтерия Россия Бесплатно (free)

При хранении файлов в томах на диске они иногда исчезают. Разбираемся, почему.

23.05.2024    23538    human_new    22    

62

Администрирование СУБД Системный администратор Разработчик Бесплатно (free)

Казалось бы, базовое знание: «индексы надо обслуживать, чтобы запросы выполнялись быстро». Но обслуживание индексов выполняется долго и может мешать работе пользователей. Кроме того, в последнее время популярны разговоры о том, что индексы можно вообще не обслуживать – насколько это оправданно? Рассмотрим: на что влияет обслуживание индексов, когда надо и когда не надо его выполнять, и если надо – как это сделать так, чтобы никому не помешать?

16.01.2024    34111    Филин    17    

60

HighLoad оптимизация Разработчик 1С:Предприятие 8 1C:Бухгалтерия Абонемент ($m)

Встал вопрос: как быстро удалить строки из ТЗ? Рассмотрел пять вариантов реализации этой задачи. Сравнил их друг с другом на разных объёмах данных с разным процентом удаляемых строк. Также сравнил с выгрузкой с отбором по структуре.

09.01.2024    49224    doom2good    50    

80

HighLoad оптимизация Системный администратор Разработчик Бесплатно (free)

При переводе типовой конфигурации 1C ERP/УТ/КА на PostgreSQL придется вложить ресурсы в доработку и оптимизацию запросов. Расскажем, на что обратить внимание при потерях производительности и какие инструменты/подходы помогут расследовать проблемы после перехода.

20.11.2023    25684    ivanov660    7    

85
Для отправки сообщения требуется регистрация/авторизация