Очистка замеров производительности - даешь больше места на диске (= меньше хлама в базе)

30.05.23

База данных - Чистка данных

Вы могли и не знать, но у Вас в базе может быть несколько сотен тысяч записей о производительности системы. А появились они там благодаря встроенной в БСП подсистеме "Оценка производительности". И думаю что далеко не каждый из Вас реально собирается оценивать производительность своей системы. Специально для тех кто, как и я считает, что ему абсолютно не нужны все эти записи в базах и была создана эта обработка.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Очистка замеров производительности - даешь больше места на диске (= меньше хлама в базе):
.epf 9,87Kb ver:1.1
400
400 Скачать (1 SM) Купить за 1 850 руб.

Нисколько не умаляю важность темы HighLoad (высоконагруженные системы в переводе на наш с Вами язык), но по моему скромному мнению далеко не всем и каждому, кто имеет счастье пользоваться типовой конфигурацией от 1С на основе БСП (библиотека стандартных подсистем) потребуется оценивать ее производительность по методике APDEX.

Так что да счастливые обладатели типовых конфигураций:

  • Бухгалтерий предприятия (проверялось на 3.0.65.69 - 3.0.65.91)
  • Управления торговлей (проверялось на 11.3.4.228 вероятно будет работать и в 11.4)
  • Зарплата и управления персоналом (проверялось на 3.1.8.113)
  • Розница (проверялось на 2.2.9.19 - 2.2.9.20)
  • Управление нашей фирмой (проверялось на 1.6.15.55)

и подозреваю еще кучи прочих конфигураций работающих в режиме управляемого приложения и основанных на типовой БСП (просто перечислил те, в которых лично вычищал) Вы вполне возможно храните на диске еще кучу "замечательных" записей в таких регистрах сведений как:

  • ЗамерыВремени
  • ЗамерыВремениТехнологические
  • УдалитьЗамерыВремени2
  • УдалитьЗамерыВремени3
  • УдалитьЗамерыВремениТехнологические

Порой этих записей может быть несколько сотен тысяч (как на скриншоте ниже). Подозреваю что может быть и больше при гораздо более интенсивном использовании.

Данная обработка как раз и предназначена для того чтобы вычистить эти регистры подчистую и отключить константу "ВыполнятьЗамерыПроизводительности".

В результате нажав на одну "волшебную" кнопку спустя какое-то время (может быть достаточно продолжительным если речь идет об очень большом количестве записей) получаем:

Безусловно все это можно сделать и ручками без нее (особенно если Вы программист/администратор 1С). Только мне после второй же базы проделывать это вручную еще в нескольких десятках баз показалось слишком утомительным - так и родилась обработка.

Если у кого-то все же возникает немой вопрос - откуда же это все берется, то судя по всему вот откуда:

Внимание!

Естественно место само по себе не появится, если по окончании работы с обработкой Вы не запустите "Тестирование и исправление" с выставленным флагом "Сжатие таблиц информационной базы" (другие кстати периодически тоже бывает полезно ставить) естественно сделав резервную копию предварительно.

Для клиент-серверных информационных баз в диалоге "Тестирование и исправление" необходимо установить флаг "Реструктуризация таблиц информационной базы".

А теперь немного поговорим о схожей проблеме, но характерной для 1С:Розница.

Так как тема вызвала животрепещущий интерес и скачиваний обработки достаточно много хотелось бы обратить внимание начинающих администраторов баз данных, либо тех кто еще не столкнулся с аналогичной проблемой характерной для конфигурации 1С:Розница. Проблема аналогична в плане гипертрофированного распухания таблиц БД вплоть до превышения максимального размера для файловой базы. Тут виновниками помимо уже описанных мною выше могут быть специфичные для данной конфигурации регистры в которые пишутся данные связанные с пробитием чеков. Особенно вероятно что Вы заметите это если у Вас магазин с высокой проходимостью и большим количеством чеков. Речь про регистры "ФискальныеОперации", "ОчередьЧековККТ" и "ПлатежныеОперации". На моей практике значительное заполнение этих регистров в файловой базе приводило также и к значительному замедлению пробития чека на онлайн кассе.

Хорошая новость - в релизе Розницы 2.3.15.33 фирма "1С" спохватилось и решило что надо таки их автоматически чистить. Так что не забудьте обновившись до этого релиза перейти в меню "Администрирование" - "Подключаемое оборудование" и там установить в трех местах сроки хранения данных в этих регистрах. Там же можно запустить очистку принудительно, не дожидаясь выполнения регламентного задания.

Не забываем периодически запускать сжатие - сами себя эти данные из таблиц СУБД не удалят :)

P.S. те, кто предпочел не качать и, вычистив авгиевы конюшни вручную, после сжатия получил-таки заветное свободное место на диске - поставьте хотя бы плюс за наводку - от Вас не убудет :)

очистка регистров сведений Замеры времени

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя.

8400 руб.

20.08.2024    9045    69    32    

79

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 29.06.2023, версия 4.2)

9600 руб.

22.02.2013    138611    259    144    

430

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3582 руб.

16.03.2015    181424    209    81    

244

Чистка данных Программист Пользователь Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С на управляемых формах например БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и др. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    25985    61    16    

76

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

2400 руб.

09.04.2019    29135    43    14    

45

Чистка данных Системный администратор Программист Бухгалтер Пользователь Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Решение по удалению дублей позволяет определить связанные элементы в двух синхронизированных базах в качестве оригиналов и избежать необходимости ручного сравнения объектов в базах перед синхронизацией.

3960 руб.

27.06.2018    19189    11    3    

16

Чистка данных Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

2400 руб.

23.08.2021    9986    19    3    

25

Чистка данных Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

в современных конфигурациях стало очень много регистров сведений, хранящих вспомогательную и периодическую информацию и администраторы информационных систем стали сталкиваться с проблемой удаления помеченных на удаление объектов, так как ссылки на них хранятся в многочисленных регистрах сведений. Помочь почистить базу от ненужных записей предназначенная данная внешняя обработка на управляемой форме, которая ищет записи во всех регистрах сведений по помеченным на удаление объектах и очищает по ним записи их после использования данной обработки дальше можно смело пользоваться типовой обработкой удаление помеченных на удаление и проблем с удалением не возникнет! Удачи всем!

1 стартмани

21.01.2022    7757    4    dmbal    6    

12
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. hopter 36 31.10.18 10:00 Сейчас в теме
Не знаю зачем вы что-то массово делали ручками, когда для вас уже все сделано в типовой.
Оценка производительности отключается в обслуживании, там же в настройках оценки задается количество дней хранения замеров.
Очистка регистров делается регламентным заданием с учетом количества дней хранения.
В общем очередное повторение типового функционала.
adhocprog; sdf1979; maxon82; Lacoste4life; fomix; rudak_a; RustIG; +7 Ответить
2. 1c.pro.fun 188 31.10.18 10:33 Сейчас в теме
(1) Уважаемый hopter, безусловно каждый имеет право на свое мнение. Я публикацией выразил свое. Мне показался странным тот факт что отключение оценки производительности не приводит к очистке этих регистров. А по-умолчанию в настройках удаления замеров установлено 3650 дней. Т.е. 10 лет этот мусор (да-да для большинства это именно мусор) будет лежать в базе и занимать место на диске. Для иллюстрации прикрепил скриншот.

P.S. Кроме того, хотелось бы отметить что снятие флага "Оценка производительности" приведет и к отключению регламентного задания "Очистка замеров времени". Это я к тому что первое инстинктивное действие пользователя - отключение оценки производительности и установка количества дней удаления замеров например в значение 1 не приведет к удалению.
Прикрепленные файлы:
rusha77; adhocprog; Styvi; tuzmich007; o6opkot; kitaevay; DesT; avtoresurs01; newbas; bashta.aleksey; mea27; aks; dezzarr; RustIG; +14 Ответить
3. RustIG 1750 15.02.19 09:07 Сейчас в теме
(0) интересное расследование! + в твою карму
4. CrimeanWind 27.03.19 10:14 Сейчас в теме
Спасибо, я бы и не вспомнил про эту галочку и постоянные замеры. Тестирование со сжатием, затем потёр обработкой, затем снова тестирование со сжатием - стало легче на 500 мб.
5. boba13 88 10.04.19 14:24 Сейчас в теме
Самый смех, что по умолчанию замер производительности включен.
Соответственно тех, кто работает на файловых базах и не знает про эту тонкость, через некоторое время ожидает превышение максимального размера файла.
rusha77; ustlab.sancho; al_zzz; zarius; RustIG; mea27; ulovka; antonius888; aks; kanat1; +10 Ответить
25. Altez 258 19.08.21 00:00 Сейчас в теме
(5) Внутреннего файла. Для этого записи замеров в одной таблице должны занять 4Г.

Максимальный размер файла 1cd ограничен 16Тб (4Г страниц*4К размер страницы).

На самом нижнем уровне файл *.1CD или файл базы данных содержит внутри своего рода файловую систему, включающую в себя так называемые внутренние файлы. Файл *.1CD имеет страничную организацию, то есть состоит из страниц размером 4096 байт (4 К). Размер файла *.1CD всегда кратен 4 К.

Страницы адресуются их номерами. Номер страницы представлен 4-байтовым целым числом без знака. Следовательно, файл *.1CD может содержать не более чем 4 294 967 296 страниц.
IWBH; RibD; +2 Ответить
6. sagg 52 25.06.19 15:25 Сейчас в теме
Александр, спасибо Вам за обработку! Она буквально спасла ситуацию! Перенос базы из файлового режима в клиент-серверный не идет из-за проблем в регистре "Замеры времени" (видимо, когда-то произошел сбой, и появился дубль записи), открыть регистр невозможно... Запустила вашу обработку - регистр очищен, все исправлено!
7. chesnokov-a-v 100 10.07.19 20:38 Сейчас в теме
Обработка замечательная. Всё работает, но есть одна малюсенькая мелочь: расчет времени выполнения. ;)
Прикрепленные файлы:
8. proa@1eska.ru 16.08.19 16:50 Сейчас в теме
В Базе где 1000000 записей в регистре, вываливает с ошибкой нехватки памяти
9. shostatsky 09.10.19 09:29 Сейчас в теме
(8)Используйте x64 платформу
user635667; +1 Ответить
10. ubper 13 26.10.19 02:42 Сейчас в теме
Я думаю, ничего плохого не случится, если эту операцию выполнить на уровне СУБД командой TRUNCATE TABLE table_name. И несколько часов ждать не придется, и блокировок не будет.
o6opkot; Sardukar; Дмитрий74Чел; +3 Ответить
11. aks 4 18.11.19 11:48 Сейчас в теме
(8) На днях столкнулся с описываемой здесь проблемой – по непонятной причине несоразмерно распухла файловая база для «1С:Бухгалтерия 3.0». Оказалось в регистре «ЗамерыВремени» накопилось порядка 1.5 млн записей, а занимал он почти 30% базы.
Выложенной здесь обработкой я не пользовался. Безуспешно пытался самостоятельно очистить регистр конструкцией вида:

НаборЗаписей = РегистрыСведений.ЗамерыВремени.СоздатьНаборЗаписей();
НаборЗаписей.Записать();

Вылетало из-за нехватки памяти.
А вот следующая  конструкция с задачей справилась:

Выборка = РегистрыСведений.ЗамерыВремени.Выбрать();	
Пока Выборка.Следующий()  Цикл
        Запись = Выборка.ПолучитьМенеджерЗаписи();
        Запись.Удалить();
КонецЦикла;
Показать
kitaevay; RustIG; 1c.pro.fun; +3 Ответить
13. RustIG 1750 04.02.20 10:44 Сейчас в теме
(11)
Выборка = РегистрыСведений.ЗамерыВремени.Выбрать();
Пока Выборка.Следующий() Цикл
Запись = Выборка.ПолучитьМенеджерЗаписи();
Запись.Удалить();
КонецЦикла;


Скачал обработку, на всякий случай переписал алгоритм зачистки по такому же принципу. Все норм отработало! 2,5 Гб ушло из файловой базы. Было 4,7 Гб.
12. dron-s 60 21.12.19 21:40 Сейчас в теме
отключить константу "ВыполнятьЗамерыПроизводительности".

в Администрирование-Обслуживание-Замеры производительности отключена... но записи в регистрах Замены времени, Замеры Времени Технологические, Замеры Статистики всё равно создаются
что сделать чтобы они не записывались ))
user696910_asupat; Papilion; +2 Ответить
26. user696910_asupat 09.09.21 12:25 Сейчас в теме
(12) Нашли способ отключения? У меня тоже Замеры производительности отключены, но Замеры статистики создаются
14. aleksey2 89 06.08.20 08:36 Сейчас в теме
А не проще ли при запуске программы очищать эти регистры?

ПриНачалеРаботыСистемы()
НаборЗаписей = РегистрыСведений.ЗамерыСтатистики.СоздатьНаборЗаписей();
НаборЗаписей.Записать();
15. 1c.pro.fun 188 06.08.20 11:07 Сейчас в теме
(14) если у Вас в базе включена возможность изменения можно делать и при запуске программы. Тогда логичнее порыться в типовом коде и закомментировать тот код, который все это генерирует.
16. aleksey2 89 07.08.20 12:47 Сейчас в теме
разобрался, всё сидело в константе. чтобы посмотреть, кто там зашито:
П = Константы.ПараметрыЦентраМониторинга.Получить().Получить();
для каждого эл из П цикл
Сообщить(""+эл.ключ+"="+эл.значение);
Конеццикла;
17. roofus 19.08.20 13:29 Сейчас в теме
Добрый день! Обработку можно приобрести не через сайт?
21. user1011361 22.01.21 13:31 Сейчас в теме
(17)Присоединюсь к вопросу. есть возможность приобрести не за стартмани?
18. akkorn 09.11.20 14:41 Сейчас в теме
Добрый день всем.
Нашел штатный механизм очистки мусора от механизма замеров производительности.
Заходим в Обслуживание -> Оценка производительности - Настройки
Ставим период удаления замеров 1 день (вместо штатного 3650 дней), выходим сохранением.
Снимаем галочку "Оценка производительности", тем самым выключая сервис.
Теперь идем в регламентные задания, ищем штатное под названием "Очистка замеров времени", выделяем его и сверху жмем кнопку "Выполнить сейчас". Ждем минутку - и видим, что регистры почистились.

p.s. они чистятся прекрасно при отключенном механизме, им лишь нужно значение константы "Константа.ПериодХраненияЗамеров"
pp.s. после первого запуска ручной очистки замеров - через пару минут сама взведется галка автозапуска этого регламентного задания. Соответственно необходимо будет руками отключить появившийся запуск по расписанию.

done
rusha77; user765384; adhocprog; ketr; Newdjeen; smewinka; ITREX; al_zzz; atdonya; aldan; maxon82; Алёшкин; Alister; m1_1976; avtoresurs01; vgv8; user1242765; +17 Ответить
20. user1242765 06.01.21 21:50 Сейчас в теме
(18) сделал все как вы написали. После прогнал chdbfl. В результате размер базы уменьшился на 30%, вместо 15гб, стал 10гб. До этого двое суток очищал замеры времени вручную и, судя по всему, еще неделю в таком темпе ковырялся бы.... Спасибо!
22. vgv8 30.01.21 06:54 Сейчас в теме
Плюсанул
(18)
Нашел штатный механизм очистки мусора от механизма замеров производительности.
Заходим в Обслуживание -> Оценка производительности - Настройки
Ставим период удаления замеров 1 день (вместо штатного 3650 дней), выходим сохранением.
Снимаем галочку "Оценка производительности", тем самым выключая сервис.
Теперь идем в регламентные задания, ищем штатное под названием "Очистка замеров времени", выделяем его и сверху жмем кнопку "Выполнить сейчас". Ждем минутку - и видим, что регистры почистились.

p.s. они чистятся прекрасно при отключенном механизме, им лишь нужно значение константы "Константа.ПериодХраненияЗамеров"
pp.s. после первого запуска ручной очистки замеров - через пару минут сама взведется галка автозапуска этого регламентного задания. Соответственно необходимо будет руками отключить появившийся запуск по расписанию
24. m1_1976 13 21.03.21 19:09 Сейчас в теме
(18) Здоровья тебе - добрый человек!
29. akkorn 16.06.22 12:24 Сейчас в теме
(18) дополняю свой пост:
Массив объектов собранных замеров статистики вы можете наблюдать в регистре вашей базы по навигационной ссылке (Перейти по ссылке):
e1cib/list/РегистрСведений.ЗамерыСтатистики


Консолью запросов можно получить количество:
Выбрать Количество(*) из РегистрСведений.ЗамерыСтатистики
19. METAL 299 21.12.20 16:20 Сейчас в теме
Кто в курсе какова спефицика регистра ЗамерыВремениТехнологические ? Зачем он нужен?
23. user1475907 12.02.21 02:20 Сейчас в теме
Увидел статью. Удалил Замеры какие то старые. 1 гигабайт освободил. Полезная статья для новичков админов.
username23; +1 Ответить
27. TemArt 27.10.21 18:41 Сейчас в теме
"Тестирование и исправление" с выставленным флагом "Сжатие таблиц информационной базы"


на серверной базе нет галки Сжатие, как в таком случае быть?
31. username23 23.02.23 18:19 Сейчас в теме
(27) MS SQL studio - shrink database (сжать базу).
32. 1c.pro.fun 188 06.06.23 16:47 Сейчас в теме
(27) Для клиент-серверных информационных баз в диалоге "Тестирование и исправление" необходимо установить флаг "Реструктуризация таблиц информационной базы".
28. MarinaMM 1 11.03.22 03:27 Сейчас в теме
Очень полезная статья!!!
30. username23 23.02.23 18:18 Сейчас в теме
Ещё есть табл. _UsersWorkHistory слежки за действиями пользователей - в базе, параллельно журналу работы.
Там может быть >40 тыс. записей при обещанном фирмой 1С лимите 200 строк.
33. LadyInGreen 19.12.23 14:39 Сейчас в теме
А что вообще за регистр ЗамерыСтатистики? У нас там за 3 года накопились данные :( Главное, регистр ЗамерыВремени сам чистится, соответственно константе 100 дней, а ЗамерыСтатистики - не очищается!
34. un2qum 6 07.08.24 03:17 Сейчас в теме
НаборЗаписей = РегистрыСведений["ЗамерыСтатистики"].СоздатьНаборЗаписей();
НаборЗаписей.Записать();
Оставьте свое сообщение