Удаление лишних данных

25.11.16

База данных - Чистка данных

Настало то время, когда на SSD винчестерах размером 120 Гб начало заканчиваться место.  В связи с этим, было принято решение проанализиривать возможность уменьшения занимаемого места БД. Без веского обоснования у нас никакие работы не производятся, просто так оптимизацией никто заниматься не даст. 1. Выявление таблиц БД, занимающих много места. 2. Очистка записей регистров накопления. 3. Тестирование.

Выявление таблиц БД, занимающих много места.

Для начала я решил выяснить, какие данные занимают много места. Хотел решить этот вопрос по-простому - скачать обработку с Infostart. По-простому получилось как-то не очень просто, оказалось, надо еще с обработкой разбираться. При помощи MS SQL, на мой взгляд, намного проще.

1. Выполняем запрос на MS SQL

USE [DatabaseName]
GO
CREATE TABLE #temp (
table_name sysname ,
row_count INT,
reserved_size VARCHAR(50),
data_size VARCHAR(50),
index_size VARCHAR(50),
unused_size VARCHAR(50))
SET NOCOUNT ON
INSERT #temp
EXEC sp_msforeachtable 'sp_spaceused ''?'''
SELECT a.table_name,
a.row_count,
COUNT(*) AS col_count,
a.data_size,
a.index_size 
FROM #temp a
INNER JOIN information_schema.columns b
ON a.table_name collate database_default
= b.table_name collate database_default
GROUP BY a.table_name, a.row_count, a.data_size, a.index_size
ORDER BY CAST(REPLACE(a.data_size, ' KB', '') AS integer) DESC
DROP TABLE #temp

Вместо [DatabaseName] нужно подставить название нужной базы.

2. Результат запроса прекрасно копируется в MS Excel. С помощью функции " ПОДСТАВИТЬ " избавляемся от " KB", и преобразуем значения из строк в числа. 

3. Вычисляем процент от занимаемого места.

4. По названию таблиц определям метаданные. 

тзСтруктураХранения = ПолучитьСтруктуруХраненияБазыДанных(,);
СтруктураОтбора = Новый Структура("ИмяТаблицыХранения", НазваниеТаблицы);
мстзСтруктураХранения = тзСтруктураХранения.НайтиСтроки(СтруктураОтбора);
	
тзРезультат = тзСтруктураХранения.Скопировать(мстзСтруктураХранения);
	
Для Каждого стзРезультат Из тзРезультат Цикл
	Сообщить("" + стзРезультат.Метаданные + "	" + стзРезультат.Назначение);
КонецЦикла;

В моем случае, получился результат, приведенный в таблице:

результат

Учет НДС (книги покупок/ продаж) в данной базе не ведется. Расчет с контрагентами (не путать со взаиморасчетами) также не ведется. Результат мы видим в таблице - регистры превратились в свалку.

Очистка записей регистров накопления

План работ:

  1. Внести изменения в алгоритмы, делающие записи по регистрам, которые нужно очистить.
  2.  Очистка регистров.
  3. Тестирование.

Изменение алгоритмов

Сначала я попробовал воспользоваться глобальным поиском в модулях по названию регистра. В результате получил большое количество совпадений.

Остановился на следующем методе. 

  • Выписал все возможные регистраторы (документы);
  • В каждом документе анализировал проведение документа.

Такой метод оказался намного проще, естественно, не даёт гарантированный 100% результат.

Очистка регистров

Для очистки регистров написал следующую обработку:

Процедура ОчиститРегистр(НаименованиеРегистра)
	Запрос = Новый Запрос();
	Запрос.Текст =
	"ВЫБРАТЬ РАЗЛИЧНЫЕ
	|	" + НаименованиеРегистра + ".Регистратор,
	|	" + НаименованиеРегистра + ".Период КАК Период
	|ИЗ
	|	РегистрНакопления." + НаименованиеРегистра + " КАК " + НаименованиеРегистра + "
	|
	|УПОРЯДОЧИТЬ ПО
	|	Период УБЫВ";
	
    Выборка = Запрос.Выполнить().Выбрать();
	Индикатор = 0;
	ЭлементыФормы.Индикатор.МаксимальноеЗначение = Выборка.Количество();
	Пока Выборка.Следующий() Цикл
		нзРегистр = РегистрыНакопления[НаименованиеРегистра].СоздатьНаборЗаписей();
		нзРегистр.Отбор.Регистратор.Значение = Выборка.Регистратор;
		нзРегистр.Записать();		
		Индикатор = Индикатор + 1;
	КонецЦикла;	
	
	РегистрыНакопления[НаименованиеРегистра].ПересчитатьИтоги();
КонецПроцедуры

Процедура КнопкаВыполнитьНажатие(Кнопка)
	// Вставить содержимое обработчика.
	СписокРегистров = Новый Массив();
	СписокРегистров.Добавить("НДСРасчетыСПокупателями");
	СписокРегистров.Добавить("НДСРасчетыСПоставщиками");
	СписокРегистров.Добавить("РасчетыСКонтрагентами");
	СписокРегистров.Добавить("НДСПредъявленный");
	
	ЭлементыФормы.Индикатор1.МаксимальноеЗначение = 4;
	Индикатор1 = 0;
	Для Каждого НаименованиеРегистра Из СписокРегистров Цикл
		Индикатор1 = Индикатор1 + 1;
		ОчиститРегистр(НаименованиеРегистра);	
	КонецЦикла;
	
КонецПроцедуры

Начальный вариант кода был без пересчета остатков по регистрам, я думал, что при удалении записей автоматически произойдет пересчет итогов, я ошибался.

О том, что при удалении записей из таблицы файл не уменьшается, я знал давно. Но раньше я это больше ассоциировал со справочниками, и почему-то не связывал с регистрами. А ведь именно в случае с регистрами очень часто записи удаляются. Восстанавление последовательности - регулярная операция. Следовательно, после восстановления последовательности документов нужно упаковывать таблицы регистров.

Тестирование

Тестирование я проводил следующим образом.

  • Перепроводил документы (за месяц);
  • Проверка на наличие записей в регистрах;
  • Проверка изменения остатков.

При правке кода для удаления проведения по регистру "Расчеты с покупателями", была возможность повредить код проведения по регситру "Заявки на расходование средств". Поэтому я решил проконтролировать остатки по данному регистру следующим образом:

  1. Остатки по регистру выгрузил в файл.
  2. Перепровел документы.
  3. Сравнил остатки в файле с  остатками в базе.

Код обработки:

Перем ТипДиалога;


Процедура ВыбФайлНачалоВыбора(Элемент, СтандартнаяОбработка)
	// Вставить содержимое обработчика.
	длгВыборФайла = Новый ДиалогВыбораФайла(ТипДиалога);
	Если длгВыборФайла.Выбрать() Тогда
		ВыбФайл = длгВыборФайла.ПолноеИмяФайла;		
	КонецЕсли;	
КонецПроцедуры

Процедура СохранитьНажатие(Элемент)
	// Вставить содержимое обработчика.
	Запрос = Новый Запрос();
	Запрос.Текст =
	"ВЫБРАТЬ
	|	ЗаявкиНаРасходованиеСредствОстатки.ДоговорКонтрагента,
	|	ЗаявкиНаРасходованиеСредствОстатки.Сделка,
	|	ЗаявкиНаРасходованиеСредствОстатки.ЗаявкаНаРасходование,
	|	ЗаявкиНаРасходованиеСредствОстатки.СтатьяДвиженияДенежныхСредств,
	|	ЗаявкиНаРасходованиеСредствОстатки.Проект,
	|	ЗаявкиНаРасходованиеСредствОстатки.СуммаВзаиморасчетовОстаток,
	|	ЗаявкиНаРасходованиеСредствОстатки.СуммаУпрОстаток,
	|	ЗаявкиНаРасходованиеСредствОстатки.СуммаОстаток
	|ИЗ
	|	РегистрНакопления.ЗаявкиНаРасходованиеСредств.Остатки КАК ЗаявкиНаРасходованиеСредствОстатки";
	
	
	тзОстатки = Запрос.Выполнить().Выгрузить();
	ЗначениеВФайл(ВыбФайл, тзОстатки);	
КонецПроцедуры

Процедура СравнитьНажатие(Элемент)
	// Вставить содержимое обработчика.
	Запрос = Новый Запрос();
	Запрос.Текст =
	"ВЫБРАТЬ
	|	ЗаявкиНаРасходованиеСредствОстатки.ДоговорКонтрагента,
	|	ЗаявкиНаРасходованиеСредствОстатки.Сделка,
	|	ЗаявкиНаРасходованиеСредствОстатки.ЗаявкаНаРасходование,
	|	ЗаявкиНаРасходованиеСредствОстатки.СтатьяДвиженияДенежныхСредств,
	|	ЗаявкиНаРасходованиеСредствОстатки.Проект,
	|	-ЗаявкиНаРасходованиеСредствОстатки.СуммаВзаиморасчетовОстаток КАК СуммаВзаиморасчетовОстаток,
	|	-ЗаявкиНаРасходованиеСредствОстатки.СуммаУпрОстаток КАК СуммаУпрОстаток,
	|	-ЗаявкиНаРасходованиеСредствОстатки.СуммаОстаток КАК СуммаОстаток
	|ИЗ
	|	РегистрНакопления.ЗаявкиНаРасходованиеСредств.Остатки КАК ЗаявкиНаРасходованиеСредствОстатки";
	
	
	тзРезультат = Запрос.Выполнить().Выгрузить();
	
	тзОстатки = ЗначениеИзФайла(ВыбФайл);
	
	Для Каждого стзОстатки Из тзОстатки Цикл
		стзРезультат = тзРезультат.Добавить();
		ЗаполнитьЗначенияСвойств(стзРезультат, стзОстатки);
	КонецЦикла;
	
	тзРезультат.Свернуть("ДоговорКонтрагента,Сделка,ЗаявкаНаРасходование,СтатьяДвиженияДенежныхСредств,Проект", "СуммаВзаиморасчетовОстаток,СуммаУпрОстаток,СуммаОстаток");
	Сч = тзРезультат.Количество();
	Пока Сч > 0 Цикл
		Сч = Сч - 1;
		стзРезультат = тзРезультат[Сч];
		Если стзРезультат.СуммаВзаиморасчетовОстаток = 0 
			И стзРезультат.СуммаУпрОстаток = 0 
			И стзРезультат.СуммаОстаток = 0  Тогда
			тзРезультат.Удалить(стзРезультат);
		КонецЕсли;
	КонецЦикла;
	
	тзРезультат.ВыбратьСтроку();
	
КонецПроцедуры


ТипДиалога = РежимДиалогаВыбораФайла.Открытие;

Заключение

Скорее всего, материал я изложил совсем не лаконично, а скорее наборот, но с чего-то надо начинать.  Главное, чтобы информация была полезной, а статью потом можно будет и переписать. 

Вступайте в нашу телеграмм-группу Инфостарт

MSSQL SQL размер таблиц очистка регистров

Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы, интерфейс 8.5. Может выполнять свертку одновременно в несколько потоков, а также без непосредственного участия пользователя. Решение в Реестре отечественного ПО.

24900 руб.

20.08.2024    73831    377    170    

321

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Update 2026: добавили многопоточное удаление данных по организациям. Ускорение х6 по сравнению с однопоточным алгоритмом! Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3, УНФ, Розница 3.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

12139 руб.

16.03.2015    281559    264    84    

296

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 1.6 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 26.02.2026, версия 4.5, 4.6.0)

14640 руб.

22.02.2013    147672    292    155    

460

Чистка данных Инструменты администратора БД Администрирование 1С 8.3 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Решение представляет собой набор из 6 обработок для 1С по удалению организаций и справочников из базы по фильтрам, документов по фильтрам, универсальное сжатие данных, очистка битых движений регистратора, удаление устаревших регистров сведений, удаление устаревших документов "Электронное письмо входящее" и "Электронное письмо исходящее"

23999 руб.

20.02.2026    1580    1    0    

4

Чистка данных Инструменты администратора БД Программист Пользователь 1С 8.3 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем Абонемент ($m)

Хочешь выборочно удалить одну организацию, тестовую номенклатуру или «мусорного» контрагента, любую ссылку - без ручного поиска ссылок и часовых разборок зависимостей? Этот инструмент сам строит дерево связей, каскадно чистит с "глубоким поиском" документы, справочники, пвх, любые ссылки, регистры, движения в так же делает резервную копию и за пару минут оставляет базу чистой и полностью работоспособной (Управляемые формы, обычный интерфейс)

1 стартмани

03.02.2026    3353    121    war41k    0    

28

Чистка данных Системный администратор Программист 1С:Предприятие 8 1С:Бухгалтерия 3.0 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление холдингом 1С:Зарплата и кадры государственного учреждения 3 1С:Зарплата и Управление Персоналом 3.x 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 11 1С:Розница 2 Абонемент ($m)

Универсальный инструмент для очистки базы. Работает как на конфигурациях на основе БСП, так и самописных. Позволяет выбрать данные, отобразить форму списка, увидеть структуру метаданных, очистить базу применяя при необходимости условия. Удаление производится по выбранным элементам в таблице значений. Наложение условий позволяет удалить документы по выбранной организации.

1 стартмани

25.12.2023    14440    327    WeterSoft    7    

16

Чистка данных Инструментарий разработчика Системный администратор Программист 1С:Предприятие 8 Абонемент ($m)

Очередная вариативная очистка кэша 1С с помощью Исполнителя 3.0.2.2.

1 стартмани

25.10.2023    8033    6    SerVer1C    27    

25
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. TODD22 20 25.11.16 11:25 Сейчас в теме
Без веского обоснования у нас никакие работы не производятся, просто так оптимизацией никто заниматься не даст.

Интересно как вы обосновали затраты такого количества времени и человеческих ресурсов, вместо покупки SSD под базу на 250 Гб?
На эту "оптимизацию" времени было затрачено на два SSD диска.... :)
Железо зачастую дешевле чем работа программиста. Учитывая что это увеличение объёма памяти. А не каких то важных(критичных к скорости) механизмов.
2. Swetlana 30 25.11.16 11:30 Сейчас в теме
(1) Нужно же обосновать покупку винчестера, просто так деньги на это не выделят. особенно если это бюджет)
HAMMER_59; +1 Ответить
5. HAMMER_59 256 25.11.16 12:21 Сейчас в теме
(1) Как раз с этого все и началось, со служебной на покупку новых SSD дисков на 250 Гб (установлены зеркалом).

В конкретном случае, дешевле было почистить базу. Стоимость дисков - порядка 16 тысяч рублей.
Работы я выполнил часов за 8. А за 8 часов я столько не зарабатываю.
3. olegmedvedev 66 25.11.16 11:34 Сейчас в теме
для файловой базы (где нельзя написать запрос)
1. Выполняем запрос на MS SQL
2. Результат запроса прекрасно копируется в MS Excel. С помощью функции " ПОДСТАВИТЬ " избавляемся от " KB", и преобразуем значения из строк в числа.
3. Вычисляем процент от занимаемого места.
4. По названию таблиц определям метаданные.

можно воспользоваться Размеры объектов файловой базы 1С 8.х
есть экспорт в эксель,хтмл,ворд
HAMMER_59; +1 Ответить
4. Fox-trot 166 25.11.16 11:40 Сейчас в теме
(3) тысячи их
ТС бесплатный совет
в запрос
Запрос.Текст =
	"ВЫБРАТЬ
	|	" + НаименованиеРегистра + ".Регистратор,
	|	" + НаименованиеРегистра + ".Период КАК Период
	|ИЗ
	|	РегистрНакопления." + НаименованиеРегистра + " КАК " + НаименованиеРегистра + "
	|
	|СГРУППИРОВАТЬ ПО
	|	" + НаименованиеРегистра + ".Регистратор,
	|	" + НаименованиеРегистра + ".Период
	|
	|УПОРЯДОЧИТЬ ПО
	|	Период УБЫВ";
Показать

вставить мащнейший операнд РАЗЛИЧНЫЕ и ваша обработка просто таки взлетит
я гарантирую это
paybaseme; HAMMER_59; +2 Ответить
6. HAMMER_59 256 25.11.16 12:25 Сейчас в теме
(4) Не взлетит, выполнение данного запроса занимает крайне малую часть времени от всей обработки.
Но замечание дельное, действительно в таких случаях нужно писать РАЗЛИЧНЫЕ. Исправил код.
7. v3rter 25.11.16 13:21 Сейчас в теме
Пройдет время, база вырастет и все равно придется )
Rjhev; HAMMER_59; +2 Ответить
8. V.Nikonov 126 01.12.16 14:49 Сейчас в теме
На практике, часть Информации носит Управленческий характер. Актуальной она является ограниченный период времени...
Для примера в Базах УТ, информация Регистров ЗаказыПокупателей, Резервы - теряет со временем актуальность. Соответственно можно проработать процедуры Осторожно зачищающие старые движения и итоги... Только надо Хорошо Подумать о Смысловом назначении тех или других Регистров.
Варианты сворачивания Номенклатуры, Контрагентов - существенно более проблемные для сокращения Информации. Легче зачистить "лишние" Свойства и Справочник ХранилищеДополнительнойИнформации.

Это тоже может дать выигрыш в объёмах Базы. В конечном результате можно заметно продлить период жизни ИБ.
9. Serg O. 324 01.12.16 20:40 Сейчас в теме
есть статья про "ненужность" свертки базы
>> там есть Ваша проблема - перенос таблиц на другие диски
(причем даже на внешнее хранилище) - средствами SQL Server

см. http://infostart.ru/public/94040
10. sansys 75 07.01.17 12:25 Сейчас в теме
У меня назревает та-же проблема, к сожалению в базе уже обрезано всё, что можно. Пока склоняюсь пойти по "аппаратному" пути т.е. расширение дискового пространства. Но за статью однозначно плюс, возьму на вооружение.
Для отправки сообщения требуется регистрация/авторизация