Долгая реструктуризация, замеры времени и очистка Ветис. Розница 2.3

16.04.24

База данных - HighLoad оптимизация

При подготовке к обновлению возникли проблемы на стадии тестирования и исправления базы данных, также при создании файлов РИБ для магазинов.

1С:Предприятие 8.3 (8.3.21.1895)

Розница, редакция 2.3 (2.3.9.42)

Режим: Серверный (сжатие: усиленное)

РИБ 6 магазинов

MS SQL 2019

 

Я обычный пользователь, и статья для таких же, как я. Рассказываю в силу своего понимания ситуации, потому что потрачено много времени и, если кому-то будет полезно, то буду рад. 

История как в сказке про репку. Появилась проблема, которая потянула за собой решение обновиться. Обновили центральную базу до последнего релиза, поставили делать первый РИБ, с 12 ночи до 9 утра не сдвинулось с 0% (железо не топ, но I7, 64гб оперативы, ssd самсунг 970), около 6кк объектов к выгрузке. Пришлось откатываться назад и разбираться. База велась с 2016, соответственно накопилось всякого. 

Далее сделал копию базы и проводил все манипуляции с ней, после в основной базе.

1. Выпилил неудачный опыт интеграции Ветис Меркурий в 1С. За несколько месяцев работы (пока не перестал этим пользоваться) в базу залетело более 5гигов файлов по ВСД(!) и несколько сотен тысяч записей по разным регистрам.

Файлы увидел через Администрирование-Обслуживание-отчеты администратора-объем ненужных. Выгрузил их в папку на диск (администрирование-работа с файлами) и снес. Регистры вычищал обработкой СДР: Редактор объекта ИБ (1.1.0.71 от 07.05.2023). Далее шлифанул тестированием и исправлением без реструктуризации.

2. Сделал свертку базы на 1 год, поудалял все помеченное, сделал ТиИ с реструктуризацией, которое неожиданно заняло 1.5 дня

3. Сделал свертку еще на 2 года, реструктуризация быстрее не стала. Проблема была на моменте реструктуризации РегистрНакопления. ТоварыНаСкладах. Таблица регистрации изменений (около 35кк записей). 99.9% времени занимала обработка этого регистра.

Обработкой СДР: Консоль запросов (1.1.0.45 от 07.02.2020) выяснил, что... одно из подключаемых оборудований, а именно весы с печатью этикетов Штрих-М, воспринималось системой как узел обмена (открыть "регистрация изменений для обмена данными") и на них все это время пытался выгружаться регистр накопления - товары на складах!!! При этом было 29 узлов обмена этих весов (не смогу складно объяснить, но этих весов в подключаемом оборудовании висело несколько неиспользуемых, плюс узлы обмена по всем этим настройкам каким-то образом были продублированы пятикратно) и почти на каждом висело по 1.6кк регистраций к выгрузке. Собственно эти абсолютно ненужные записи комп сутки и переваривал на реструктуризации. Сняв регистрацию объектов с них и удалив лишние узлы обмена, все тестирование и исправление базы заняло меньше часа. Задача весов получать PLU и цены. Зачем так сделано, для меня загадка. 

4. Ну и когда процесс ТиИ пошел быстро, не смог не обратить внимание на притормаживание на регистре Замеры времени. Тоже подлянка оказалась, но простая. Материал по ней здесь же и читал. Если коротко, то в центре мониторинга запрещаем отправку сообщений и в оценке производительности отключаем ее ведение. Чем раньше это сделаете, тем больше времени себе сэкономите в будущем, вычищая миллионы бесполезных записей о том, за сколько миллисекунд делался чек в 2017 году. Регистров по замерам несколько. В регламентных заданиях есть очистка только одного, нужно только время изменить, у меня стоял час с 4 до 5 утра)) Остальное обработкой удалял. 

5. Итого: ТиИ с полутора суток сократилось до часа. Создание файла риба с 6кк объектами (неопределенного конечного времени создания) сократилось до 2кк за 2часа с минутами. 

Если вдруг кто-то, разбирающийся в теме, прочитает и не сильно будет хейтить за эту историю (я понимаю, что на взгляд профи простые пользователи как дауны выглядят, когда рот открывают), то просьба ответить, почему, удалив столько мусора, база в sql как была 68гб, так и осталась?

реструктуризация риб замеры времени

См. также

Поинтегрируем: сервисы интеграции – новый стандарт или просто коннектор?

Перенос данных 1C Администрирование СУБД Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

В платформе 8.3.17 появился замечательный механизм «Сервисы интеграции». Многие считают, что это просто коннектор 1С:Шины. Так ли это?

11.03.2024    6341    dsdred    59    

86

Анализируем SQL сервер глазами 1С-ника

HighLoad оптимизация Инструменты администратора БД Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка для простого и удобного анализа настроек, нагрузки и проблем с SQL сервером с упором на использование оного для 1С. Анализ текущих зааросов на sql, ожиданий, конвертация запроса в 1с и рекомендации где может тормозить

1 стартмани

15.02.2024    8561    170    ZAOSTG    74    

103

Удаление строк из таблицы значений различными способами с замером производительности

HighLoad оптимизация Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Встал вопрос: как быстро удалить строки из ТЗ? Рассмотрел пять вариантов реализации этой задачи. Сравнил их друг с другом на разных объёмах данных с разным процентом удаляемых строк. Также сравнил с выгрузкой с отбором по структуре.

09.01.2024    6865    doom2good    49    

65

Опыт оптимизации 1С на PostgreSQL

HighLoad оптимизация Бесплатно (free)

При переводе типовой конфигурации 1C ERP/УТ/КА на PostgreSQL придется вложить ресурсы в доработку и оптимизацию запросов. Расскажем, на что обратить внимание при потерях производительности и какие инструменты/подходы помогут расследовать проблемы после перехода.

20.11.2023    9644    ivanov660    6    

76

ТОП проблем/задач у владельцев КОРП лицензий 1С на основе опыта РКЛ

HighLoad оптимизация Бесплатно (free)

Казалось бы, КОРП-системы должны быть устойчивы, быстры и надёжны. Но, работая в рамках РКЛ, мы видим немного другую картину. Об основных болевых точках КОРП-систем и подходах к их решению пойдет речь в статье.

15.11.2023    5461    a.doroshkevich    20    

72

Мигрируем с MS SQL на PostgreSQL

Администрирование СУБД Бесплатно (free)

Переход с MS SQL на PostgreSQL сопряжен с рисками для бизнеса и неизбежно вызывает множество вопросов. Статья посвящена тому, как заранее подготовиться к предстоящей миграции, провести нагрузочное тестирование, выявить возможные проблемы перехода и провести необходимую оптимизацию.

13.11.2023    11914    ivanov660    31    

73

Неочевидный баг Истории данных, убивающий rphost

Администрирование СУБД Платформа 1С v8.3 Бесплатно (free)

Расследование о том, почему команда ИсторияДанных.ОбновитьИсторию() убивала rphost.

08.11.2023    6506    dsdred    48    

72

Начните уже использовать хранилище запросов

HighLoad оптимизация Запросы

Очень немногие из тех, кто занимается поддержкой MS SQL, работают с хранилищем запросов. А ведь хранилище запросов – это очень удобный, мощный и, главное, бесплатный инструмент, позволяющий быстро найти и локализовать проблему производительности и потребления ресурсов запросами. В статье расскажем о том, как использовать хранилище запросов в MS SQL и какие плюсы и минусы у него есть.

11.10.2023    16764    skovpin_sa    14    

101
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. SerVer1C 767 16.04.24 16:58 Сейчас в теме
база в sql как была 68гб, так и осталась?

Сделайте шринк базы
3. xKaskadx 1 17.04.24 02:14 Сейчас в теме
(1) Спасибо, попробую на досуге. Просто, сколько читал материалов на форумах, чаще не помогает этот способ. Но надо пробовать)
2. TMV 14 16.04.24 19:36 Сейчас в теме
Я обычный пользователь
и
Выпилил неудачный опыт интеграции Ветис Меркурий в 1С
...
Сделал свертку базы на 1 год, поудалял все помеченное, сделал ТиИ с реструктуризацией

Как будто не совсем обычный
4. xKaskadx 1 17.04.24 02:35 Сейчас в теме
(2) Разумеется, в каких-то моментах обращаешься за консультацией, когда не можешь разобраться самостоятельно. Как минимум - спросить о правильности понимания проблемы, вариантах её решения и последствиях планируемых действий.
Оставьте свое сообщение