[РЕШЕНИЕ ПРОБЛЕМ] "Медленные" базы и прочая....

30.06.09

База данных - HighLoad оптимизация

Краткое описание приведения в порядок "тяжелой" базы... Простой пример выполненной работы.
Что имеем "на старте"?
На старте имеем не сильно большую базу, с которой наблюдается куча проблем. Основная проблема - долгое открытие периода - около полутора часов (соответсвенно, любое восстановление ГП превращается в процесс, который дождаться проблематично - так как откатить итоги на предыдущий месяц, перепровестись, открыть период - ОЧЕНЬ долго). Плюс к этому - переиндексация тоже идет не шибко быстро.
Не вдаваясь в подробности - будем "лечить".
Сначала диагно: база дбф, 2.2 гига, тотально незакрыт регистр Реализованных товаров (отчет комитенту не делался в базе 2 года).
Итак:
- перед началом ТРИВИАЛЬНОЙ УБОРКИ размер базы (cdx+dbf) = 2'253'168'869 байт
- после окончания ТРИВИАЛЬНОЙ УБОРКИ размер базы стал = 1'620'220'102 байт, т.е. уменьшился на 28%, что составило ~605 Мб
...
наиболее усохшие таблицы (до/после, Мб)
- rg438.dbf 767/66 (регистр "реализованный товар")
- rg438.cdx 138/5

Время открытия периода до/после:
- до уборки время открытия очередного периода очень быстро росло с каждыми месяцем, на текущий момент открытие периода составляло порядка полутора часов.
- после уборки время открытия периода не зависит, стабильное и составляет порядка 30 секунд.

Время переиндексации базы (случается иногда пока) - до/после:
- до исправления - не менее 10 минут (может и поболее, сейчас уже навскидку и не скажу...);
- после исправления - менее 4 мин.;
...
на невооруженный взгляд ускорилось проведение доков, ну и исправление доков задним числом (вернее исправление таких "исправлений") не стало приводить к коллапсу работы...
...
Проведение ТиИ с полным пересчетом итогов и упаковкой таблиц привело к тому, что база "похудела" примерно еще на 400 Мб, и стала весить в районе 1,2 Гб. Итоговое уменьшение базы составило ~45% по объему.
...
Надеюсь, не надо пояснять, что в результате уборки имеем? ;-)
Так что, если у вас открытие периода тянется дольше 5 минут - самое время заняться уборкой.
..
Вдогонку отметим: лечение проводилось абсолютно штатными методами:
1. Программой из 20-30 строк были сгенерены понедельные отчеты комитенту (+отчет комитенту в каждый последний день месяца).
2. ТА была сдвинута на первый документ в базе.
3. Были "прибиты" все файлы R*.* (т.е. занулены все регистры)
4. Далее осуществлялось простое перепроведение доков с заполнением и проведением отчетов комитенту.
5. После полного проведения было сделано ТиИ.
все... результат = выше...

См. также

HighLoad оптимизация Программист Платформа 1С v7.7 Конфигурации 1cv7 Абонемент ($m)

Конфигурация на 1С 7.7, показывающая блокировки на MS SQL сервере и доменных пользователей по SPID. Используется 1С++ и классы.

1 стартмани

09.11.2021    4902    9    ShoDm    17    

11

Чистка данных HighLoad оптимизация Системный администратор Программист Платформа 1С v7.7 Конфигурации 1cv7 Абонемент ($m)

По статье "Зачем в 1С нужно периодически пересчитывать итоги по регистрам?" http://infostart.ru/public/177171/ Обработка для 7.7, чтобы посмотреть что же творится в БД для SQL

1 стартмани

13.03.2013    23446    54    maxpiter    15    

8

HighLoad оптимизация Системный администратор Программист Оперативный учет 7.7 Бухгалтерский учет 7.7 Расчет 7.7 Конфигурации 1cv7 Россия Бесплатно (free)

Обратились ко мне с вопросом по теме форума: http://forum.mista.ru/topic.php?id=558772 Автор темы: "DennizzM". Название: "v7: 1c v7.7 ошибки транзакции - как отловить виновника?" Текст с сокращениями: "Вопрос наверняка не новый... Итак - есть база 1c v7.7 (самописная конфа). Периодически у пользователей возникает ошибка при проведении транзакции. База работает под терминалом. Нагрузка на дисковую подсистему небольшая, CPU на нуле, RAM до черта свободного. Вопрос вот в чем - как отловить инициатора первой транзакции которая всех держит? Итак - как мне выкрутиться? ;) ...я не имею права и не могу лезть внутрь конфы и модифицировать ее.".

13.07.2011    26604    hogik    16    

11
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Docent 08.10.07 18:48 Сейчас в теме
А не проще ли базу в SQL формат перевести?
4. Sabron 09.10.07 05:03 Сейчас в теме
(1) Здесь описано решения "бардака" в базе. а от того где база лежит "бардак" как то сам по себе не меняется.
+1
2. CheBurator 2712 08.10.07 19:00 Сейчас в теме
Как говорится: нивапрос... жду от вас примерно 850 USD для скуль сервера и по 150 (или скольо там) за каждое скульное подключение...
адрес моего вебкошелька - в моем профиле.. ;-)
3. CheBurator 2712 08.10.07 19:01 Сейчас в теме
вдогонку: что, по вашему мнению, "упростится" с переводом на скуль? устойчивость - да, а проблемы - они останутся... если не полечить...
5. Lesovik 09.10.07 11:38 Сейчас в теме
Все это конечно хорошо, но в сравнении...
Когда ты начинаешь прыгать от результата полученного после штатных средств тогда и начинается веселье.
6. CheBurator 2712 09.10.07 12:04 Сейчас в теме
(5) В смысле, что теперь надо также ускорить уже ускоренное? ;-)
7. support 4453 09.10.07 12:20 Сейчас в теме
Lesovik имеет в виду скорее всего, что не повторится ли такой бардак снова? Найдены ли невиновные, наказаны ли неучаствующие? :)
8. CheBurator 2712 09.10.07 12:25 Сейчас в теме
(7) не повторится, потому как с одной стороны ситуация простая, лечится понятно как, а с другой стороны - все запущено в определенных областях - вот пока занимаюсь очисткой Авгиевых конюшен.. ;-)
9. filh 54 16.10.07 11:46 Сейчас в теме
А какой смысл несет в себе статья?
10. CheBurator 2712 16.10.07 12:32 Сейчас в теме
(9) Смысл нечет очень простой: типовой ответ на вопрос "у меня 1С медленно..."
11. filh 54 16.10.07 13:13 Сейчас в теме
(10) Понятненько, но в основном это не для всех, у всех свои проблемы касательно медлено работает 1С...
12. Snus71 234 17.10.07 01:02 Сейчас в теме
4. Далее осуществлялось простое перепроведение доков с заполнением и проведением отчетов комитенту.


валяюсь в истерике :-)))))
и неделю сидим и разбираемся с непроводящиемися документами.. коих в 2 гиговой базе ДОХРЕНА !!!!
Каменты не четал... креа гамно, афтар пешы есчо
20. Stella12 18.11.09 13:53 Сейчас в теме
(12) Соглашусь, "банальное перепроведение" документов очень часто организует еще больший бардак. Идеальных торговых баз лично я ну практически не видела.
А кто мешал просто перепровести исключительно те же самые отчеты комитенту и не трогать остальные документы? Регистры-то чем помешали, я вот не пойму? Особенно ra-файлики.
21. Ёпрст 1065 18.11.09 15:16 Сейчас в теме
22. CheBurator 2712 18.11.09 15:31 Сейчас в теме
(20) пора бы знать что не существует прекрасно работающих общих решений. в данном конкретном МОЕМ случае никаких затыков после создания и проведения отчетов комитенту - не существует. потому что в целом учет - более-менее правильный (сейчас). для того ПРОСТО ПОПУТНО была перепроведена база вся. а для ускорения перепроведения и были прибиты регистры. для лечения в принципе достаточно было просто отчеты комитенту создать и перепровести.
23. CheBurator 2712 18.11.09 15:33 Сейчас в теме
(20) Слушай Епрста! ;-) (с) мой
.
два года назад тоже мог бы пригласить и показать торгвую базу которую сопровождал. любое перепроведение за любой период времени не изменяло итоги ни на копейку.
.
текущую базу также подтягиваю к этому состоянию. но идет тяжело, так как попутно еще ворох проблем и задач.
13. Snus71 234 17.10.07 01:03 Сейчас в теме
еще если перед этими десйтвиями не сделать бэкапчи, то клиент точно скажет большое человеческое спасибо :-)))
14. CheBurator 2712 17.10.07 01:13 Сейчас в теме
(13) ну, сам понимаешь, в каждом рецепте есть противопоказания.
(кста, про бэкапчи в данном случае - бэкап был сделан, но не понадобился... до и после - все совпало...)

(12) не надо частный описанный случай распространять на совсем гуановые базы. там где куча непроводящихся доков - сначала решаются совсем другие задачи - не тебе ли об этом не знать...? ;-)
15. Вадимко 156 03.06.08 00:28 Сейчас в теме
То есть теперь им нести в налоговую уточненные отчеты за 2 года?
16. CheBurator 2712 03.06.08 00:30 Сейчас в теме
да нет... в бухии все-нормально...
17. МадоннаЛитта 01.07.08 14:11 Сейчас в теме
Где ее взять такую штучку??????
18. CheBurator 2712 01.07.08 14:26 Сейчас в теме
(17) Какая именно "штучка" Вас интересует по статье "Медленные базы и прочая..."?
19. Abadonna 3968 01.07.08 14:56 Сейчас в теме
(18) Не понял, чтоль какую? ;)
чтобы медленно, подольше :))))
Оставьте свое сообщение