1С + PostgreSQL + SSD: Куда уходит ресурс хост-записей?

06.09.19

База данных - Инструменты администратора БД

Работа PostgreSQL на SSD начиная с 10 версии, резко увеличивает нагрузку на ресурс SSD, даже когда к базе нет коннектов.

После обновления PostgreSQL c 9 на 10 версию, я заметил странное - ресурс SSD (хост-записи) начал резко уменьшаться. На рабочих SSD это было не заметно и я бы не обратил внимание, но там где находятся тестовые базы, счетчик хост-записей показывал запись от 3 до 9 ГБайт в день. Что было более чем странно. В принципе для SSD это не нагрузка, но...

Анализ показал, что виновник - сборщик статистики PostgreSQL. Настройки (кроме памяти) я использую стандартно-рекомендованные. Статистику PostgreSQL пишет в каталоги pg_stat, pg_stat_tmp. Файлы там обновляются очень часто.

Выход довольно прост - перенести эти каталоги на HDD или Memory Disk. В принципе на сервере памяти хватает и 0,25 ГБайта не жалко.

Диск можно создать любым приложением, я использую - imdisk. Вызывать можно из планировщика или сделать отдельный скрипт для старта PostgreSQL. 

imdisk -a -s 250M -m M: -p "/fs:NTFS /V:MemDisk /q /y"
m:
mkdir pg_stat_tmp

В postgresql.conf нужно дописать:

#stats_temp_directory = 'pg_stat_tmp'
stats_temp_directory = 'M:\pg_stat_tmp'

Если PostgreSQL стартанет до того, как будет инициализирован Memory Disk, то статистика пойдет в каталоги "по умолчанию".

По моим наблюдениям, каталог со статистикой не растет дальше определенного размера и зависит от количества баз \ таблиц. После переноса файлов статистики, количество хост-записей упало до 1 Гбайта в день - что больше похоже на правду.

PostgreSQL SSD pg_stat хост-записи

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

8400 руб.

20.08.2024    30471    193    104    

182

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 1C:Бухгалтерия Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

15000 руб.

10.11.2023    15155    64    33    

83

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтер Пользователь Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    37025    114    152    

81

Инструменты администратора БД Системный администратор Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием Платные (руб)

Конфигурация Комплексная автоматизация 1.1 (и УПП 1.3 тоже) хранит файлы и изображения в справочнике Хранилище дополнительной информации в реквизите Хранилище типа ХранилищеЗначений. Та же история с ВложениямиЭлектроннойПочты. Но при этом присоединенные файлы в Электронном документообороте хранит в томах на диске. Эта доработка позволяет использовать стандартный механизм хранения файлов, изображений и вложений электронных писем в томах на диске. При этом можно разделить тома хранения по объектам конфигурации.

4200 руб.

10.11.2015    63825    99    59    

82

Инструменты администратора БД Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Многие сталкиваются с проблемой когда изображения, находящиеся в базе разные по объему и размерам. Менеджеры могут добавить файлы в очень высоком разрешении, объемом свыше 20 Мегабайт. База данных становится слишком большой, выгрузка на сайт идёт медленно и требуется много место на хостинге. Как сжать картинки и уменьшить размер базы 1С? Это можно сделать с помощью данной обработки. Существует возможность выбрать различные варианты для того чтобы уменьшить картинки: в разы, в процентах от первоначального объема, а также сделать картинки одинаковой ширины. В результате размер базы 1С значительно сократится (в зависимости от количества и размера картинок), а изображения станут небольшого объема, равными по ширине, почти без потери качества. Работает на управляемых формах для УТ 11, КА, ERP.

3000 руб.

21.07.2022    11033    13    4    

21

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS!

6000 руб.

06.11.2012    75617    631    45    

90

Администрирование Инструменты администратора БД Удаленное управление Системный администратор Платформа 1С v8.3 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Расширение разработано для автоматизации интеграции «1С:Зарплата и управление персоналом (редакция 3.1)» с сервисом Яндекс 360 через платформу «n8n». Расширение позволяет автоматически создавать учетные записи Яндекс для новых сотрудников, обновлять данные существующих сотрудников и блокировать учетные записи уволенных сотрудников. Обмен данными осуществляется через API Яндекс 360 с использованием промежуточного сервера платформы n8n, что обеспечивает гибкость, масштабируемость и упрощение интеграционных процессов.

3600 руб.

03.04.2025    671    1    0    

2
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Indgo 423 06.09.19 22:25 Сейчас в теме
Скорость работы выросла?
2. 2tvad 74 06.09.19 23:22 Сейчас в теме
(1) Я не заметил прироста. На рабочих базах по ощущениям скорости тоже не прибавилось. Скорее всего дисковая подсистема не является у меня узким местом. А вот процы у меня слабоваты, что на рабочем, что на тестовом сервере.
3. GreenDragon 07.09.19 08:54 Сейчас в теме
(1) Так он же не данные перенёс, а всего-лишь статистику.
4. stopa85 46 07.09.19 20:53 Сейчас в теме
Мне это давало 2-3 попугая по тесту Гилева, но на hdd.
5. Indgo 423 09.09.19 10:43 Сейчас в теме
можно было и временные таблицы за одно туде же на Ramdisk, тогда гарантированнно будут попугаи. Медленная работа с временными таблицами - это узкое место Слонов.
Что касается старения SSD-то перенос статистики на другой диск мало чем поможет - Слон не перезаписывает данные - удаляет данные блоками и пишет новые.
Так что SSD для слона это необходимые для рациона корм и считать его думаю нет смысла.
6. 2tvad 74 09.09.19 11:57 Сейчас в теме
(5) У меня не настолько много оперативки. С тем что производительность должна вырасти, согласен.

В рабочих базах лишние 3-9 гбайт хост-записей в день, у меня и не видно. Но в тестовых средах и там где пользователей не очень много, это может быть существенным. Все же в тестовых средах использовать серверные SSD дорого, мы используем "середнячков" из обычных линеек.
7. starik-2005 3180 16.03.21 15:22 Сейчас в теме
ИМХО, при ресурсе 600ТБВ (980 про, 1ТБ) и при заполненности диска на 50% - это 3 000 дней (50% от ТБВ, т.к. старая инфа просто "лежит" и по циклу крутятся свободные ячейки, но есть мнение, что это уже включено и реальный ресурс будет 6 000 дней), т.е. овер 8 лет. Если взять какой нить смартбай 13 про - у него 1КБ рандомная запись даже быстрее, чем у самса, а ресурс в два раза больше - овер 16 лет, при том и стоит он в два раза меньше. Обычные винты вообще живут 20 лет?
8. 2tvad 74 24.07.22 22:53 Сейчас в теме
Технический комент для 121212121
Оставьте свое сообщение