HighLoad оптимизация: База данных

HighLoad оптимизация Системный администратор Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Принимать, хранить и анализировать показания счетчиков (метрики) в базе 1С? Почему бы нет? Но это решение быстро привело к проблемам с производительностью при попытках построить какую-то более-менее сложную аналитику. Переход на PostgresSQL только временно решил проблему, т.к. количество записей уже исчислялось десятками миллионов и что-то сложное вычислить на таких объемах за разумное время становилось все сложнее. Кое-что уже практически невозможно. А что будет с производительностью через пару лет - представить страшно. Надо что-то предпринимать! В этой статье поделюсь своим первым опытом применения СУБД Clickhouse от Яндекс. Как работает, что может, как на нее планирую (если планирую) переходить, сравнение скорости работы, оценка производительности через пару лет, пример работы из 1С. Все это приправлено текстами запросов, кодом, алгоритмами выполненных действий и преподнесено вам для ознакомления в этой статье.

1 стартмани

+42

24.01.2024 7589 glassman 20

42

Удаления строк из таблицы значений - как быстрее?

HighLoad оптимизация Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Встал вопрос: как быстро удалить строки из ТЗ? Рассмотрел пять вариантов реализации этой задачи. Сравнил их друг с другом на разных объёмах данных с разным процентом удаляемых строк. Также сравнил с выгрузкой с отбором по структуре.

+72

09.01.2024 24438 doom2good 49

72

Нагрузочное тестирование

HighLoad оптимизация Системный администратор Программист Бесплатно (free)

Нагрузочным тестированием часто пренебрегают, хотя это неотъемлемая часть любого проекта по внедрению 1С. Расскажем о том, когда его необходимо проводить, как подготовить сценарии и откуда взять информацию, если заказчик не хочет тратить на это время.

+29

26.12.2023 7983 a.doroshkevich 1

29

История одного админа в мире 1С. Как поиски причины тормозов 1С привели к созданию нового продукта

HighLoad оптимизация Системный администратор Программист Бесплатно (free)

Многие, кто пытался разобраться с производительностью 1С, сталкивались со сложностями. Нет общепринятых алгоритмов, большинство утилит пишутся «под себя» или не выходят за пределы компании, а существующие официальные инструменты тяжелы для освоения. О том, как расследование проблем производительности 1С привело к созданию собственного коммерческого продукта, расскажем в статье.

+11

22.12.2023 3502 user719554 4

11

Производительность: особенности применения таблиц значений при работе с выборками данных

HighLoad оптимизация Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

В данной публикации показаны замеры производительности при работе с различными объемами данных, делается сравнение между двумя вариантами: работа через выборку и через таблицу значений.

1 стартмани

+6

20.12.2023 3098 evgen7938 16

6

Опыт оптимизации 1С на PostgreSQL

HighLoad оптимизация Системный администратор Программист Бесплатно (free)

При переводе типовой конфигурации 1C ERP/УТ/КА на PostgreSQL придется вложить ресурсы в доработку и оптимизацию запросов. Расскажем, на что обратить внимание при потерях производительности и какие инструменты/подходы помогут расследовать проблемы после перехода.

+83

20.11.2023 17356 ivanov660 7

83

ТОП проблем/задач у владельцев КОРП лицензий 1С на основе опыта РКЛ

HighLoad оптимизация Бесплатно (free)

Казалось бы, КОРП-системы должны быть устойчивы, быстры и надёжны. Но, работая в рамках РКЛ, мы видим немного другую картину. Об основных болевых точках КОРП-систем и подходах к их решению пойдет речь в статье.

+76

15.11.2023 9189 a.doroshkevich 23

76

Ошибка сервера MS SQL

Администрирование СУБД HighLoad оптимизация Запросы Системный администратор Программист Стажер Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Разбор исправления ошибки "Microsoft SQL Cannot create a row of size" в 1С при открытии формы.

1 стартмани

+5

24.10.2023 2142 vakham 5

4

Начните уже использовать хранилище запросов

HighLoad оптимизация Запросы

Очень немногие из тех, кто занимается поддержкой MS SQL, работают с хранилищем запросов. А ведь хранилище запросов – это очень удобный, мощный и, главное, бесплатный инструмент, позволяющий быстро найти и локализовать проблему производительности и потребления ресурсов запросами. В статье расскажем о том, как использовать хранилище запросов в MS SQL и какие плюсы и минусы у него есть.

+106

11.10.2023 21560 skovpin_sa 15

106

Поиск часто повторяющихся запросов

HighLoad оптимизация Запросы Мониторинг Программист Бесплатно (free)

Расскажем, как найти часто повторяющиеся запросы.

+80

05.10.2023 8357 ivanov660 3

80

История фоновых заданий

Журнал регистрации Статистика базы данных HighLoad оптимизация 1C:Бухгалтерия Абонемент ($m)

Удобный отчет по выполнению фоновых заданий в 1С с разбивкой по разным критериям, например по срокам, в какой последовательности, выполнение дольше всех, сколько одновременно и так далее.

5 стартмани

+8

04.09.2023 1589 19 Maxiko 0

6

Тормоза при сканировании

HighLoad оптимизация Системный администратор Программист Платформа 1С v8.3 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Абонемент ($m)

На низкоскоростных каналах связи в УТ 11 в РМК подтормаживает поиск по штрихкоду.

1 стартмани

+6

07.08.2023 959 woland 0

6

Как эффективно настроить autovacuum в Postgres для 1С

HighLoad оптимизация Администрирование СУБД Системный администратор Программист Платформа 1С v8.3 Бесплатно (free)

Кто не любит убирать мусор? Думаю, практически все, а вот в Postgres это обязательный ритуал для эффективной работы. Как эффективно настроить уборку за 1С в Postgres, можно прочитать в этой статье и еще раз задуматься о бесплатности Postgres.

+52

05.08.2023 7282 1CUnlimited 5

52

Секционирование таблиц – зло или благо?

HighLoad оптимизация Системный администратор Программист Бесплатно (free)

В мире больших данных и больших нагрузок тема секционирования таблиц поднимается довольно часто. Об особенностях секционирования в 1С и о том, в каких случаях оно применимо, расскажем в статье.

+27

31.07.2023 5953 a.doroshkevich 11

27

Тормозит на ровном месте, или на чем может споткнуться PostgreSQL

HighLoad оптимизация Рефакторинг и качество кода Программист Платформа 1С v8.3 Бесплатно (free)

Прилетела интересная задача с примером, когда одно и то же действие выполняется на MS SQL за 1 минуту и около часа на Postgre SQL 14. Вот и решил поделиться занимательным опытом расследования причин вышеупомянутой проблемы. Ну и посмотреть вскользь на модуль ERP "1С:Хлебобулочное и кондитерское производство".

+16

30.06.2023 5033 zeltyr 15

16

MS SQL Server: изучаем планы запросов

Запросы HighLoad оптимизация Программист Запросы Бесплатно (free)

Многие знают, что для ускорения работы запроса нужно «изучить план». При этом сам план обычно обескураживает: куча разноцветных иконок и стрелочек; ничего не понятно, но очень интересно! Аналитик производительности Александр Денисов на конференции Infostart Event 2021 Moscow Premiere рассказал, как выполняется план запроса и что нужно сделать, чтобы с его помощью находить проблемы производительности.

+123

20.06.2023 37560 Филин 37

123

Нестандартные приемы безопасной разработки и эксплуатации ПО на платформе 1С, категория "18+"

HighLoad оптимизация Рефакторинг и качество кода Администрирование СУБД Программист Бесплатно (free)

Готовы погрузиться в недетское программирование и шКОДИТЬ по-взрослому? О том, как повысить безопасность разработки и эксплуатации ПО через изощренные способы подключения к платформе 1С, на конференции Infostart Event 2022 Saint Petersburg рассказал Юрий Лазаренко.

+26

19.06.2023 3820 TitanLuchs 15

26

Многопоточная обработка банковских выписок

Банковские операции HighLoad оптимизация Программист Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Абонемент ($m)

Оптимизация механизма загрузки банковской выписки с использованием механизма подсистемы БСП Длительные операции.ВыполнитьФункциюВНесколькоПотоков.

1 стартмани

+5

16.06.2023 2890 24 pasha_gubarev 0

5

Кейс по получению большой выборки данных в обработке порционно

HighLoad оптимизация Программист Россия Бесплатно (free)

В редких случаях требуется сложными запросами получить большую выборку данных и обработать её. Как переложить нагрузку с кластера 1С на СУБД.

+35

01.06.2023 5519 AlexSTAL 16

35

Чрезмерная оптимизация кода

HighLoad оптимизация Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Бесплатно (free)

Рассмотрим ситуацию, когда излишняя оптимизация приводит к неочевидным проблемам.

+65

29.05.2023 8190 ivanov660 12

65

Взаимоблокировки на таблице итогов

HighLoad оптимизация Технологический журнал Системный администратор Программист Платформа 1С v8.3 Россия Бесплатно (free)

Мой первый опыт расследования взаимоблокировок на таблице итогов регистра бухгалтерии на новом месте работы.

+18

22.05.2023 3927 AlexSTAL 2

18

Параллельные вычисления - это просто

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Параллельные вычисления для новичков. Описание концепции, как быстро и просто распараллелить вычисления ваших задач. Можно использовать для распараллеливания сложных вычислений, для простой же обработки таблиц смысла нет, т.к. время на сбор таблицы после обработки, вероятно, будет больше, чем на саму обработку.

+32

16.05.2023 3716 avalakh 2

32

Делаем из типового ЗУП 3 Корп ракету!

HighLoad оптимизация Программист Платформа 1С v8.3 Сложные периодические расчеты 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x Абонемент ($m)

Как только мы перешли с УПП на ЗУП 3, сразу столкнулись с огромной проблемой. Наша организация в 12 000 человек, разбив документы на 2 части по 6 000 человек, не смогла за несколько часов рассчитать зарплату, и пришлось срочно заниматься оптимизацией "на ходу". В процессе выяснилось немало ключевых мест, и в результате, как правило, небольшими "инъекциями", удалось качественно (часть участков с часов до минут, а местами и до секунд) ускорить процесс и дать возможность расчетчикам выполнять работу в сжатые сроки. В результате этого процесса получилось расширение. Которое можно просто применить на типовой ЗУП Корп.

1 стартмани

+14

10.05.2023 3898 26 ZAOSTG 10

14

Экспертный кейс. Миграция высоконагруженных решений 1С на Linux/PostgreSQL без потерь производительности

HighLoad оптимизация Системный администратор Руководитель проекта Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

Статья по итогам нашего выступления на юбилейной X конференции PGConf.Russia, где мы рассказали о подходе, при котором миграцию высоконагруженных решений 1С на Linux/PostgreSQL можно выполнить плавно и без серьезных потрясений, при этом сохранить производительность и надежность в целевом ландшафте.

+36

27.04.2023 7274 it-expertise 17

35

Простой способ проверки быстродействия

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Простой (а точнее, мегапростой) способ проверки быстродействия, когда очень важно его, быстродействие, улучшить

+39

10.04.2023 5127 vkrivov@yandex.ru 15

39

Эффективное управление фоновыми заданиями и коммуникация сеансов сервера с Фоном с помощью Структуры обмена (ноу-хау) + Бонус: Альтернативный вариант через Хранилище настроек

HighLoad оптимизация Администрирование СУБД Системный администратор Программист Платформа 1С v8.3 Платформа 1C v8.2 Россия Абонемент ($m)

Как эффективно управлять Фоновым заданием, так чтобы Приложение-клиент могло МГНОВЕННО в реальном времени получать и передавать данные и команды в этот процесс. Преимущества и недостатки вариантов обменов с Фоном с помощью Структуры Обмена и через Хранилище настроек. Демо реальной работы 2-х вариантов, с расчетом производительности и потерь данных. + Бонус (Тестовая обработка с Демо-версией компоненты Структуры Обмена со всеми примерами работы с Фоном через Обычное приложение и Управляемые формы (Тонкий и Толстый клиент). НОВОЕ: 1) Управление фоновым процессом в версии 1С:8.1 с помощью Структуры обмена через интерфейс IDispatch (COMОбъект). 2) Управление фоновым заданием (эмуляция фона через автозапуск 2-го сеанса в режиме OLE-Auto) в версии 1С:8.0 также через IDispatch.

1 стартмани

+6

06.04.2023 3753 2 ksuman 13

6

Ускорение многоразового обращения к серверной процедуре/функции с помощью многопоточного вызова фоновых заданий

HighLoad оптимизация Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Много раз приходилось переделывать обработку данных в цикле, на вызов нескольких фоновых заданий. И всегда это были костыли по месту. Решил попробовать систематизировать случай многократного вызова некой процедуры или функции и написать универсальную библиотеку. Очень быстро вспомнил природу костылей, и в итоге все свелось к исследовательской работе. Чем и поделюсь в статье. Код библиотеки и тестов прилагается.

1 стартмани

+6

03.04.2023 2044 Quantum81 5

6

Postgres как предчувствие. Вычисляем процент импортозамещения в режиме Highload от 1С

HighLoad оптимизация Механизмы платформы 1С Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Бесплатно (free)

1С работает с СУБД Postgres более 10 лет, а сейчас это единственный легальный вариант для инсталляций в России. Много ли мы потеряем в производительности по сравнению с MS SQL? Выдержит ли Postgres 15.2 жесткий Highload со стороны 1С? Цель этой статьи - ответить на данные вопросы, с цифрами, которые можно использовать при расчете архитектуры.

+37

23.03.2023 4874 1CUnlimited 9

37

1С и Postgres: первый серьезный опыт борьбы и противостояния, постигаем open source

HighLoad оптимизация Программист Платформа 1С v8.3 Россия Бесплатно (free)

А все начиналось с распространенной для этой связки проблемы закрытия месяца…

+124

27.02.2023 13863 shakun_dg 31

124

Пример многопоточной обработки (БСП)

HighLoad оптимизация БСП (Библиотека стандартных подсистем) Программист Платформа 1С v8.3 1С:Библиотека стандартных подсистем Абонемент ($m)

Обработка-шаблон, на основе которой можно делать свои многопоточные обработки данных для конфигураций на БСП.

+112

13.02.2023 13480 8 echo77 11

112

Delayed durability поможет вашему ORM увеличить производительность на 50% и более, если Вы только будете использовать …

HighLoad оптимизация Системный администратор Программист Платформа 1С v8.3 Бесплатно (free)

ORM (Relational Mapping) используется во многих языках программирования, в том числе и в 1С. Однако реализация высоконагруженных решений, приводит к мысли, что разработчики ORM не учитывали ее влияния на производительность СУБД. Такая ситуация и в 1С, и ORM на Java, и наверняка в других ORM. В предыдущих частях показана глубина проблемы. В этой части предложено решение со стороны СУБД (MS SQL, Oracle, Postgres).

+12

13.02.2023 1889 1CUnlimited 0

12

Концепция ORM как двигатель прогресса – выявит слабое место Вашей СУБД

HighLoad оптимизация Системный администратор Программист Руководитель проекта Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

ORM (Object Relational Mapping) используется во многих языках программирования, в том числе и в 1С. Однако реализация высоконагруженных решений приводит к мысли, что разработчики ORM не учитывали ее влияния на производительность СУБД. Такая ситуация и в 1С и ORM на Java, и наверняка в других ORM. В предыдущей части статьи были изложены результаты теста, в этой статье ответы на самые часто задаваемые вопросы и новый тест.

+2

01.02.2023 2127 1CUnlimited 7

2

Проблема производительности. Как может заблокировать работу в ERP один-единственный документ от 01.01.2099 года?

HighLoad оптимизация Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Бесплатно (free)

Разберем ситуацию, когда создание одного ошибочного документа будущей датой может существенно ухудшить работу пользователей в базе 1С.

+69

24.01.2023 10541 ivanov660 57

69

Избавиться от скана таблицы в плане запроса

HighLoad оптимизация Запросы Программист Платформа 1С v8.3 Запросы Бесплатно (free)

Для запросов, содержащих "LIKE %СтрокаПоиска%". Справедливо для MS SQL и Postgres.

+26

20.12.2022 5169 vasilev2015 32

26

Сколько стоит слово Знач в клиент-серверных вызовах?

Механизмы платформы 1С HighLoad оптимизация Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Небольшое исследование влияния ключевого слова Знач в параметрах функций на производительность клиент-серверных вызовов.

1 стартмани

+21

18.12.2022 2914 user1373370 4

19

Концепция ORM как двигатель прогресса - выдержит ли ее ваша СУБД?

HighLoad оптимизация Системный администратор Программист Платформа 1С v8.3 Бесплатно (free)

ORM (Object-Relational Mapping) используется во многих языках программирования, в том числе и в 1С. Однако реализация высоконагруженных решений приводит к мысли что разработчики ORM не учитывали ее влияния на производительность СУБД. Такая ситуация и в 1С, и ORM на Java, и наверняка в других ORM. Причины приоткрывает данная статья.

+10

16.12.2022 2885 1CUnlimited 11

10

Нагрузочное тестирование в 1С:ERP

HighLoad оптимизация Системный администратор Программист Руководитель проекта Платформа 1С v8.3 1С:ERP Управление предприятием 2 Бесплатно (free)

Для того чтобы еще до внедрения информационной системы убедиться, что целевая система справится с ожидаемой нагрузкой, требуется провести нагрузочное тестирование. О том какие инструменты и методики помогут организовать подобный проект при внедрении 1С:ERP, и о том, какие неожиданные факторы могут влиять на производительность системы я и хотел бы рассказать в данной статье.

+39

02.11.2022 7933 Tavalik 24

39

Индикация многопоточной серверной операции без доработки конфигурации с помощью Сервера взаимодействия

HighLoad оптимизация Программист Платформа 1С v8.3 1C:Бухгалтерия Россия Абонемент ($m)

Используя внешнюю обработку (через меню Файл-Открыть), осуществляем длительную серверную операцию с отображением состояния по каждому потоку и суммарно.

5 стартмани

+3

01.11.2022 2623 4 Olga_siberia 0

3

Битва параллелизмов: MS SQL vs PostgreSQL

HighLoad оптимизация Системный администратор Программист Бесплатно (free)

Чем отличаются подходы в построении плана запросов для PostgreSQL и MS SQL? Какие запросы хорошо параллелятся, а какие нет? Кто в итоге круче в параллелизме – MS SQL или PostgreSQL? Вадим Фоминых протестировал обе СУБД на эффективность параллельной работы и рассказал о своих выводах в докладе на конференции Infostart Event 2021 Post-Apocalypse.

+31

31.10.2022 10933 Shmell 5

31

Тормоза при записи номенклатуры в ERP 2.5.8.287

HighLoad оптимизация Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 Россия Бесплатно (free)

Обратил внимание на медленную работу при пакетной записи элементов номенклатуры.

+5

25.10.2022 1653 m191 8

5