Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch

19.06.19

База данных - Журнал регистрации

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

Скачать исходный код

Наименование Файл Версия Размер
Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch:
.cf 12,93Kb
35
.cf 12,93Kb 35 Скачать

Позволяет загрузить в единое хранилище данных разнородную информацию в JSON-формате, а затем производить выборки детальной и агрегированной информации.

Это не реляционная база данных. Взаимосвязей между разнородными объектами нет, поэтому сфера применений для учетных задач ограничена, но многие технологические задачи можно решать весьма эффективно.

Для выгрузки журнала регистрации потребуется сервер с установленным ElasticSearch для загрузки в него данных и Kibana, которая служит для визуализации данных, поиска информации и построения готовых дашбордов и виджетов.

Описание и инструкции по установке ElasticSearch, вопросы безопасности/разграничения доступа к ElasticSearch/Kibana, настройка сертификатов, кластеризация и масштабирование ElasticSearch не рассматриваются т.к. это не входило в изначальную задачу.

Для внедрения подсистемы в свою конфигурацию необходимо запустить сравнение объединение с конфигураций в файле и выбрать в подменю "Действия" - "Отметить по подсистемам файла". После объединения необходимо зайти в режим 1С Предприятия и заполнить константы для ElasticSearch (пример есть на изображениях).

Быстрый старт:

 1)     Подключиться к инструменту – Kibana по ссылке «адрес сервера:5601»

 

 2)     Перейти на вкладку Discover и выбрать индекс индекс необходимой базы

 

 3)     В правом верхнем углу выбрать предлагаемый период:

Либо выбрать конкретный промежуток времени:

              

4)     На графике можно увидеть динамику количества записей в данный период времени:

 

 5)     Для поиска конкретной информации можно воспользоваться фильтрами по полям:

 6)     Пример поиска по событий по документам:

 

Журнал регистрации ElasticSearch Kibana администрирование мониторинг быстрый поиск эластик логи elastic

См. также

Быстрый поиск дублей с четким/нечетким поиском по любому сочетанию реквизитов/реквизитов таб. частей с отбором и быстрой заменой значений в ЛЮБЫХ базах 8.1-8.3 (УТ 10.3, БП 2, ЗУП 2.5, КА 1.1, УТ 11, БП 3, УНФ 1.6/3.0, КА 2, ЗУП 3 и т.д.)

Поиск данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! (Обновление от 27.11.2023, версия 6.12)

10800 руб.

14.05.2012    156642    328    252    

560

LogManager - Внешний журнал регистрации в 1С SQL

Журнал регистрации Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Журнал регистрации платформы 1С в SQL. Общая база хранения всех журналов. Через com-подключение регламентным заданием периодически догружает журналы регистраций из рабочих баз. Предоставляет настраиваемый доступ к журналам по правам подразделений. Формирует отчеты по пользователям и данным.

12000 руб.

23.05.2014    55765    52    16    

47

Версионирование объектов для Альфа-авто, ред 4 и 5.

Оптовая торговля Розничная торговля Журнал регистрации Системный администратор Пользователь Руководитель проекта Платформа 1С v8.3 Конфигурации 1cv8 Автомобили, автосервисы Управленческий учет Платные (руб)

Подсистема версионирования объектов для конфигураций Рарус: Альфа-авто на базе типовой подсистемы от 1С. Позволяет хранить историю изменений документов и справочников, кто, что, когда и какие данные изменял, а так же вернуться к предыдущим версиям объекта.

4800 руб.

03.09.2016    42444    33    24    

38

Мониторинг баз и серверов 1С

Журнал регистрации Мониторинг Системный администратор Программист Бизнес-аналитик Руководитель проекта Платформа 1С v8.3 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

9000 руб.

28.08.2019    31455    15    21    

68

LogiCH - хранение и анализ журнала регистрации в сверхбыстрой СУБД ClickHouse

Журнал регистрации Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

5000 руб.

28.11.2018    19788    13    6    

37

Кто такая Мантикора?

Поиск данных Системный администратор Программист Платформа 1С v8.3 Россия Абонемент ($m)

Статья об опыте развертывания и интеграции с базой данных Manticore Search для быстрого полнотекстового поиска.

1 стартмани

30.11.2023    3464    andreysidor4uk    16    

47

Магия преобразований: ЖР, ТЖ, RAS/RAC, логи - универсальное решение Vector

Мониторинг Журнал регистрации Технологический журнал Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023    3494    7    AlexSTAL    0    

46

Переносим все логи в журнал регистрации – реально ли и зачем?

Журнал регистрации Системный администратор Программист Бесплатно (free)

Логирование позволяет иметь четкую картину о работе информационной системы: мониторить ошибки, отслеживать состояние обменов, детально изучать отладочную информацию в нагруженной системе, не включая отладку. О том, какие пределы производительности можно достичь с помощью журнала регистрации 1С и как на нем организовать единое решение по логированию, пойдет речь в статье.

25.07.2023    3797    skovpin_sa    9    

31
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. pbabincev 132 15.05.19 14:49 Сейчас в теме
2. GreenDragon 15.05.19 15:00 Сейчас в теме
С какой версией elastic общается подсистема?
4. Nikolo17 54 16.05.19 07:40 Сейчас в теме
(2) Должна работать начиная с 6 версии, на текущий момент обновлялись до версии 6.7.
6. GreenDragon 16.05.19 07:46 Сейчас в теме
(4) Ковыряюсь с 7. Много различий с 6?
Предыдущая версия подобной подсистемы работала с 5 и отличий был вагон
7. Nikolo17 54 16.05.19 07:58 Сейчас в теме
(6) Да API 6 версии сильно отличается от 5, тоже сначала с 5 работали. На 7 версию в планах переходить, по описанию существенных изменений в API не увидел.
8. GreenDragon 16.05.19 08:01 Сейчас в теме
(7) Спасибо за информацию. В таком случае после сегодняшнего хакатона будем качать и пробовать.
3. metmetmet 82 15.05.19 19:47 Сейчас в теме
В статье не описано, но обычно интересует следующее:
Как реализована выгрузка: один раз выгружаются данные и анализируются, или периодически выгружаются только новые данные или ещё как-то?
Есть зависимость от формата ЖР?
5. Nikolo17 54 16.05.19 07:44 Сейчас в теме
(3) Выгружаются данные за промежуток времени один раз, далее подгружаются актуальные данные с настаиваемой периодичностью. От формата жр зависимости нет.
9. user612295_death4321 19.05.19 19:07 Сейчас в теме
Не анализировали случайно сколько места будет потреблять 1 день журнала регистрации? Например если сравнить занимаемый объем за день ldf / ldg файла и залитый этот же день в Elasticsearch ?

Ищу какое нибудь решение которое позволит загружать большие журналы регистрации (цифры идут около 25 ГБ в сутки). Когда то рассматривал варианты Elasticsearch или ClickHouse от яндекса, но дальше рассматривания дело не дошло)

Или может кто-то может порекдомендовать решение кто и как складирует монструозные объемы логов ?
10. Nikolo17 54 20.05.19 12:42 Сейчас в теме
(9) У нас выбор был между InfluxDB и Elastic. Остановились на втором варианте, поскольку был какой то опыт работы с ним. Размеры прогнозировать сложно, все зависит от количества записей в журнале, и размеров строк в записях. Если отталкиваться от размеров журнала в месяц то в Elastic он занимает в 2-3 раза больше места. Но опять же есть настройки самого Elastic которые могут сокращать или увеличивать этот размер, зависит от того что важнее нагрузка на железо или занимаемое место.
11. Semyonat 21 21.05.19 11:27 Сейчас в теме
Подскажите, а как вы решаете вопрос с идентификацией объектов. Для примера какой пользователь проводил тот или иной документ? Может у вас есть отдельные таблички с идентификаторами, и вы их соединяете или как некоторые выгружаю в индекс сразу с понятным названием?
12. Nikolo17 54 22.05.19 08:31 Сейчас в теме
(11) По умолчанию выгружается представление объектов (для документа по умолчанию дата и номер) и вполне можно по нему найти все операции. Имя пользователя и его идентификатор так же выгружаются по умолчанию, если необходимо то есть возможность добавлять поля на стороне 1с при выгрузке в elastic (программно), например поля конкретных объектов. При загрузке elastic автоматически добавляет необходимые поля в структуру, так же есть возможность самому редактировать структуру полей через rest api, но это в данной подсистеме не реализовано.
13. buganov 201 26.03.21 18:54 Сейчас в теме
Как именно выгружается ЖР? Самой платформой или парсятся файлы на диске?
14. Nikolo17 54 09.06.21 08:17 Сейчас в теме
Оставьте свое сообщение