Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch

19.06.19

База данных - Журнал регистрации

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch:
.cf 12,93Kb
37 4 200 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Позволяет загрузить в единое хранилище данных разнородную информацию в JSON-формате, а затем производить выборки детальной и агрегированной информации.

Это не реляционная база данных. Взаимосвязей между разнородными объектами нет, поэтому сфера применений для учетных задач ограничена, но многие технологические задачи можно решать весьма эффективно.

Для выгрузки журнала регистрации потребуется сервер с установленным ElasticSearch для загрузки в него данных и Kibana, которая служит для визуализации данных, поиска информации и построения готовых дашбордов и виджетов.

Описание и инструкции по установке ElasticSearch, вопросы безопасности/разграничения доступа к ElasticSearch/Kibana, настройка сертификатов, кластеризация и масштабирование ElasticSearch не рассматриваются т.к. это не входило в изначальную задачу.

Для внедрения подсистемы в свою конфигурацию необходимо запустить сравнение объединение с конфигураций в файле и выбрать в подменю "Действия" - "Отметить по подсистемам файла". После объединения необходимо зайти в режим 1С Предприятия и заполнить константы для ElasticSearch (пример есть на изображениях).

Быстрый старт:

 1)     Подключиться к инструменту – Kibana по ссылке «адрес сервера:5601»

 

 2)     Перейти на вкладку Discover и выбрать индекс индекс необходимой базы

 

 3)     В правом верхнем углу выбрать предлагаемый период:

Либо выбрать конкретный промежуток времени:

              

4)     На графике можно увидеть динамику количества записей в данный период времени:

 

 5)     Для поиска конкретной информации можно воспользоваться фильтрами по полям:

 6)     Пример поиска по событий по документам:

 

Вступайте в нашу телеграмм-группу Инфостарт

Журнал регистрации ElasticSearch Kibana администрирование мониторинг быстрый поиск эластик логи elastic

См. также

Мастера заполнения Поиск данных Инструментарий разработчика Подбор и обработка объектов 1С 8.3 1С 8.5 Платные (руб)

Infostart MagicInput улучшает подбор в полях ввода 1С: ищет по любой части названия и по нескольким ключевым фрагментам, распознаёт ввод в другой раскладке и показывает иконки/статусы объектов прямо в списке. Поддерживает вставку навигационной ссылки/представления документа для автоподбора; для разработчиков доступны поиск по GUID и полному имени предопределённого. Работает в управляемых формах и подключается в большинстве конфигураций 1С 8.3/8.5.

5000 руб.

25.02.2026    2594    10    1    

14

Поиск данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 3.0 1С:Зарплата и Управление Персоналом 3.x 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! (Обновление от 27.11.2023, версия 6.12)

13420 руб.

14.05.2012    168018    358    253    

589

Файловый обмен (TXT, XML, DBF), FTP Поиск данных Инструменты администратора БД Корректировка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная обработка позволит Вам легко и просто, а главное - быстро, выполнить сравнение данных между ЛЮБЫМИ базами (и РИБ, по правилам конвертаций) по контрольным суммам выбранных объектов баз 1С, работающих на платформах 8.3 и выше. Удобный и понятный интерфейс в виде "мастера". Высокая скорость сравнения достигается за счет специального алгоритма расчета контрольной суммы объекта/записи и сравнения по данным суммам объектов 2х баз через файл. Имеется возможность выбора реквизитов, по которым система будет сравнивать объекты. Сравнение количества записей в движениях документов, возможность сравнивать данные по правилам конвертации и не только! Выбор объектов конфигурации для КАЖДОГО узла в отдельности с индивидуальным отбором для каждого объекта конфигурации, работа с FTP, сохранение или загрузка настроек, сохранение или загрузка результата сравнения, регистрация на обмен объекта и его движений. (Обновление от 12.11.2024, версия 2.2-2.5)

24400 руб.

27.10.2017    45009    31    13    

49

Журнал регистрации Системный администратор 1С:Предприятие 8 1C:Бухгалтерия Платные (руб)

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

6100 руб.

28.11.2018    24051    23    9    

49

Журнал регистрации Системный администратор 1С:Предприятие 8 1C:Бухгалтерия Россия Платные (руб)

История изменений реквизитов и табличных частей справочников, документов, независимых регистров сведений, возможность отката изменения, восстановление удаленных объектов, сбор статистики использования базы 1С. Альтернативный журнал регистрации.

23180 руб.

22.02.2018    38451    62    56    

58

Информационная безопасность Поиск данных ServiceDesk, HelpDesk Журналы и реестры данных 1С 8.3 Россия Бухгалтерский учет Бюджетный учет Налоговый учет Управленческий учет Платные (руб)

Полный контроль над изменениями в 1С без нагрузки на вашу базу. Мгновенный доступ к истории изменений, удобное сравнение и откат данных в один клик. Простой отчет с визуальным отображением изменений Откат на любую версию объекта в два клика История изменения данных хранится во внешней базе

180000 руб.

05.09.2025    4421    1    1    

3

Поиск данных 1С:Предприятие 8 1С:Библиотека стандартных подсистем Абонемент ($m)

Расширение добавляет возможность в 1С в любых полях и отборах выбирать значения не только Код, Наименование или Номер, но и Уникальный идентификатор, Навигационную ссылку, Объект не найден, Представление документа.

2 стартмани

18.08.2025    7463    37    sapervodichka    14    

77
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. pbabincev 135 15.05.19 14:49 Сейчас в теме
2. GreenDragon 15.05.19 15:00 Сейчас в теме
С какой версией elastic общается подсистема?
4. Nikolo17 56 16.05.19 07:40 Сейчас в теме
(2) Должна работать начиная с 6 версии, на текущий момент обновлялись до версии 6.7.
6. GreenDragon 16.05.19 07:46 Сейчас в теме
(4) Ковыряюсь с 7. Много различий с 6?
Предыдущая версия подобной подсистемы работала с 5 и отличий был вагон
7. Nikolo17 56 16.05.19 07:58 Сейчас в теме
(6) Да API 6 версии сильно отличается от 5, тоже сначала с 5 работали. На 7 версию в планах переходить, по описанию существенных изменений в API не увидел.
8. GreenDragon 16.05.19 08:01 Сейчас в теме
(7) Спасибо за информацию. В таком случае после сегодняшнего хакатона будем качать и пробовать.
3. metmetmet 82 15.05.19 19:47 Сейчас в теме
В статье не описано, но обычно интересует следующее:
Как реализована выгрузка: один раз выгружаются данные и анализируются, или периодически выгружаются только новые данные или ещё как-то?
Есть зависимость от формата ЖР?
5. Nikolo17 56 16.05.19 07:44 Сейчас в теме
(3) Выгружаются данные за промежуток времени один раз, далее подгружаются актуальные данные с настаиваемой периодичностью. От формата жр зависимости нет.
9. user612295_death4321 19.05.19 19:07 Сейчас в теме
Не анализировали случайно сколько места будет потреблять 1 день журнала регистрации? Например если сравнить занимаемый объем за день ldf / ldg файла и залитый этот же день в Elasticsearch ?

Ищу какое нибудь решение которое позволит загружать большие журналы регистрации (цифры идут около 25 ГБ в сутки). Когда то рассматривал варианты Elasticsearch или ClickHouse от яндекса, но дальше рассматривания дело не дошло)

Или может кто-то может порекдомендовать решение кто и как складирует монструозные объемы логов ?
10. Nikolo17 56 20.05.19 12:42 Сейчас в теме
(9) У нас выбор был между InfluxDB и Elastic. Остановились на втором варианте, поскольку был какой то опыт работы с ним. Размеры прогнозировать сложно, все зависит от количества записей в журнале, и размеров строк в записях. Если отталкиваться от размеров журнала в месяц то в Elastic он занимает в 2-3 раза больше места. Но опять же есть настройки самого Elastic которые могут сокращать или увеличивать этот размер, зависит от того что важнее нагрузка на железо или занимаемое место.
11. Semyonat 26 21.05.19 11:27 Сейчас в теме
Подскажите, а как вы решаете вопрос с идентификацией объектов. Для примера какой пользователь проводил тот или иной документ? Может у вас есть отдельные таблички с идентификаторами, и вы их соединяете или как некоторые выгружаю в индекс сразу с понятным названием?
12. Nikolo17 56 22.05.19 08:31 Сейчас в теме
(11) По умолчанию выгружается представление объектов (для документа по умолчанию дата и номер) и вполне можно по нему найти все операции. Имя пользователя и его идентификатор так же выгружаются по умолчанию, если необходимо то есть возможность добавлять поля на стороне 1с при выгрузке в elastic (программно), например поля конкретных объектов. При загрузке elastic автоматически добавляет необходимые поля в структуру, так же есть возможность самому редактировать структуру полей через rest api, но это в данной подсистеме не реализовано.
13. bugagashenka 205 26.03.21 18:54 Сейчас в теме
Как именно выгружается ЖР? Самой платформой или парсятся файлы на диске?
14. Nikolo17 56 09.06.21 08:17 Сейчас в теме
(13) самой платформой
Для отправки сообщения требуется регистрация/авторизация