Сложнейшая загрузка журнала регистрации в ElasticSearch (или делаем настоящий ETL)

Публикация № 1128327

Администрирование - Администрирование данных 1С - Журнал регистрации

Журнал ELK загрузка данных ElasticSearch

Году в 2017ом возникло (наверное странное на тот момент) желание перегрузить журнал регистраций 1С в ELK. Чтобы журналы место на диске не съедали, 1С программисты забыв поставить фильтр сервер не подвешивали, все журналы лежали в одном месте да и можно было безопасно туда ответственных пользователей пускать, чтобы сами смотрели кто какой документ поправил.На предложение написать выгрузку сразу из 1С программисты благополучно забили ("ой на это минимум месяц", "у нас срочные бизнес-фичи" и т.д. и т.п.). Зато попалась статья от Aleksey.Bochkov (https://infostart.ru/public/182820/). Ну и решили мы все это запилить без 1С программистов. Во что влезаем я тогда еще не понимал. А вылилось почти в год допилок (хорошо хоть в фоновом режиме) в цельный ETL с использованием C#, T-SQL и прочими делами.

[DECLAIMER]

  1. Я в курсе решения от SilverBullet и @lustin. Но момент когда оно было в свободном доступе я упустил, а денег на покупку чего-то, что не нужно бизнесу непосредственно сейчас никто не даст :-(
  2. Уже сильно позже я прочитал статью @milut "Простейшее использование Elasticsearch для работы с журналом регистрации". И, сравнивая с объемом проделанной работы, я совсем не уверен, что надо было городить такого монстра. Хотя тут можно подогнать базу про "независимость от  работы сервера 1С", "меньшую нагрузку на кластер" и "контролируемую загрузку журналов для большого количества баз из одного места"
  3. Зато если бы у меня была такая штука на прошлом месте работы (немецкая контора, которую аудировал deloitte & touche) - я бы точно представил ее аудиторам как "система хранения аудиторского следа независимая от разработчиков и администраторов 1С". Меня там очень гнобили за отсутствие "аудиторского следа".

Можно рассматривать данную статью как один из вариантов решения или пример хождения по граблям, которое лучше избегать ;-) Итак.

Для начала поставили EventLogLoader Aleksey.Bochkov, настроили загрузку журналов в MS SQL Server и последующую выгрузку в ELK и решили, что всё. Оказалось не всё. Программисты 1С посмотрели и заявили, что работать в этом не будут, т.к. записи журнала идут вперемешку, а они привыкли и готовы работать только со "стандартным журналом". Стало понятно, что загруженные данные надо трансформировать. Кроме тогоEventLogLoader временами подвисал и всё вставало, а чистку загруженных логов все равно надо делать руками

Решили улучшать - собрали группу из трех человек - я, как идеолог, @klimov_andrey как спец по ELK и программист C# и T-SQL Роман и погнали.

Роман переписал EventLogLoader  на C# - стало работать без зависаний плюс добавилось удаление загруженных журналов (только для файловых журналов и параллельно я под это дело написал переключатель форматов журналов на Python).

После нескольких итераций, Роман успешно нарисовал трансформацию данных на T-SQL, которая брала данные из таблиц EventLogLoader и преобразовывала все это в формат, который уже был похож на привычный 1С журнал. При трансформации записи накапливались в буфере, чтобы потом собирать несколько штук в единую запись журнала. В процессе очень помогла статья "Формат файлов журнала регистрации 1С 8.1/8.2 - ELF/LOG/LGF/LGP"

Финальным аккордом загрузили все журналы для 35 баз с 2 серверов с января 2018 го года. Теперь оно все в ELK и доступно для поиска. В общем получилась вот такая красота:

Итого как это выглядит с технической точки зрения.

  • Все журналы переключены в файловый режим
  • Переписанный на C# EventLoader запускается в командной строке (сделать как сервис руки не дошли) и мониторит папку с журналами (для каждой базы стартует свой поток).
  • Как только 1С сервер "отпускает" файл, EventLoader забирает его, обрабатывает и выгружает во временные таблицы SQL Server (структура таблиц как у оригинального EventLoader) и удаляет.
  • На SQL Server крутится регламентное задание, которое мониторит временные таблицы и собирает записи в "человеческий" вид, ориентируясь на запись о начале (_$Transaction$_.Begin) и о том что транзакция закончилась - зафиксирована (_$Transaction$_.Commit) или отменена (_$Transaction$_.Rollback)
  • "человеческие" записи перегружаются в таблицу event2
  • В таблицу event2 за записями приходит logtash и забирает их в ELK
  • На Kibana cделаy простенький dashboard,который все это красиво визуализирует.

В приложенном архиве:

Солюшен EventLogLoader, который включает всю разработку Aleksey.Bochkov.  на VB.Net плюс проект EventLogApp на C# (так же отдельно выложен на github)

database.sql - скрипт создания БД для MS SQL

Для работы трансформации надо создать Job urgent c следующим шагом:

declare @counter int
set @counter = 1
while @counter <= 5
begin
	exec up_AddEvents2rowsDirect 100
	set @counter = @counter + 1
end

Скачать файлы

Наименование Файл Версия Размер
Исходники загрузчика и скрипты создания БД

.7z 268,89Kb
27.09.19
7
.7z 268,89Kb 7 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. YPermitin 10063 27.09.19 17:02 Сейчас в теме
(0) плюс!

Читать было очень интересно. Как будто еще раз свою задачу пережил :)

А на GitHub не публиковали проект для совместной с сообществом разработки?
3. DonAlPatino 149 27.09.19 20:55 Сейчас в теме
(1) С удовольствием если расскажете как это правильно делать. Особенно учитывая что EventLogLoader по чесноку взят у Aleksey.Bochkov и просто переписан на C# и немного допилен. Я честно не знаю как корректно опубликовать финальный проект, который содержит большую часть чужого кода.
user983047; YPermitin; +2 Ответить
9. Evil Beaver 6895 30.09.19 15:37 Сейчас в теме
(3)
Я честно не знаю как корректно опубликовать финальный проект, который содержит большую часть чужого кода

Сделать пулреквест Алексею Бочкову на гитхаб
10. DonAlPatino 149 30.09.19 15:57 Сейчас в теме
(9) Тогда проект уедет к Алексею и будет зависеть от него и его свободного времени. А у него я смотрю Latest commit 2f830f1 on 16 Apr 2017
Лучше все-таки наверное честный fork.
11. Evil Beaver 6895 30.09.19 21:03 Сейчас в теме
(10) не уедет. Ваш форк так и останется у вас. А вливаться Алексею от вас или нет - пусть решит сам. Форк в любом случае можете развивать как угодно, ПР, на мой взгляд, это просто спасибка такая, респект автору.
13. DonAlPatino 149 01.10.19 09:41 Сейчас в теме
(11) Т.е. я могу создать отдельную репу как fork (вопрос у меня как ее корректно оформить со ссылкой на оригинальную репу) и отдельно отправить ПР Алексею? Может какая статья для чайников есть как это правильно оформлять.
21. Evil Beaver 6895 01.10.19 15:51 Сейчас в теме
(13) в гитхабе нажимаете у Алексея кнопку Fork и в вашем аккаунте создастся новая репа с копией оригинала и со ссылкой на оригинал. Делаете в ней что хотите, а часть изменений можете отправить назад в виде пулреквеста. Стандартная схема, посмотрите уроки работы с гитхабом в Сети. При этом ваша копия - только ваша и можете делать с ней что хотите.
22. DonAlPatino 149 02.10.19 11:25 Сейчас в теме
(21) Рома сделал. Бросьте, пожалуйста, взгляд. Если все нормально я еще в статью внесу.
Evil Beaver; +1 Ответить
23. Evil Beaver 6895 02.10.19 11:49 Сейчас в теме
(22) Ну да, так и делается форк, все ок.
2. user1287012 27.09.19 20:47 Сейчас в теме
Почему логстеш только забирает? Он же всю вашу трансформацию делает влёт и сразу складывает в эластик. Sql Server в этой цепочке вообще не нужен.
mnemchinov; +1 Ответить
4. DonAlPatino 149 27.09.19 21:00 Сейчас в теме
(2) У нас не вышло корректно разобраться с флагами начала - окончания транзакций. Плюс были ситуации когда в логе запись об окончании транзакции шла раньше записи о ее начале. Реально SQL содержит буфер на миллион записей с использованием которого обрабатываются такие ситуации. Если есть подробности и код как с этим бороться используя чистый logtash, то делитесь :-). Мы на глубокое знание ELK не претендуем :-) Любители :-)
YPermitin; +1 Ответить
5. user1287012 27.09.19 21:32 Сейчас в теме
Я тоже любитель. Но зная возможности логстеша, для него это рядовая задача. Работа с логами - основное для чего его используют во всем мире. Главное правильно настроить конвейеры приема и модификации. Ваше решение кажется слишком переусложненным.
6. DonAlPatino 149 28.09.19 14:49 Сейчас в теме
(5) Осталось дождаться вашей статьи с описанием как это сделать. Тут будет много благодарных.
mnemchinov; YPermitin; baton_pk; +3 Ответить
7. Dach 300 30.09.19 11:20 Сейчас в теме
А мы используем вот это решение

https://infostart.ru/public/1111813/

и очень довольны
8. DonAlPatino 149 30.09.19 14:33 Сейчас в теме
(7) Возьму на заметку. Навскидку я все-таки предпочел логгирование конкретных баз (у нас очень много всяких архивов) ну и наличие у нас автооосвобождение места на диске тоже радует :-)
12. comol 4385 30.09.19 23:29 Сейчас в теме
И сколько раз твердили миру... Не надо ЖР в эластик грузить. Это дорого! Кто то "очень продвинутый" поигрался и понеслась....
14. DonAlPatino 149 01.10.19 09:42 Сейчас в теме
(12) Можно подробнее почему дорого?
15. comol 4385 01.10.19 10:40 Сейчас в теме
(14) Размеры посчитайте. В нормальном хранилище логов их размер должен быть в 10 раз меньше чем основной ЖР как минимум. Правильнее в 100. Не создавать нагрузку на процессор и диски. Ну не для этого эластик. Не нужен вам полнотекст по логам. А если нужен полнотекст по логам - у вас проблема или в архитектуре или бизнес процессах.
16. DonAlPatino 149 01.10.19 11:09 Сейчас в теме
(15) Ну не знаю. 2 сервера, 25 баз. В Elastic логов на 24 гига с июля 2018 года. Стандартно я чищу логи раз в пол-года вычищая по 50-60 гигов на сервере. К сожалению размер журналов 1С перед загрузкой я не посмотрел, но там явно сильно больше должно быть.
PS В "ёлку" будет пускать бизнес-юзеров. Они без полнотекстового поиска работать просто не умеют.
17. comol 4385 01.10.19 11:15 Сейчас в теме
(16) в вашем миникейсе вообще штатного ЖР хватило бы. Эластик расжимает данные а не сжимает. Почитайте описания движка. Не будет меньше. Для пользователей надо делать интерфейс истории а не "пускать в ёлку" или ещё куда
18. DonAlPatino 149 01.10.19 12:02 Сейчас в теме
(17) Хм... Вам конечно виднее, но давать права на журнал в 1С бизнесам (когда даже программеры ухитряются подвесить сервак) я не хочу. И следить за местом на дисках где живут журналы тоже. Ну и на тендерах, в которых мы участвуем, с нас всегда требуют наличие "централизованной системы сбора и управления логами".
19. comol 4385 01.10.19 12:39 Сейчас в теме
(18) и вы им продаёте эластик? :))))))). Централизованная система сбора логов обычно о другом.

Ну для маленькой базы не нужен он. Если вы за год только 50гб набираете....

Бизнесу вообще ЖР давать это зло. Есть менеджер инфобеза которому оно нужно.
20. DonAlPatino 149 01.10.19 12:46 Сейчас в теме
(19) Простите, а что им продать? 25 журналов 1С для 25 баз? comol, а давайте вместо тонкого троллинга вы мне будете предлагать имеющиеся готовые решение? И, ключевой момент, бесплатные. Я в целом на infostart и пишу, чтобы услышать альтернативные предложения.
25. comol 4385 03.10.19 14:04 Сейчас в теме
(20) На Инфостарте есть. ClickHouse или любая другая столбцовая СУБД. Перед вами не стоит задачи поисковых запросов, а вполне себе запросов аналитических. Это не троллинг, это я Вас пытался навести на решение к которому Вы можете прийти самостоятельно.
Троллинг только в том что "повторять за другими их ошибки это плохо" :).
27. DonAlPatino 149 03.10.19 14:59 Сейчас в теме
(25) т,е. мне надо поднять и изучить еще одну СУБД (кроме Эластика), сделать туда выгрузку (причем очевидно с тем же ETL - вряд ли оно из коробки умеет склеивать записи 1сного журнала), нарисовать интерфейс для работы (Kibana я знаю, Clickhousе нет и можно ли получить данные без отдельного интерфейса тоже не знаю) и это будет считаться не зря потраченным временем? И это все не уже даже толстый троллинг?
Вот тут вот @lustin призывал использовать "ёлку", а так же пенял, что никто не хотел учить Go, чтобы сделать красивую выгрузку журнала 1С в ELK с использование filebeat. Это решение он теперь продаёт. @comol теперь учит меня, что ELK - это "плохо и ошибка". И куда крестьянину податься?
28. comol 4385 03.10.19 15:22 Сейчас в теме
(27) Я не призываю переделывать конечно... в Вашем случае даже трудозатраты на Эластик уже наверное лишние.

@lustin призывал использовать "ёлку"

Не умоляя достоинств всё-таки своя голова на плечах должна тоже быть.
Вы же в магазине не покупаете всё что вам продают...

А вот тут Флант (знаете же кто такие) https://habr.com/ru/company/flant/blog/341386/ "не продают" систему хранения логов в кликхаус.
А вот тут https://habr.com/ru/company/vk/blog/430168/ это делают вконтакте...

Но я не призываю "верить мне или кому бы то ни было". Выгрузите и туда и туда по пару десятков миллионов записей и проверьте объем и скорость.
ETL там будет один и тот же ClickHouse поддерживает вполне себе нормальный SQL (правда записи надо добавлять не им а порциями)

ClickHouse поддерживает Grafana https://grafana.com/grafana/plugins/vertamedia-clickhouse-datasource/installation т.е. не нужен вам Kibana. Да и для ELK я бы тоже графану использовал.
29. DonAlPatino 149 03.10.19 16:28 Сейчас в теме
(28) Почитал. При моих "маленьких" объемах почему бы просто не оставить все в таблицах MS SQL?
30. comol 4385 03.10.19 16:37 Сейчас в теме
(29) Всё верно. MS SQL просто будет пытаться там транзакции лепить где они не нужны... но вцелом если освоите BULK INSERT норм. решение
31. DonAlPatino 149 03.10.19 16:44 Сейчас в теме
(30) Если вы все-таки прочитали мою статью не по диагонали, то там уже все есть. Только "ёлку" надо оторвать за "ненадобностью" (по вашему мнению). И интерфейс с поиском написать. Ну или всех дружно отправить в консоль SQL и запросами его, запросами.
В общем и целом не убедили от слова вообще.
32. comol 4385 03.10.19 17:08 Сейчас в теме
(31) Сорри. По диагонали. Интерфейс с поиском я считаю надо писать для любой СУБД. И встраивать в 1С. А grafana прекрасно работает и с ms sql. Что вы к kibana приаезались. Оно убогое.
24. Efimoff 122 02.10.19 16:07 Сейчас в теме
есть отчет Журнал регистрации на СКД. И пользователям можно дать, и отборы есть,
и работает быстро
26. comol 4385 03.10.19 14:04 Сейчас в теме
(24) Для объемов выше вполне подойдёт
33. alexlx 78 05.02.20 14:22 Сейчас в теме
Случайно никто не делал такой парсер на Java?
Оставьте свое сообщение

См. также

История формирования отчётов. (Используем новые возможности расширений в 8.3.11) Промо

Журнал регистрации v8::УФ v8::СКД УНФ ДО БП3.0 УТ11 ЗУП3.x Абонемент ($m)

Подсистема ведёт историю формирования отчётов и позволяет быстро подгрузить используемые настройки в отчёт.

1 стартмани

28.11.2017    15233    20    SeiOkami    1    

Активность пользователей на основании журнала регистрации

Журнал регистрации v8 v8::УФ 1cv8.cf Абонемент ($m)

Активность пользователей информационной базы за период в разрезе пользователей, видов документов, самих документов и количества строк в них. Отчет выводит данные о созданных документах за период и количестве строк в них.

1 стартмани

22.11.2020    511    3    chagbig    2    

История данных (Версионирование данных). Обычные и управляемые формы. Механизм платформы 1С

Журнал регистрации Структура метаданных Расширения v8 v8::УФ 1cv8.cf Абонемент ($m)

История данных - специальный механизм платформы 1С, который позволяет хранить в базе данных данные объектов конфигурации.

1 стартмани

30.09.2020    1602    10    yuryshestakov    0    

История изменения реквизитов для любых конфигураций

Администрирование данных 1С Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Просмотр истории изменения документов и справочников одним кликом. Дополнение к любой конфигурации на платформе 1С 8x. Позволяет отслеживать историю изменения реквизитов справочников и документов, в том числе и их табличных частей. Для управляемых и не управляемых форм.

5 стартмани

14.08.2020    1689    6    alvabul    1    

Включение и выключение регистрации отказа в доступе если "У пользователя не достаточно прав над операцией с базой данных". Промо

Информационная безопасность Журнал регистрации v8 1cv8.cf Абонемент ($m)

Включает (выключает) регистрацию событий отказа доступа в журнале регистрации.

1 стартмани

12.01.2011    35905    68    nexts    32    

Список пользователей за период

Журнал регистрации v8 УНФ ДО Абонемент ($m)

Анализируя Журнал регистрации выводит список всех пользователей, которые заходили в текущую базу в выбранном периоде

1 стартмани

12.08.2020    1263    2    Gvozdod    0    

Объединение (слияние) журналов регистрации через СкопироватьЖурналРегистрации

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

В основном это для тех, кто накосячил с журналом, а он оказался нужен.

1 стартмани

20.07.2020    2132    3    tech1c    2    

Экспорт журнала регистрации. Набор инструментов (приложения + исходный код)

Прочие инструменты разработчика Журнал регистрации Абонемент ($m)

Набор инструментов для экспорта данных журнала регистрации во внешние хранилища для Windows и Linux (SQL Server, PostgreSQL, MySQL). Готовые приложения и исходный код.

10 стартмани

26.05.2020    5499    24    YPermitin    0    

Статистика работы пользователя Промо

Журнал регистрации Управленческие Статистика базы данных Учет рабочего времени Учет рабочего времени v8 1cv8.cf Абонемент ($m)

Анализ работы сотрудников - важные составляющие функционирования компании. Безусловно, руководитель может самостоятельно оценивать труд работников, деятельность которых как на ладони, стоит лишь взглянуть на поступление денег на банковский счет фирмы. Сложнее оценить работу сотрудников, которые не имеют прямого влияния на бизнес-результат: это бухгалтеры, кадровые работники, менеджеры.

3 стартмани

17.07.2011    47288    347    imozg    63    

Отправка сообщений о действиях в конфигураторе из журнала регистрации на почту письмом

Журнал регистрации v8 БП3.0 Россия Абонемент ($m)

Бывает, нужно знать, кто, кроме вас, открывал конфигуратор 1С и вносил ли изменения в саму конфигурацию. Представленная внешняя обработка добавляется в регламентные задания и по расписанию отправляет письмо по указанным адресам с отбором журнала регистрации за предыдущие сутки по действиям с конфигуратором за исключением указанных в ней пользователей (и пользователей операционной системы). Тестировалось на платформе 1С:Предприятие 8.3 (8.3.15.1830), в конфигурациях 1С ЗУП Проф 3.1.13.151 и 1С Бухгалтерия КОРП 3.0.75.93.

1 стартмани

13.05.2020    2093    0    Svetlanka_sv    0    

Работа с журналом регистрации. Выходим за границы платформы

Журнал регистрации Бесплатно (free)

Работа с журналом регистрации нестандартными средствами. А также немного про использование платформы .NET в экосистеме 1С.

12.05.2020    6641    YPermitin    27    

Отслеживание ошибок в журнале регистрации

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Как узнать об ошибках из журнала регистрации, когда вы не на рабочем месте? Легко!

1 стартмани

25.04.2020    2822    4    maslyann    0    

Просмотр документов, измененных задним числом Промо

Журнал регистрации v8 УТ10 Россия Абонемент ($m)

Редактирование документов в 1С, проведенных задним числом, бывает необходимо для исправления ошибок в учете, но также является распространенным способом воровства в магазине. Поэтому важно максимально ограничить работу задним числом.

2 стартмани

12.08.2015    28516    58    ПерваяСистема    17    

Журнал регистрации в эластике с использованием службы без использования 1С (.net + elastic)

Журнал регистрации v8 Абонемент ($m)

При большом количестве записей в ЖР типовыми средствами он просматривается тяжело либо при просмотре зависает намертво. Для просмотра ЖР есть различные обработки, которые надо запускать под 1С. В этой публикации предлагается отдельная служба фоново и незаметно работающая на сервере, не требующая использования 1С.

1 стартмани

09.03.2020    2942    7    pashamak    0    

Версионирование (история изменений) объектов в 1С:Предприятие 8

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Версионирование представляет собой опцию, с помощью которой пользователь может легко установить, кто и когда изменил находящийся в базе документ, а также какие именно изменения имели место.  Платформа 1С:Предприятие 8 имеет сходную опцию – журнал регистрации, однако эта опция не позволяет выяснить характер изменений, журнал регистраций позволяет только узнать, когда был изменен документ и какой пользователь внес изменения. В платформе 8.3.11 данный механизм встроен "ИсторияДанных" и позволяет работать с версионированием через встроенные механизмы платформы, что является несомненным плюсом. Данная конфигурация предназначена для более ранних версий.

1 стартмани

15.01.2020    9021    24    ClickUp    0    

Журнал регистрации SQLite, кластер, метаданные

Журнал регистрации v8 Абонемент ($m)

О журнале регистрации, его форматах и парсинге написано много статей. Но я не нашёл информации, что бы кто-то агрегировал журнал регистрации в кластере или архивные части. Суть проблемы - если у вас несколько серверов 1С (кластер), то ЖР в конкретный момент пишется только на один из узлов (как правило, назначенный функциональной опцией). Стоит перезагрузить или выключить этот узел кластера, то ЖР регистрации начинает писаться на доступный. Соответственно при просмотре ЖР записи отображаются только с активного в данный момент узла кластера.

1 стартмани

22.12.2019    4148    2    AlexSTAL    2    

Получение запросом данных журнала регистрации хранящегося в SQLite Промо

Практика программирования Журнал регистрации v8 1cv8.cf Абонемент ($m)

В статье показано как, используя новый функционал платформы, получать данные из журнала регистрации привычным запросом.

1 стартмани

17.09.2014    67108    173    rtnm    38    

Универсальная обработка (УФ) для работы с журналом регистрации в формате SQLite через ODBC

Универсальные обработки Журнал регистрации v8 v8::УФ 1cv8.cf Абонемент ($m)

Обработка позволяет подключиться к журналу регистрации в формате SQLite (.lgd) через ODBC и прочитать его события в привычном виде, как в стандартном журнале.

1 стартмани

27.11.2019    4117    8    Spartacus    5    

Управление историей изменения данных

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Данная обработка позволяет включить версионирование объектов истории изменения данных.

10 стартмани

09.11.2019    6616    4    D_E_S131    3    

Версионирование объеков УТ 10 с возможностью перехода к сохраненной версии

Журнал регистрации Универсальные функции v8 УТ10 Абонемент ($m)

Версионирование объектов УТ 10.3 с возможностью перехода к сохраненной версии. Взята стандартная система версионирования УПП, добавлена возможность восстановления ранее сохраненной версии.

1 стартмани

28.10.2019    7580    32    art.prm    8    

Монитор журнала регистрации Промо

Журнал регистрации Администрирование данных 1С WEB v8 1cv8.cf Абонемент ($m)

Позволяет в режиме реального времени отслеживать активность пользователей, накапливать и оповещать о возникновении ошибок, которые попадают в журнал регистрации

2 стартмани

29.06.2015    41359    106    andy23    49    

Быстрый поиск в журналe регистрации 1С *.lgd

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Обработка для быстрого поиска данных в журнале регистрации 1С SQLite (.lgd). 8.3.15.

1 стартмани

10.10.2019    7223    18    andboss    3    

Удаление журнала регистрации с отбором

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Обработка очистки журнала регистрации с отбором по пользователю и периоду для обычного приложения.

2 стартмани

05.09.2019    5617    15    doctorov_s    5    

Журнали2Ст: сверхбыстрый журнал регистрации 1С

Журнал регистрации v8 Абонемент ($m)

Строит внешний индекс по журналам регистрации любого формата и делает поиск в них фантастически быстрым. Дополнительно ничего не нужно настраивать! Журналы Регистрации остаются на своём месте и не занимают дополнительного, а сервис Журнали2Ста обеспечивает их постоянную индексацию.

1 стартмани

22.08.2019    12503    86    MrWonder    66    

Автоматизация анализа файлов технологического журнала Промо

Журнал регистрации v8 Россия Абонемент ($m)

В арсенале каждого уважающего себя 1С-ника, занимающегося оптимизацией быстродействия, всегда есть ряд собственных методик и инструментов, которые позволяют на основе наблюдений за системой понять, что именно происходит и в каком направлении работать над улучшением. В этой публикации я хотел бы поделится собственным инструментом для разбора файлов технологического журнала 1С и показать несколько примеров получения наиболее ценной информации.

1 стартмани

14.02.2012    31405    35    Aleksey.Bochkov    16    

Отправление событий журнала регистрации в приватный / публичный канал Telegram в виде сообщений и файлов

WEB Журнал регистрации v8 v8::УФ Абонемент ($m)

Данная конфигурация позволяет получать события журнала регистрации в телеграм в виде сообщений и файлов.

1 стартмани

29.07.2019    5527    7    serg-lom89    0    

Простейшее использование Elasticsearch для работы с журналом регистрации

Журнал регистрации v8 1cv8.cf Бесплатно (free)

Простейшая настройка выгрузки журнала регистрации в Elasticsearch для ускорения поиска.

20.06.2019    9095    2    milut    11    

Как отправить ошибки из журнала регистрации на почту? Продолжение. Отдельная база

Журнал регистрации v8 Абонемент ($m)

Добавлена отдельная база: возможность указания списка баз, из которых нужно собирать ошибки, возможность указания почтового профиля для каждой базы.

1 стартмани

27.05.2019    5184    3    wowik    0    

Подсистема: История изменений реквизитов объекта, в том числе табличных частей. 1с 8.2. Промо

Журнал регистрации Практика программирования v8 1cv8.cf Абонемент ($m)

Данная подсистема предназначена для хранения истории изменений реквизитов шапок и табличных частей документов и справочников. подсистема основана на записях изменений реквизитов в регистр сведений? с указанием автора и времени изменения.

1 стартмани

12.11.2012    40686    77    allert73    16    

Запуск встроенного в платформу механизма История данных для ленивых

Журнал регистрации v8 1cv8.cf Абонемент ($m)

В последних версиях платформы 1С появился замечательный механизм Истории данных. Если кратко, механизм позволяет сохранять историю, просматривать, сверять и самое приятное, это восстанавливать любую версию объекта. А самое главное, чтобы это заработало, не нужно продумывать, писать и поддерживать тонны кода, все уже сделано за нас... Возникает вопрос: Как запустить встроенный в платформу механизм Истории данных ничего не кодируя?

1 стартмани

24.05.2019    8006    8    _root    13    

Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch

Журнал регистрации Поиск данных v8 1cv8.cf Абонемент ($m)

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

5 стартмани

15.05.2019    10652    25    Nikolo17    12    

Журнал Регистрации ➜ Телеграмм

Журнал регистрации v8::УФ 1cv8.cf Россия Абонемент ($m)

Подключаемая обработка для рассылки ошибок журнала регистрации в телеграмм.

1 стартмани

14.05.2019    10060    22    🅵🅾️🆇    9    

Журнал регистрации на СКД (полностью программная реализация) Промо

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Очередная вариация на тему отчет по журналу регистрации на СКД

1 стартмани

22.08.2013    24208    69    Жолтокнижниг    6    

История данных [Расширение] УТ11

Журнал регистрации v8 УТ11 Абонемент ($m)

Расширение позволяет хранить (восстанавливать) историю данных прикладных объектов (справочников, документов, движений регистров по документам).

10 стартмани

06.05.2019    5681    3    noprogrammer    6    

Журнал регистрации по навигационной ссылке

Журнал регистрации v8 v8::УФ 1cv8.cf Абонемент ($m)

Обработка получает записи журнала регистрации только по указанной навигационной ссылке (либо просто по ссылке).

1 стартмани

13.03.2019    5664    2    Смешной 1С    0    

Сообщение об ошибках журнала регистрации по электронной почте

Журнал регистрации Email v8 1cv8.cf ЗКГУ3.0 БП3.0 ЗУП3.x Россия Абонемент ($m)

Универсальная внешняя обработка по выгрузки ошибок журнала регистрации по электронной почте. Может работать как отдельно по команде, так и быть загруженной в справочник Дополнительные отчеты и обработки и запускаться по настраиваемому расписанию.

2 стартмани

04.03.2019    4666    6    ig-efrem    2    

Анализ транзакций по журналу регистрации 1С 8 Промо

Журнал регистрации v8 КА1 БП2.0 ЗУП2.5 УТ10 УПП1 УНФ Россия Абонемент ($m)

Из журнала регистрации (ЖР) можно почерпнуть немного информации о производительности. 28.08.2012 Новая версия с графическим представлением

1 стартмани

28.12.2011    25437    32    mrWatson    30    

История версий объектов

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Подсистема для записи и хранения изменений любых объектов ссылочного типа. Формирует хронологию работы пользователей с базой данных. Позволяет произвести быстрый поиск версии объекта БД по указанным параметрам и восстановить данные выбранной версии. Протестирована в конфигурации ЗУП, редакция 2.5 на платформе 1С:Предприятие 8.2 (8.2.19.130). Обычные формы. В поставке выгрузка тестовой демонстрационной базы и файл CF c объектами подсистемы.

1 стартмани

22.02.2019    7027    12    dmitrydemenew    7    

Рассылка событий журнала регистрации

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Отправка событий журнала регистрации на почту с возможностью группировки и фильтрации.

1 стартмани

07.02.2019    5062    2    Just4Fun    0    

Монитор активных пользователей по журналу регистрации

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Монитор активности пользовательских сеансов с возможностью завершить сеансы и соединения. Платформа 1С: 8.3.12.1685. БСП не используется

1 стартмани

01.02.2019    5102    5    mefalcon    2    

Версионирование объектов Промо

Журнал регистрации v8 КА1 БП2.0 ЗУП2.5 УТ10 УПП1 Россия Абонемент ($m)

Немного измененный механизм версионирования объектов. Может использоваться с любой конфигурацией (возможно с небольшими доработками). Тестировался на УТ 10.3. Основное отличие - контроль уже записанных версий объектов.

1 стартмани

25.05.2012    38365    130    kolos    22    

Ошибки, предупреждения и прочее из журнала регистрации на почту и в Telegram автоматически (БП 3, ЗУП 3.1, УТ 11.4, ERP 2.4, Розница 2.2)

Журнал регистрации Поиск данных Тестирование и исправление Email v8 Розница УНФ ERP2 ЗКГУ3.0 БП3.0 УТ11 ЗУП3.x Абонемент ($m)

Данная обработка позволяет анализировать журнал регистрации с пользовательским отбором (4 критерия отбора) и высылать отчет пользователю с заданной периодичностью на электронную почту или в Телеграм. Возможно использовать как регламентное задание (автоматическая отправка отчетов по времени), непосредственно запускать из клиента, а также выгружать в форму обработки отфильтрованные данные из журнала регистрации без отправки.

2 стартмани

28.01.2019    10762    39    Redinternational    3    

Удаление одинаковых версий в журнале регистрации, очистка записей по неверсионированным объектам

Чистка базы Журнал регистрации v8 1cv8.cf Украина Абонемент ($m)

Обработка также позволяет очищать лишние записи версий объектов, которые все-таки остаются для регистрации в журнале регистрации. Также возможна очистка по неверсионированным в журнале регистрации объектам.

2 стартмани

09.01.2019    4610    1    t_yuri    0    

Архивирование и удаление файлов журнала регистрации на Linux-сервере

Журнал регистрации v8 Абонемент ($m)

Bash-скрипт для архивации и удаления файлов Журнала регистрации в старом формате на Linux-сервере 1С Предприятия.

1 стартмани

29.11.2018    6580    0    Sloth    4    

Отчет об изменениях в объектах Промо

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Обработка подписывается на событие записи выбранных объетов, и по команде, показывает таблицу изменений реквизитов в объекте. Обработка универсальная - не требует вносить изменения в конфигурацию. Eсть пример подключения к обмену ковертации данных через XML.

1 стартмани

21.11.2011    23211    13    i132    6    

Загрузка журнала регистрации 1С v8 в базу SQLServer

Журнал регистрации v8 Россия Абонемент ($m)

Загрузка журнала регистрации 1С v8 в базу SQLServer, для хранения архивной информации по журналам, быстрого поиска и/или переноса данных из журнала и его усечения.

10 стартмани

26.10.2018    8086    13    user1054014    12    

Мониторинг активности пользователя

Журнал регистрации v8 БП3.0 Россия Абонемент ($m)

Расширение предназначено для мониторинга активности пользователей, фиксирует какие окна открывал и когда пользователь в программе. Автоматически завершает работу не активных пользователей, что позволяет экономить системные ресурсы. Есть отчет об Активности пользователей по часам с возможностью отбора по конкретному пользователю. Расширение для типовых конфигураций 1С на управляемых формах в режиме совместимости 8.3.12.

1 стартмани

26.10.2018    7681    61    xan333    7    

Python-скрипт для массового переключения формата журнала регистрации

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Python-скрипт для массового переключения формата журнала регистрации. В первую очередь из SQL в файл. python.exe 1c_format_log_chenger.py Analyze, clearing and change journal format for 1C journal system Use -a or --analyze for analyzing Use -c or --clear for delete all log files Use --sql2file for change logfiles format 2 File Use --file2sql for change logfiles format 2 SQL

1 стартмани

12.10.2018    5884    0    DonAlPatino    8    

Анализ времени проведения документов Промо

Журнал регистрации Статистика базы данных v8 1cv8.cf Абонемент ($m)

Данный отчет показывает сколько времени тратится на проведение документов определенного вида.

1 стартмани

06.05.2011    21957    17    anderson    20    

Обработка журнала регистрации в формате SQLLite

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Обработка предназначена для работы с файлом "1Cv8.lgd" журнала регистрации 1С в формате "SQLLite". Выборка и удаление записей.

1 стартмани

14.09.2018    7900    50    VslavKup    6    

R2-D2: журнал регистрации, монитор обменов, аварийные уведомления

Сервисные утилиты Распределенная БД (УРИБ, УРБД) Администрирование данных 1С Журнал регистрации v8 Россия Абонемент ($m)

Обслуживание Журналов регистрации нескольких баз 1С. Сбор и обработка сведений о статусах обменов баз 1С, рассылка аварийных уведомлений.

2 стартмани

14.06.2018    14712    19    pbabincev    8    

Установка параметров журнала регистрации (УФ)

Журнал регистрации v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Обработка позволяет установить регистрацию по событиям.

1 стартмани

06.05.2018    7396    15    lisenenkov    6    

Журнал регистрации из формы документа или справочника

Журнал регистрации v8 Розница УНФ БП3.0 УТ11 КА2 Абонемент ($m)

Данная обработка позволяет просматривать журнал регистрации (кто из пользователей последний вносил изменения) по справочнику или документу прямо из формы. Не требуется изменение конфигурации.

2 стартмани

23.04.2018    11740    47    Kutuzov    7