Сложнейшая загрузка журнала регистрации в ElasticSearch (или делаем настоящий ETL)

Публикация № 1128327 27.09.19

Администрирование - Администрирование данных 1С - Журнал регистрации

Журнал ELK загрузка данных ElasticSearch

Году в 2017ом возникло (наверное странное на тот момент) желание перегрузить журнал регистраций 1С в ELK. Чтобы журналы место на диске не съедали, 1С программисты забыв поставить фильтр сервер не подвешивали, все журналы лежали в одном месте да и можно было безопасно туда ответственных пользователей пускать, чтобы сами смотрели кто какой документ поправил.На предложение написать выгрузку сразу из 1С программисты благополучно забили ("ой на это минимум месяц", "у нас срочные бизнес-фичи" и т.д. и т.п.). Зато попалась статья от Aleksey.Bochkov (https://infostart.ru/public/182820/). Ну и решили мы все это запилить без 1С программистов. Во что влезаем я тогда еще не понимал. А вылилось почти в год допилок (хорошо хоть в фоновом режиме) в цельный ETL с использованием C#, T-SQL и прочими делами.

[DECLAIMER]

  1. Я в курсе решения от SilverBullet и @lustin. Но момент когда оно было в свободном доступе я упустил, а денег на покупку чего-то, что не нужно бизнесу непосредственно сейчас никто не даст :-(
  2. Уже сильно позже я прочитал статью @milut "Простейшее использование Elasticsearch для работы с журналом регистрации". И, сравнивая с объемом проделанной работы, я совсем не уверен, что надо было городить такого монстра. Хотя тут можно подогнать базу про "независимость от  работы сервера 1С", "меньшую нагрузку на кластер" и "контролируемую загрузку журналов для большого количества баз из одного места"
  3. Зато если бы у меня была такая штука на прошлом месте работы (немецкая контора, которую аудировал deloitte & touche) - я бы точно представил ее аудиторам как "система хранения аудиторского следа независимая от разработчиков и администраторов 1С". Меня там очень гнобили за отсутствие "аудиторского следа".

Можно рассматривать данную статью как один из вариантов решения или пример хождения по граблям, которое лучше избегать ;-) Итак.

Для начала поставили EventLogLoader Aleksey.Bochkov, настроили загрузку журналов в MS SQL Server и последующую выгрузку в ELK и решили, что всё. Оказалось не всё. Программисты 1С посмотрели и заявили, что работать в этом не будут, т.к. записи журнала идут вперемешку, а они привыкли и готовы работать только со "стандартным журналом". Стало понятно, что загруженные данные надо трансформировать. Кроме тогоEventLogLoader временами подвисал и всё вставало, а чистку загруженных логов все равно надо делать руками

Решили улучшать - собрали группу из трех человек - я, как идеолог, @klimov_andrey как спец по ELK и программист C# и T-SQL Роман и погнали.

Роман переписал EventLogLoader  на C# - стало работать без зависаний плюс добавилось удаление загруженных журналов (только для файловых журналов и параллельно я под это дело написал переключатель форматов журналов на Python).

После нескольких итераций, Роман успешно нарисовал трансформацию данных на T-SQL, которая брала данные из таблиц EventLogLoader и преобразовывала все это в формат, который уже был похож на привычный 1С журнал. При трансформации записи накапливались в буфере, чтобы потом собирать несколько штук в единую запись журнала. В процессе очень помогла статья "Формат файлов журнала регистрации 1С 8.1/8.2 - ELF/LOG/LGF/LGP"

Финальным аккордом загрузили все журналы для 35 баз с 2 серверов с января 2018 го года. Теперь оно все в ELK и доступно для поиска. В общем получилась вот такая красота:

Итого как это выглядит с технической точки зрения.

  • Все журналы переключены в файловый режим
  • Переписанный на C# EventLoader запускается в командной строке (сделать как сервис руки не дошли) и мониторит папку с журналами (для каждой базы стартует свой поток).
  • Как только 1С сервер "отпускает" файл, EventLoader забирает его, обрабатывает и выгружает во временные таблицы SQL Server (структура таблиц как у оригинального EventLoader) и удаляет.
  • На SQL Server крутится регламентное задание, которое мониторит временные таблицы и собирает записи в "человеческий" вид, ориентируясь на запись о начале (_$Transaction$_.Begin) и о том что транзакция закончилась - зафиксирована (_$Transaction$_.Commit) или отменена (_$Transaction$_.Rollback)
  • "человеческие" записи перегружаются в таблицу event2
  • В таблицу event2 за записями приходит logtash и забирает их в ELK
  • На Kibana cделаy простенький dashboard,который все это красиво визуализирует.

В приложенном архиве:

Солюшен EventLogLoader, который включает всю разработку Aleksey.Bochkov.  на VB.Net плюс проект EventLogApp на C# (так же отдельно выложен на github)

database.sql - скрипт создания БД для MS SQL

Для работы трансформации надо создать Job urgent c следующим шагом:

declare @counter int
set @counter = 1
while @counter <= 5
begin
	exec up_AddEvents2rowsDirect 100
	set @counter = @counter + 1
end

Скачать файлы

Наименование Файл Версия Размер
Исходники загрузчика и скрипты создания БД

.7z 268,89Kb
6
.7z 268,89Kb 6 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. YPermitin 11122 27.09.19 17:02 Сейчас в теме
(0) плюс!

Читать было очень интересно. Как будто еще раз свою задачу пережил :)

А на GitHub не публиковали проект для совместной с сообществом разработки?
3. DonAlPatino 159 27.09.19 20:55 Сейчас в теме
(1) С удовольствием если расскажете как это правильно делать. Особенно учитывая что EventLogLoader по чесноку взят у Aleksey.Bochkov и просто переписан на C# и немного допилен. Я честно не знаю как корректно опубликовать финальный проект, который содержит большую часть чужого кода.
user983047; YPermitin; +2 Ответить
9. Evil Beaver 7155 30.09.19 15:37 Сейчас в теме
(3)
Я честно не знаю как корректно опубликовать финальный проект, который содержит большую часть чужого кода

Сделать пулреквест Алексею Бочкову на гитхаб
10. DonAlPatino 159 30.09.19 15:57 Сейчас в теме
(9) Тогда проект уедет к Алексею и будет зависеть от него и его свободного времени. А у него я смотрю Latest commit 2f830f1 on 16 Apr 2017
Лучше все-таки наверное честный fork.
11. Evil Beaver 7155 30.09.19 21:03 Сейчас в теме
(10) не уедет. Ваш форк так и останется у вас. А вливаться Алексею от вас или нет - пусть решит сам. Форк в любом случае можете развивать как угодно, ПР, на мой взгляд, это просто спасибка такая, респект автору.
13. DonAlPatino 159 01.10.19 09:41 Сейчас в теме
(11) Т.е. я могу создать отдельную репу как fork (вопрос у меня как ее корректно оформить со ссылкой на оригинальную репу) и отдельно отправить ПР Алексею? Может какая статья для чайников есть как это правильно оформлять.
21. Evil Beaver 7155 01.10.19 15:51 Сейчас в теме
(13) в гитхабе нажимаете у Алексея кнопку Fork и в вашем аккаунте создастся новая репа с копией оригинала и со ссылкой на оригинал. Делаете в ней что хотите, а часть изменений можете отправить назад в виде пулреквеста. Стандартная схема, посмотрите уроки работы с гитхабом в Сети. При этом ваша копия - только ваша и можете делать с ней что хотите.
22. DonAlPatino 159 02.10.19 11:25 Сейчас в теме
(21) Рома сделал. Бросьте, пожалуйста, взгляд. Если все нормально я еще в статью внесу.
Evil Beaver; +1 Ответить
23. Evil Beaver 7155 02.10.19 11:49 Сейчас в теме
(22) Ну да, так и делается форк, все ок.
2. user1287012 27.09.19 20:47 Сейчас в теме
Почему логстеш только забирает? Он же всю вашу трансформацию делает влёт и сразу складывает в эластик. Sql Server в этой цепочке вообще не нужен.
mnemchinov; +1 Ответить
4. DonAlPatino 159 27.09.19 21:00 Сейчас в теме
(2) У нас не вышло корректно разобраться с флагами начала - окончания транзакций. Плюс были ситуации когда в логе запись об окончании транзакции шла раньше записи о ее начале. Реально SQL содержит буфер на миллион записей с использованием которого обрабатываются такие ситуации. Если есть подробности и код как с этим бороться используя чистый logtash, то делитесь :-). Мы на глубокое знание ELK не претендуем :-) Любители :-)
YPermitin; +1 Ответить
5. user1287012 27.09.19 21:32 Сейчас в теме
Я тоже любитель. Но зная возможности логстеша, для него это рядовая задача. Работа с логами - основное для чего его используют во всем мире. Главное правильно настроить конвейеры приема и модификации. Ваше решение кажется слишком переусложненным.
6. DonAlPatino 159 28.09.19 14:49 Сейчас в теме
(5) Осталось дождаться вашей статьи с описанием как это сделать. Тут будет много благодарных.
mnemchinov; YPermitin; baton_pk; +3 Ответить
7. Dach 317 30.09.19 11:20 Сейчас в теме
А мы используем вот это решение

https://infostart.ru/public/1111813/

и очень довольны
8. DonAlPatino 159 30.09.19 14:33 Сейчас в теме
(7) Возьму на заметку. Навскидку я все-таки предпочел логгирование конкретных баз (у нас очень много всяких архивов) ну и наличие у нас автооосвобождение места на диске тоже радует :-)
12. comol 4716 30.09.19 23:29 Сейчас в теме
И сколько раз твердили миру... Не надо ЖР в эластик грузить. Это дорого! Кто то "очень продвинутый" поигрался и понеслась....
14. DonAlPatino 159 01.10.19 09:42 Сейчас в теме
(12) Можно подробнее почему дорого?
15. comol 4716 01.10.19 10:40 Сейчас в теме
(14) Размеры посчитайте. В нормальном хранилище логов их размер должен быть в 10 раз меньше чем основной ЖР как минимум. Правильнее в 100. Не создавать нагрузку на процессор и диски. Ну не для этого эластик. Не нужен вам полнотекст по логам. А если нужен полнотекст по логам - у вас проблема или в архитектуре или бизнес процессах.
16. DonAlPatino 159 01.10.19 11:09 Сейчас в теме
(15) Ну не знаю. 2 сервера, 25 баз. В Elastic логов на 24 гига с июля 2018 года. Стандартно я чищу логи раз в пол-года вычищая по 50-60 гигов на сервере. К сожалению размер журналов 1С перед загрузкой я не посмотрел, но там явно сильно больше должно быть.
PS В "ёлку" будет пускать бизнес-юзеров. Они без полнотекстового поиска работать просто не умеют.
17. comol 4716 01.10.19 11:15 Сейчас в теме
(16) в вашем миникейсе вообще штатного ЖР хватило бы. Эластик расжимает данные а не сжимает. Почитайте описания движка. Не будет меньше. Для пользователей надо делать интерфейс истории а не "пускать в ёлку" или ещё куда
18. DonAlPatino 159 01.10.19 12:02 Сейчас в теме
(17) Хм... Вам конечно виднее, но давать права на журнал в 1С бизнесам (когда даже программеры ухитряются подвесить сервак) я не хочу. И следить за местом на дисках где живут журналы тоже. Ну и на тендерах, в которых мы участвуем, с нас всегда требуют наличие "централизованной системы сбора и управления логами".
19. comol 4716 01.10.19 12:39 Сейчас в теме
(18) и вы им продаёте эластик? :))))))). Централизованная система сбора логов обычно о другом.

Ну для маленькой базы не нужен он. Если вы за год только 50гб набираете....

Бизнесу вообще ЖР давать это зло. Есть менеджер инфобеза которому оно нужно.
20. DonAlPatino 159 01.10.19 12:46 Сейчас в теме
(19) Простите, а что им продать? 25 журналов 1С для 25 баз? comol, а давайте вместо тонкого троллинга вы мне будете предлагать имеющиеся готовые решение? И, ключевой момент, бесплатные. Я в целом на infostart и пишу, чтобы услышать альтернативные предложения.
25. comol 4716 03.10.19 14:04 Сейчас в теме
(20) На Инфостарте есть. ClickHouse или любая другая столбцовая СУБД. Перед вами не стоит задачи поисковых запросов, а вполне себе запросов аналитических. Это не троллинг, это я Вас пытался навести на решение к которому Вы можете прийти самостоятельно.
Троллинг только в том что "повторять за другими их ошибки это плохо" :).
27. DonAlPatino 159 03.10.19 14:59 Сейчас в теме
(25) т,е. мне надо поднять и изучить еще одну СУБД (кроме Эластика), сделать туда выгрузку (причем очевидно с тем же ETL - вряд ли оно из коробки умеет склеивать записи 1сного журнала), нарисовать интерфейс для работы (Kibana я знаю, Clickhousе нет и можно ли получить данные без отдельного интерфейса тоже не знаю) и это будет считаться не зря потраченным временем? И это все не уже даже толстый троллинг?
Вот тут вот @lustin призывал использовать "ёлку", а так же пенял, что никто не хотел учить Go, чтобы сделать красивую выгрузку журнала 1С в ELK с использование filebeat. Это решение он теперь продаёт. @comol теперь учит меня, что ELK - это "плохо и ошибка". И куда крестьянину податься?
28. comol 4716 03.10.19 15:22 Сейчас в теме
(27) Я не призываю переделывать конечно... в Вашем случае даже трудозатраты на Эластик уже наверное лишние.

@lustin призывал использовать "ёлку"

Не умоляя достоинств всё-таки своя голова на плечах должна тоже быть.
Вы же в магазине не покупаете всё что вам продают...

А вот тут Флант (знаете же кто такие) https://habr.com/ru/company/flant/blog/341386/ "не продают" систему хранения логов в кликхаус.
А вот тут https://habr.com/ru/company/vk/blog/430168/ это делают вконтакте...

Но я не призываю "верить мне или кому бы то ни было". Выгрузите и туда и туда по пару десятков миллионов записей и проверьте объем и скорость.
ETL там будет один и тот же ClickHouse поддерживает вполне себе нормальный SQL (правда записи надо добавлять не им а порциями)

ClickHouse поддерживает Grafana https://grafana.com/grafana/plugins/vertamedia-clickhouse-datasource/installation т.е. не нужен вам Kibana. Да и для ELK я бы тоже графану использовал.
29. DonAlPatino 159 03.10.19 16:28 Сейчас в теме
(28) Почитал. При моих "маленьких" объемах почему бы просто не оставить все в таблицах MS SQL?
30. comol 4716 03.10.19 16:37 Сейчас в теме
(29) Всё верно. MS SQL просто будет пытаться там транзакции лепить где они не нужны... но вцелом если освоите BULK INSERT норм. решение
31. DonAlPatino 159 03.10.19 16:44 Сейчас в теме
(30) Если вы все-таки прочитали мою статью не по диагонали, то там уже все есть. Только "ёлку" надо оторвать за "ненадобностью" (по вашему мнению). И интерфейс с поиском написать. Ну или всех дружно отправить в консоль SQL и запросами его, запросами.
В общем и целом не убедили от слова вообще.
32. comol 4716 03.10.19 17:08 Сейчас в теме
(31) Сорри. По диагонали. Интерфейс с поиском я считаю надо писать для любой СУБД. И встраивать в 1С. А grafana прекрасно работает и с ms sql. Что вы к kibana приаезались. Оно убогое.
24. Efimoff 127 02.10.19 16:07 Сейчас в теме
есть отчет Журнал регистрации на СКД. И пользователям можно дать, и отборы есть,
и работает быстро
26. comol 4716 03.10.19 14:04 Сейчас в теме
(24) Для объемов выше вполне подойдёт
33. alexlx 90 05.02.20 14:22 Сейчас в теме
Случайно никто не делал такой парсер на Java?
Оставьте свое сообщение

См. также

История формирования отчетов (расширение для типовых конфигураций) Промо

Журнал регистрации v8::УФ v8::СКД ДО ERP2 БП3.0 УТ11 ЗУП3.x Абонемент ($m)

Подсистема для хранения, использования и анализа истории формирования отчетов пользователями

5 стартмани

28.11.2017    18525    33    SeiOkami    2    

Выгрузка данных из журнала регистрации в таблицу на форме (обычное приложение)

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Обработка для выгрузки данных из журнала регистрации в табличную часть формы с возможность отбора по периоду, пользователю, объекту.

1 стартмани

26.08.2021    677    1    user995537    0    

Определение даты создания элемента любого справочника

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Обработка может быть полезна администраторам 1С и ответственному за чистоту баз персоналу. Когда создали контрагента? Когда сделали дубль товара? Данная обработка ответит на подобные вопросы. Дата создания элемента любого справочника определится по его наименованию.

1 стартмани

06.08.2021    1349    1    Pirat-37    6    

Поиск событий в журнале регистрации (1Cv8.lgd) без блокировки работы пользователей.

Журнал регистрации v8 Абонемент ($m)

В процессе отбора событий в журнале регистрации происходит блокировка записи новых событий. Как следствие - никто ничего не может провести или создать. Попробовал решить задачу написав приложение для анализа журнала регистрации без блокировки.

1 стартмани

14.06.2021    1267    4    Goody    0    

Включение и выключение регистрации отказа в доступе если "У пользователя не достаточно прав над операцией с базой данных". Промо

Информационная безопасность Журнал регистрации v8 1cv8.cf Абонемент ($m)

Включает (выключает) регистрацию событий отказа доступа в журнале регистрации.

1 стартмани

12.01.2011    39869    368    nexts    32    

История изменений объектов (детальный журнал регистрации)

Журнал регистрации Администрирование данных 1С v8 Платформа 1C v8.2 1cv8.cf Абонемент ($m)

Представляю Вашему вниманию разработку, которую мы использовали на предприятии, на котором я имел счастье когда-то вести свою деятельность. Зачастую возникает желание узнать, кто именно из пользователей поменял тот или иной элемент документа либо справочника. Это бывает полезно, дабы узнать причину и "виновника" поспешно совершенных действий в базе, с целью дальнейшего предотвращения подобного.

1 стартмани

18.05.2021    2236    8    Rabin    13    

Идентификация (авторизация) пользователей

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Отчет для контроля входа в систему пользователей с разных рабочих мест.

1 стартмани

06.05.2021    1639    2    opera199    0    

Рассылка по ошибкам журнала регистрации

Журнал регистрации Email БСП (Библиотека стандартных подсистем) v8 1cv8.cf Абонемент ($m)

Простая подключаемая обработка для конфигураций на БСП. Рассылает по расписанию информацию об ошибках в журнале регистрации, подвисших регламентных заданиях, долгой блокировке учетной записи электронной почты. Вся информация - в тексте письма. Позволяет увидеть ошибки, которые не видны при работе в пользовательском режиме, или до того, как пользователи на них пожалуются.

1 стартмани

26.04.2021    1898    6    wonderboy    0    

Статистика работы пользователя Промо

Журнал регистрации Управленческие Статистика базы данных Учет рабочего времени Учет рабочего времени v8 1cv8.cf Абонемент ($m)

Анализ работы сотрудников - важные составляющие функционирования компании. Безусловно, руководитель может самостоятельно оценивать труд работников, деятельность которых как на ладони, стоит лишь взглянуть на поступление денег на банковский счет фирмы. Сложнее оценить работу сотрудников, которые не имеют прямого влияния на бизнес-результат: это бухгалтеры, кадровые работники, менеджеры.

3 стартмани

17.07.2011    51311    432    imozg    63    

Внешний отчет на СКД "Ошибки и предупреждения журнала регистрации". Для любой типовой конфигурации 1С: Предприятие 8.3

Журнал регистрации v8 1cv8.cf Абонемент ($m)

20 мая 2021 года в онлайн формате пройдет Форум пользователей 1С:Документооборота. Когда, как не сейчас, намекнуть разработчикам на возможные улучшения в конфигурациях (если по-честному, просто совпало). Типовой отчет по журналу регистрации либо невозможно добавить в регламентную рассылку, либо невозможно настроить вариант (по крайней мере, я не знаю этих возможностей). Хотя очень неплохо иметь представление о происходящем в базе 1С именно на регулярной основе. Данная разработка исправляет это упущение. Интересующихся прошу под кат...

4 стартмани

19.04.2021    2453    2    capitan    6    

Поиск в журналe регистрации 1С *.lgd

Журнал регистрации v8 v8::УФ Абонемент ($m)

Обработка для моментального поиска данных в журнале регистрации 1С SQLite (.lgd).

1 стартмани

16.02.2021    2070    14    user598199_serega240710    2    

Активность пользователей на основании журнала регистрации

Журнал регистрации v8 v8::УФ 1cv8.cf Абонемент ($m)

Активность пользователей информационной базы за период в разрезе пользователей, видов документов, самих документов и количества строк в них. Отчет выводит данные о созданных документах за период и количестве строк в них.

1 стартмани

22.11.2020    2764    34    chagbig    3    

Просмотр документов, измененных задним числом Промо

Журнал регистрации v8 УТ10 Россия Абонемент ($m)

Редактирование документов в 1С, проведенных задним числом, бывает необходимо для исправления ошибок в учете, но также является распространенным способом воровства в магазине. Поэтому важно максимально ограничить работу задним числом.

2 стартмани

12.08.2015    31378    56    ПерваяСистема    17    

История данных (Версионирование данных). Обычные и управляемые формы. Механизм платформы 1С

Журнал регистрации Структура метаданных Расширения v8 v8::УФ 1cv8.cf Абонемент ($m)

История данных - специальный механизм платформы 1С, который позволяет хранить в базе данных данные объектов конфигурации.

1 стартмани

30.09.2020    5409    40    yuryshestakov    0    

История изменения реквизитов для любых конфигураций

Администрирование данных 1С Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Просмотр истории изменения документов и справочников одним кликом. Дополнение к любой конфигурации на платформе 1С 8x. Позволяет отслеживать историю изменения реквизитов справочников и документов, в том числе и их табличных частей. Для управляемых и не управляемых форм.

5 стартмани

14.08.2020    4097    19    alvabul    2    

Список пользователей за период

Журнал регистрации v8 УНФ ДО Абонемент ($m)

Анализируя Журнал регистрации выводит список всех пользователей, которые заходили в текущую базу в выбранном периоде

1 стартмани

12.08.2020    3363    8    Gvozdod    1    

Получение запросом данных журнала регистрации хранящегося в SQLite Промо

Практика программирования Журнал регистрации v8 1cv8.cf Абонемент ($m)

В статье показано как, используя новый функционал платформы, получать данные из журнала регистрации привычным запросом.

1 стартмани

17.09.2014    73437    241    rtnm    38    

Объединение (слияние) журналов регистрации через СкопироватьЖурналРегистрации

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

В основном это для тех, кто накосячил с журналом, а он оказался нужен.

1 стартмани

20.07.2020    4837    7    tech1c    2    

Экспорт журнала регистрации. Набор инструментов (приложения + исходный код)

Прочие инструменты разработчика Журнал регистрации v8 Абонемент ($m)

Набор инструментов для экспорта данных журнала регистрации во внешние хранилища для Windows и Linux (SQL Server, PostgreSQL, MySQL). Готовые приложения и исходный код.

10 стартмани

26.05.2020    12321    83    YPermitin    0    

Отправка сообщений о действиях в конфигураторе из журнала регистрации на почту письмом

Журнал регистрации v8 БП3.0 Россия Абонемент ($m)

Бывает, нужно знать, кто, кроме вас, открывал конфигуратор 1С и вносил ли изменения в саму конфигурацию. Представленная внешняя обработка добавляется в регламентные задания и по расписанию отправляет письмо по указанным адресам с отбором журнала регистрации за предыдущие сутки по действиям с конфигуратором за исключением указанных в ней пользователей (и пользователей операционной системы). Тестировалось на платформе 1С:Предприятие 8.3 (8.3.15.1830), в конфигурациях 1С ЗУП Проф 3.1.13.151 и 1С Бухгалтерия КОРП 3.0.75.93.

1 стартмани

13.05.2020    4264    1    Svetlanka_sv    0    

Монитор журнала регистрации Промо

Журнал регистрации Администрирование данных 1С WEB v8 1cv8.cf Абонемент ($m)

Позволяет в режиме реального времени отслеживать активность пользователей, накапливать и оповещать о возникновении ошибок, которые попадают в журнал регистрации

2 стартмани

29.06.2015    43979    154    andy23    51    

Работа с журналом регистрации. Выходим за границы платформы

Журнал регистрации Бесплатно (free)

Работа с журналом регистрации нестандартными средствами. А также немного про использование платформы .NET в экосистеме 1С.

12.05.2020    10725    YPermitin    29    

Отслеживание ошибок в журнале регистрации

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Как узнать об ошибках из журнала регистрации, когда вы не на рабочем месте? Легко!

1 стартмани

25.04.2020    5661    6    maslyann    0    

Журнал регистрации в эластике с использованием службы без использования 1С (.net + elastic)

Журнал регистрации v8 Абонемент ($m)

При большом количестве записей в ЖР типовыми средствами он просматривается тяжело либо при просмотре зависает намертво. Для просмотра ЖР есть различные обработки, которые надо запускать под 1С. В этой публикации предлагается отдельная служба фоново и незаметно работающая на сервере, не требующая использования 1С.

1 стартмани

09.03.2020    5053    13    pashamak    5    

Подсистема: История изменений реквизитов объекта, в том числе табличных частей. 1с 8.2. Промо

Журнал регистрации Практика программирования v8 1cv8.cf Абонемент ($m)

Данная подсистема предназначена для хранения истории изменений реквизитов шапок и табличных частей документов и справочников. подсистема основана на записях изменений реквизитов в регистр сведений? с указанием автора и времени изменения.

1 стартмани

12.11.2012    42920    298    allert73    16    

Версионирование (история изменений) объектов в 1С:Предприятие 8

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Версионирование представляет собой опцию, с помощью которой пользователь может легко установить, кто и когда изменил находящийся в базе документ, а также какие именно изменения имели место.  Платформа 1С:Предприятие 8 имеет сходную опцию – журнал регистрации, однако эта опция не позволяет выяснить характер изменений, журнал регистраций позволяет только узнать, когда был изменен документ и какой пользователь внес изменения. В платформе 8.3.11 данный механизм встроен "ИсторияДанных" и позволяет работать с версионированием через встроенные механизмы платформы, что является несомненным плюсом. Данная конфигурация предназначена для более ранних версий.

1 стартмани

15.01.2020    19158    44    ClickUp    0    

Журнал регистрации SQLite, кластер, метаданные

Журнал регистрации v8 Абонемент ($m)

О журнале регистрации, его форматах и парсинге написано много статей. Но я не нашёл информации, что бы кто-то агрегировал журнал регистрации в кластере или архивные части. Суть проблемы - если у вас несколько серверов 1С (кластер), то ЖР в конкретный момент пишется только на один из узлов (как правило, назначенный функциональной опцией). Стоит перезагрузить или выключить этот узел кластера, то ЖР регистрации начинает писаться на доступный. Соответственно при просмотре ЖР записи отображаются только с активного в данный момент узла кластера.

1 стартмани

22.12.2019    6450    3    AlexSTAL    2    

Универсальная обработка (УФ) для работы с журналом регистрации в формате SQLite через ODBC

Универсальные обработки Журнал регистрации v8 v8::УФ 1cv8.cf Абонемент ($m)

Обработка позволяет подключиться к журналу регистрации в формате SQLite (.lgd) через ODBC и прочитать его события в привычном виде, как в стандартном журнале.

1 стартмани

27.11.2019    6060    10    Spartacus    6    

Журнал регистрации на СКД (полностью программная реализация) Промо

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Очередная вариация на тему отчет по журналу регистрации на СКД

1 стартмани

22.08.2013    26597    225    Жолтокнижниг    6    

Выгрузка журнала регистрации в SQL

Журнал регистрации v8::УФ 1cv8.cf Россия Абонемент ($m)

Ни для кого не секрет, что для эффективного использования возможностей встроенного журнала регистрации требуется приложить немало усилий. Я не спорю, что тема избита, но тем не менее... Хотел предложить для Вас мое решение. Задача: Легкий способ ежедневно анализировать журнал регистрации. Для реализации не стал я использовать Elasticsearch. Возможно, это и удобный способ, но мне не понравилось по ряду причин. Меня устраивает, когда журнал с ошибками приходит на электронную почту ответственным за поддержку и открывается в excel. А также, когда лог-базу можно открыть как внешний источник данных, например, совсем в другой базе, где таких источников, как правило, несколько.

3 стартмани

25.11.2019    7038    14    MikeLetto    0    

Управление историей изменения данных

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Данная обработка позволяет включить версионирование объектов истории изменения данных.

10 стартмани

09.11.2019    9940    12    D_E_S131    3    

Версионирование объеков УТ 10 с возможностью перехода к сохраненной версии

Журнал регистрации Универсальные функции v8 УТ10 Абонемент ($m)

Версионирование объектов УТ 10.3 с возможностью перехода к сохраненной версии. Взята стандартная система версионирования УПП, добавлена возможность восстановления ранее сохраненной версии.

1 стартмани

28.10.2019    10652    48    art.prm    8    

Анализ транзакций по журналу регистрации 1С 8 Промо

Журнал регистрации v8 КА1 БП2.0 ЗУП2.5 УТ10 УПП1 УНФ Россия Абонемент ($m)

Из журнала регистрации (ЖР) можно почерпнуть немного информации о производительности. 28.08.2012 Новая версия с графическим представлением

1 стартмани

28.12.2011    27907    304    leksmut    30    

Быстрый поиск в журналe регистрации 1С *.lgd

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Обработка для быстрого поиска данных в журнале регистрации 1С SQLite (.lgd). 8.3.15.

1 стартмани

10.10.2019    10153    29    andboss    7    

Удаление журнала регистрации с отбором

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Обработка очистки журнала регистрации с отбором по пользователю и периоду для обычного приложения.

2 стартмани

05.09.2019    8334    23    doctorov_s    5    

Журнали2Ст: сверхбыстрый журнал регистрации 1С

Журнал регистрации v8 Абонемент ($m)

Строит внешний индекс по журналам регистрации любого формата и делает поиск в них фантастически быстрым. Дополнительно ничего не нужно настраивать! Журналы Регистрации остаются на своём месте и не занимают дополнительного, а сервис Журнали2Ста обеспечивает их постоянную индексацию.

1 стартмани

22.08.2019    16490    102    MrWonder    70    

Версионирование объектов Промо

Журнал регистрации v8 КА1 БП2.0 ЗУП2.5 УТ10 УПП1 Россия Абонемент ($m)

Немного измененный механизм версионирования объектов. Может использоваться с любой конфигурацией (возможно с небольшими доработками). Тестировался на УТ 10.3. Основное отличие - контроль уже записанных версий объектов.

1 стартмани

25.05.2012    41662    414    kolos    23    

Отправление событий журнала регистрации в приватный / публичный канал Telegram в виде сообщений и файлов

WEB Журнал регистрации v8 v8::УФ Абонемент ($m)

Данная конфигурация позволяет получать события журнала регистрации в телеграм в виде сообщений и файлов.

1 стартмани

29.07.2019    7895    8    serg-lom89    0    

Простейшее использование Elasticsearch для работы с журналом регистрации

Журнал регистрации v8 1cv8.cf Бесплатно (free)

Простейшая настройка выгрузки журнала регистрации в Elasticsearch для ускорения поиска.

20.06.2019    12796    47    milut    11    

Как отправить ошибки из журнала регистрации на почту? Продолжение. Отдельная база

Журнал регистрации v8 Абонемент ($m)

Добавлена отдельная база: возможность указания списка баз, из которых нужно собирать ошибки, возможность указания почтового профиля для каждой базы.

1 стартмани

27.05.2019    7198    4    wowik    0    

Отчет об изменениях в объектах Промо

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Обработка подписывается на событие записи выбранных объетов, и по команде, показывает таблицу изменений реквизитов в объекте. Обработка универсальная - не требует вносить изменения в конфигурацию. Eсть пример подключения к обмену ковертации данных через XML.

1 стартмани

21.11.2011    25183    210    i132    6    

Запуск встроенного в платформу механизма История данных для ленивых

Журнал регистрации v8 1cv8.cf Абонемент ($m)

В последних версиях платформы 1С появился замечательный механизм Истории данных. Если кратко, механизм позволяет сохранять историю, просматривать, сверять и самое приятное, это восстанавливать любую версию объекта. А самое главное, чтобы это заработало, не нужно продумывать, писать и поддерживать тонны кода, все уже сделано за нас... Возникает вопрос: Как запустить встроенный в платформу механизм Истории данных ничего не кодируя?

1 стартмани

24.05.2019    12288    15    _root    13    

Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch

Журнал регистрации Поиск данных v8 1cv8.cf Абонемент ($m)

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

5 стартмани

15.05.2019    14609    30    Nikolo17    14    

Журнал Регистрации ➜ Телеграмм

Журнал регистрации v8::УФ 1cv8.cf Россия Абонемент ($m)

Подключаемая обработка для рассылки ошибок журнала регистрации в телеграмм.

1 стартмани

14.05.2019    12331    25    🅵🅾️🆇    9    

Анализ времени проведения документов Промо

Журнал регистрации Статистика базы данных v8 1cv8.cf Абонемент ($m)

Данный отчет показывает сколько времени тратится на проведение документов определенного вида.

1 стартмани

06.05.2011    24066    205    anderson    20    

История данных [Расширение] УТ11

Журнал регистрации v8 УТ11 Абонемент ($m)

Расширение позволяет хранить (восстанавливать) историю данных прикладных объектов (справочников, документов, движений регистров по документам).

10 стартмани

06.05.2019    7721    4    noprogrammer    6    

Журнал регистрации по навигационной ссылке

Журнал регистрации v8 v8::УФ 1cv8.cf Абонемент ($m)

Обработка получает записи журнала регистрации только по указанной навигационной ссылке (либо просто по ссылке).

1 стартмани

13.03.2019    7355    2    Смешной 1С    0    

Сообщение об ошибках журнала регистрации по электронной почте

Журнал регистрации Email v8 1cv8.cf ЗКГУ3.0 БП3.0 ЗУП3.x Россия Абонемент ($m)

Универсальная внешняя обработка по выгрузки ошибок журнала регистрации по электронной почте. Может работать как отдельно по команде, так и быть загруженной в справочник Дополнительные отчеты и обработки и запускаться по настраиваемому расписанию.

2 стартмани

04.03.2019    7311    7    ig-efrem    2    

Запрос к Журналу регистрации

Журнал регистрации v8 ЗКГУ3.0 Россия Абонемент ($m)

Краткая форма получения сведений из Журнала регистрации - изменение объекта с детализацией событий до минут; список неиспользуемых или редко используемых дополнительных отчетов и обработок

1 стартмани

03.03.2019    7580    21    mnb-next    2    

История версий объектов

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Подсистема для записи и хранения изменений любых объектов ссылочного типа. Формирует хронологию работы пользователей с базой данных. Позволяет произвести быстрый поиск версии объекта БД по указанным параметрам и восстановить данные выбранной версии. Протестирована в конфигурации ЗУП, редакция 2.5 на платформе 1С:Предприятие 8.2 (8.2.19.130). Обычные формы. В поставке выгрузка тестовой демонстрационной базы и файл CF c объектами подсистемы.

1 стартмани

22.02.2019    9076    13    dmitrydemenew    7    

Рассылка событий журнала регистрации

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Отправка событий журнала регистрации на почту с возможностью группировки и фильтрации.

1 стартмани

07.02.2019    6872    7    Just4Fun    0    

Монитор активных пользователей по журналу регистрации

Журнал регистрации v8 1cv8.cf Россия Абонемент ($m)

Монитор активности пользовательских сеансов с возможностью завершить сеансы и соединения. Платформа 1С: 8.3.12.1685. БСП не используется

1 стартмани

01.02.2019    6998    7    mefalcon    2