Сложнейшая загрузка журнала регистрации в ElasticSearch (или делаем настоящий ETL)

Публикация № 1128327

Администрирование - Администрирование данных 1С - Журнал регистрации

Журнал ELK загрузка данных ElasticSearch

36
Году в 2017ом возникло (наверное странное на тот момент) желание перегрузить журнал регистраций 1С в ELK. Чтобы журналы место на диске не съедали, 1С программисты забыв поставить фильтр сервер не подвешивали, все журналы лежали в одном месте да и можно было безопасно туда ответственных пользователей пускать, чтобы сами смотрели кто какой документ поправил.На предложение написать выгрузку сразу из 1С программисты благополучно забили ("ой на это минимум месяц", "у нас срочные бизнес-фичи" и т.д. и т.п.). Зато попалась статья от Aleksey.Bochkov (https://infostart.ru/public/182820/). Ну и решили мы все это запилить без 1С программистов. Во что влезаем я тогда еще не понимал. А вылилось почти в год допилок (хорошо хоть в фоновом режиме) в цельный ETL с использованием C#, T-SQL и прочими делами.

[DECLAIMER]

  1. Я в курсе решения от SilverBullet и @lustin. Но момент когда оно было в свободном доступе я упустил, а денег на покупку чего-то, что не нужно бизнесу непосредственно сейчас никто не даст :-(
  2. Уже сильно позже я прочитал статью @milut "Простейшее использование Elasticsearch для работы с журналом регистрации". И, сравнивая с объемом проделанной работы, я совсем не уверен, что надо было городить такого монстра. Хотя тут можно подогнать базу про "независимость от  работы сервера 1С", "меньшую нагрузку на кластер" и "контролируемую загрузку журналов для большого количества баз из одного места"
  3. Зато если бы у меня была такая штука на прошлом месте работы (немецкая контора, которую аудировал deloitte & touche) - я бы точно представил ее аудиторам как "система хранения аудиторского следа независимая от разработчиков и администраторов 1С". Меня там очень гнобили за отсутствие "аудиторского следа".

Можно рассматривать данную статью как один из вариантов решения или пример хождения по граблям, которое лучше избегать ;-) Итак.

Для начала поставили EventLogLoader Aleksey.Bochkov, настроили загрузку журналов в MS SQL Server и последующую выгрузку в ELK и решили, что всё. Оказалось не всё. Программисты 1С посмотрели и заявили, что работать в этом не будут, т.к. записи журнала идут вперемешку, а они привыкли и готовы работать только со "стандартным журналом". Стало понятно, что загруженные данные надо трансформировать. Кроме тогоEventLogLoader временами подвисал и всё вставало, а чистку загруженных логов все равно надо делать руками

Решили улучшать - собрали группу из трех человек - я, как идеолог, @klimov_andrey как спец по ELK и программист C# и T-SQL Роман и погнали.

Роман переписал EventLogLoader  на C# - стало работать без зависаний плюс добавилось удаление загруженных журналов (только для файловых журналов и параллельно я под это дело написал переключатель форматов журналов на Python).

После нескольких итераций, Роман успешно нарисовал трансформацию данных на T-SQL, которая брала данные из таблиц EventLogLoader и преобразовывала все это в формат, который уже был похож на привычный 1С журнал. При трансформации записи накапливались в буфере, чтобы потом собирать несколько штук в единую запись журнала. В процессе очень помогла статья "Формат файлов журнала регистрации 1С 8.1/8.2 - ELF/LOG/LGF/LGP"

Финальным аккордом загрузили все журналы для 35 баз с 2 серверов с января 2018 го года. Теперь оно все в ELK и доступно для поиска. В общем получилась вот такая красота:

Итого как это выглядит с технической точки зрения.

  • Все журналы переключены в файловый режим
  • Переписанный на C# EventLoader запускается в командной строке (сделать как сервис руки не дошли) и мониторит папку с журналами (для каждой базы стартует свой поток).
  • Как только 1С сервер "отпускает" файл, EventLoader забирает его, обрабатывает и выгружает во временные таблицы SQL Server (структура таблиц как у оригинального EventLoader) и удаляет.
  • На SQL Server крутится регламентное задание, которое мониторит временные таблицы и собирает записи в "человеческий" вид, ориентируясь на запись о начале (_$Transaction$_.Begin) и о том что транзакция закончилась - зафиксирована (_$Transaction$_.Commit) или отменена (_$Transaction$_.Rollback)
  • "человеческие" записи перегружаются в таблицу event2
  • В таблицу event2 за записями приходит logtash и забирает их в ELK
  • На Kibana cделаy простенький dashboard,который все это красиво визуализирует.

В приложенном архиве:

Солюшен EventLogLoader, который включает всю разработку Aleksey.Bochkov.  на VB.Net плюс проект EventLogApp на C#

database.sql - скрипт создания БД для MS SQL

Для работы трансформации надо создать Job urgent c следующим шагом:

declare @counter int
set @counter = 1
while @counter <= 5
begin
	exec up_AddEvents2rowsDirect 100
	set @counter = @counter + 1
end
36

Скачать файлы

Наименование Файл Версия Размер
Исходники загрузчика и скрипты создания БД
.7z 268,89Kb
27.09.19
3
.7z 268,89Kb 3 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. YPermitin 4975 27.09.19 17:02 Сейчас в теме
(0) плюс!

Читать было очень интересно. Как будто еще раз свою задачу пережил :)

А на GitHub не публиковали проект для совместной с сообществом разработки?
3. DonAlPatino 128 27.09.19 20:55 Сейчас в теме
(1) С удовольствием если расскажете как это правильно делать. Особенно учитывая что EventLogLoader по чесноку взят у Aleksey.Bochkov и просто переписан на C# и немного допилен. Я честно не знаю как корректно опубликовать финальный проект, который содержит большую часть чужого кода.
user983047; YPermitin; +2 Ответить
9. Evil Beaver 6286 30.09.19 15:37 Сейчас в теме
(3)
Я честно не знаю как корректно опубликовать финальный проект, который содержит большую часть чужого кода

Сделать пулреквест Алексею Бочкову на гитхаб
10. DonAlPatino 128 30.09.19 15:57 Сейчас в теме
(9) Тогда проект уедет к Алексею и будет зависеть от него и его свободного времени. А у него я смотрю Latest commit 2f830f1 on 16 Apr 2017
Лучше все-таки наверное честный fork.
11. Evil Beaver 6286 30.09.19 21:03 Сейчас в теме
(10) не уедет. Ваш форк так и останется у вас. А вливаться Алексею от вас или нет - пусть решит сам. Форк в любом случае можете развивать как угодно, ПР, на мой взгляд, это просто спасибка такая, респект автору.
13. DonAlPatino 128 01.10.19 09:41 Сейчас в теме
(11) Т.е. я могу создать отдельную репу как fork (вопрос у меня как ее корректно оформить со ссылкой на оригинальную репу) и отдельно отправить ПР Алексею? Может какая статья для чайников есть как это правильно оформлять.
21. Evil Beaver 6286 01.10.19 15:51 Сейчас в теме
(13) в гитхабе нажимаете у Алексея кнопку Fork и в вашем аккаунте создастся новая репа с копией оригинала и со ссылкой на оригинал. Делаете в ней что хотите, а часть изменений можете отправить назад в виде пулреквеста. Стандартная схема, посмотрите уроки работы с гитхабом в Сети. При этом ваша копия - только ваша и можете делать с ней что хотите.
22. DonAlPatino 128 02.10.19 11:25 Сейчас в теме
(21) Рома сделал. Бросьте, пожалуйста, взгляд. Если все нормально я еще в статью внесу.
Evil Beaver; +1 Ответить
23. Evil Beaver 6286 02.10.19 11:49 Сейчас в теме
(22) Ну да, так и делается форк, все ок.
2. user1287012 27.09.19 20:47 Сейчас в теме
Почему логстеш только забирает? Он же всю вашу трансформацию делает влёт и сразу складывает в эластик. Sql Server в этой цепочке вообще не нужен.
mnemchinov; +1 Ответить
4. DonAlPatino 128 27.09.19 21:00 Сейчас в теме
(2) У нас не вышло корректно разобраться с флагами начала - окончания транзакций. Плюс были ситуации когда в логе запись об окончании транзакции шла раньше записи о ее начале. Реально SQL содержит буфер на миллион записей с использованием которого обрабатываются такие ситуации. Если есть подробности и код как с этим бороться используя чистый logtash, то делитесь :-). Мы на глубокое знание ELK не претендуем :-) Любители :-)
YPermitin; +1 Ответить
5. user1287012 27.09.19 21:32 Сейчас в теме
Я тоже любитель. Но зная возможности логстеша, для него это рядовая задача. Работа с логами - основное для чего его используют во всем мире. Главное правильно настроить конвейеры приема и модификации. Ваше решение кажется слишком переусложненным.
6. DonAlPatino 128 28.09.19 14:49 Сейчас в теме
(5) Осталось дождаться вашей статьи с описанием как это сделать. Тут будет много благодарных.
mnemchinov; YPermitin; baton_pk; +3 Ответить
7. Dach 279 30.09.19 11:20 Сейчас в теме
А мы используем вот это решение

https://infostart.ru/public/1111813/

и очень довольны
8. DonAlPatino 128 30.09.19 14:33 Сейчас в теме
(7) Возьму на заметку. Навскидку я все-таки предпочел логгирование конкретных баз (у нас очень много всяких архивов) ну и наличие у нас автооосвобождение места на диске тоже радует :-)
12. comol 4073 30.09.19 23:29 Сейчас в теме
И сколько раз твердили миру... Не надо ЖР в эластик грузить. Это дорого! Кто то "очень продвинутый" поигрался и понеслась....
14. DonAlPatino 128 01.10.19 09:42 Сейчас в теме
(12) Можно подробнее почему дорого?
15. comol 4073 01.10.19 10:40 Сейчас в теме
(14) Размеры посчитайте. В нормальном хранилище логов их размер должен быть в 10 раз меньше чем основной ЖР как минимум. Правильнее в 100. Не создавать нагрузку на процессор и диски. Ну не для этого эластик. Не нужен вам полнотекст по логам. А если нужен полнотекст по логам - у вас проблема или в архитектуре или бизнес процессах.
16. DonAlPatino 128 01.10.19 11:09 Сейчас в теме
(15) Ну не знаю. 2 сервера, 25 баз. В Elastic логов на 24 гига с июля 2018 года. Стандартно я чищу логи раз в пол-года вычищая по 50-60 гигов на сервере. К сожалению размер журналов 1С перед загрузкой я не посмотрел, но там явно сильно больше должно быть.
PS В "ёлку" будет пускать бизнес-юзеров. Они без полнотекстового поиска работать просто не умеют.
17. comol 4073 01.10.19 11:15 Сейчас в теме
(16) в вашем миникейсе вообще штатного ЖР хватило бы. Эластик расжимает данные а не сжимает. Почитайте описания движка. Не будет меньше. Для пользователей надо делать интерфейс истории а не "пускать в ёлку" или ещё куда
18. DonAlPatino 128 01.10.19 12:02 Сейчас в теме
(17) Хм... Вам конечно виднее, но давать права на журнал в 1С бизнесам (когда даже программеры ухитряются подвесить сервак) я не хочу. И следить за местом на дисках где живут журналы тоже. Ну и на тендерах, в которых мы участвуем, с нас всегда требуют наличие "централизованной системы сбора и управления логами".
19. comol 4073 01.10.19 12:39 Сейчас в теме
(18) и вы им продаёте эластик? :))))))). Централизованная система сбора логов обычно о другом.

Ну для маленькой базы не нужен он. Если вы за год только 50гб набираете....

Бизнесу вообще ЖР давать это зло. Есть менеджер инфобеза которому оно нужно.
20. DonAlPatino 128 01.10.19 12:46 Сейчас в теме
(19) Простите, а что им продать? 25 журналов 1С для 25 баз? comol, а давайте вместо тонкого троллинга вы мне будете предлагать имеющиеся готовые решение? И, ключевой момент, бесплатные. Я в целом на infostart и пишу, чтобы услышать альтернативные предложения.
25. comol 4073 03.10.19 14:04 Сейчас в теме
(20) На Инфостарте есть. ClickHouse или любая другая столбцовая СУБД. Перед вами не стоит задачи поисковых запросов, а вполне себе запросов аналитических. Это не троллинг, это я Вас пытался навести на решение к которому Вы можете прийти самостоятельно.
Троллинг только в том что "повторять за другими их ошибки это плохо" :).
27. DonAlPatino 128 03.10.19 14:59 Сейчас в теме
(25) т,е. мне надо поднять и изучить еще одну СУБД (кроме Эластика), сделать туда выгрузку (причем очевидно с тем же ETL - вряд ли оно из коробки умеет склеивать записи 1сного журнала), нарисовать интерфейс для работы (Kibana я знаю, Clickhousе нет и можно ли получить данные без отдельного интерфейса тоже не знаю) и это будет считаться не зря потраченным временем? И это все не уже даже толстый троллинг?
Вот тут вот @lustin призывал использовать "ёлку", а так же пенял, что никто не хотел учить Go, чтобы сделать красивую выгрузку журнала 1С в ELK с использование filebeat. Это решение он теперь продаёт. @comol теперь учит меня, что ELK - это "плохо и ошибка". И куда крестьянину податься?
28. comol 4073 03.10.19 15:22 Сейчас в теме
(27) Я не призываю переделывать конечно... в Вашем случае даже трудозатраты на Эластик уже наверное лишние.

@lustin призывал использовать "ёлку"

Не умоляя достоинств всё-таки своя голова на плечах должна тоже быть.
Вы же в магазине не покупаете всё что вам продают...

А вот тут Флант (знаете же кто такие) https://habr.com/ru/company/flant/blog/341386/ "не продают" систему хранения логов в кликхаус.
А вот тут https://habr.com/ru/company/vk/blog/430168/ это делают вконтакте...

Но я не призываю "верить мне или кому бы то ни было". Выгрузите и туда и туда по пару десятков миллионов записей и проверьте объем и скорость.
ETL там будет один и тот же ClickHouse поддерживает вполне себе нормальный SQL (правда записи надо добавлять не им а порциями)

ClickHouse поддерживает Grafana https://grafana.com/grafana/plugins/vertamedia-clickhouse-datasource/installation т.е. не нужен вам Kibana. Да и для ELK я бы тоже графану использовал.
29. DonAlPatino 128 03.10.19 16:28 Сейчас в теме
(28) Почитал. При моих "маленьких" объемах почему бы просто не оставить все в таблицах MS SQL?
30. comol 4073 03.10.19 16:37 Сейчас в теме
(29) Всё верно. MS SQL просто будет пытаться там транзакции лепить где они не нужны... но вцелом если освоите BULK INSERT норм. решение
31. DonAlPatino 128 03.10.19 16:44 Сейчас в теме
(30) Если вы все-таки прочитали мою статью не по диагонали, то там уже все есть. Только "ёлку" надо оторвать за "ненадобностью" (по вашему мнению). И интерфейс с поиском написать. Ну или всех дружно отправить в консоль SQL и запросами его, запросами.
В общем и целом не убедили от слова вообще.
32. comol 4073 03.10.19 17:08 Сейчас в теме
(31) Сорри. По диагонали. Интерфейс с поиском я считаю надо писать для любой СУБД. И встраивать в 1С. А grafana прекрасно работает и с ms sql. Что вы к kibana приаезались. Оно убогое.
24. Efimoff 110 02.10.19 16:07 Сейчас в теме
есть отчет Журнал регистрации на СКД. И пользователям можно дать, и отборы есть,
и работает быстро
26. comol 4073 03.10.19 14:04 Сейчас в теме
(24) Для объемов выше вполне подойдёт
Оставьте свое сообщение

См. также

Быстрый поиск в журналe регистрации 1С *.lgd 7

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

Обработка для быстрого поиска данных в журнале регистрации 1С SQLite (.lgd). 8.3.15.

1 стартмани

10.10.2019    1823    2    andboss    0       

Удаление журнала регистрации с отбором 4

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Россия Абонемент ($m) Журнал регистрации

Обработка очистки журнала регистрации с отбором по пользователю и периоду для обычного приложения.

2 стартмани

05.09.2019    675    4    doctorov_s    4       

Журнали2Ст: сверхбыстрый журнал регистрации 1С 86

Инструменты и обработки Системный администратор Программист Приложение (exe) v8 Windows Абонемент ($m) Журнал регистрации

Строит внешний индекс по журналам регистрации любого формата и делает поиск в них фантастически быстрым. Дополнительно ничего не нужно настраивать! Журналы Регистрации остаются на своём месте и не занимают дополнительного, а сервис Журнали2Ста обеспечивает их постоянную индексацию.

1 стартмани

22.08.2019    4623    44    MrWonder    44       

Отчет по изменению документа 7

Отчеты и формы Пользователь Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

Данная обработка покажет, кто изменил определенный документ.

1 стартмани

30.07.2019    994    6    ranis888    6       

Отправление событий журнала регистрации в приватный / публичный канал Telegram в виде сообщений и файлов 5

Инструменты и обработки Программист Конфигурация (md, cf) v8 v8::УФ Абонемент ($m) WEB Журнал регистрации

Данная конфигурация позволяет получать события журнала регистрации в телеграм в виде сообщений и файлов.

1 стартмани

29.07.2019    1048    3    serg-lom89    0       

Простейшее использование Elasticsearch для работы с журналом регистрации 15

Инструменты и обработки Системный администратор Программист Архив с данными v8 1cv8.cf Абонемент ($m) Журнал регистрации

Простейшая настройка выгрузки журнала регистрации в Elasticsearch для ускорения поиска.

1 стартмани

20.06.2019    1855    2    milut    7       

Как отправить ошибки из журнала регистрации на почту? Продолжение. Отдельная база 4

Инструменты и обработки no Конфигурация (md, cf) v8 Windows Абонемент ($m) Журнал регистрации

Добавлена отдельная база: возможность указания списка баз, из которых нужно собирать ошибки, возможность указания почтового профиля для каждой базы.

1 стартмани

27.05.2019    1509    2    wowik    0       

Запуск встроенного в платформу механизма История данных для ленивых 17

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

В последних версиях платформы 1С появился замечательный механизм Истории данных. Если кратко, механизм позволяет сохранять историю, просматривать, сверять и самое приятное, это восстанавливать любую версию объекта. А самое главное, чтобы это заработало, не нужно продумывать, писать и поддерживать тонны кода, все уже сделано за нас... Возникает вопрос: Как запустить встроенный в платформу механизм Истории данных ничего не кодируя?

1 стартмани

24.05.2019    2871    3    _root    12       

Отчет для просмотра отчетов, которые запускали пользователи 12

Отчеты и формы Системный администратор Пользователь Внешний отчет (ert,erf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

Отчет отвечает на вопрос: кто, и как часто формирует отчеты. Было протестировано на Управлении торговлей, конфигурация 11.4.1.273.

1 стартмани

18.05.2019    1704    8    Mari_Kuznetzova    3       

Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch 26

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Абонемент ($m) Журнал регистрации Поиск данных

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

5 стартмани

15.05.2019    3187    13    Nikolo17    12       

Журнал Регистрации ➜ Телеграмм 109

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Россия Абонемент ($m) Журнал регистрации

Подключаемая обработка для рассылки ошибок журнала регистрации в телеграмм.

1 стартмани

14.05.2019    5611    15    🅵🅾️🆇    9       

История данных [Расширение] УТ11 7

Инструменты и обработки Программист Расширение (cfe) v8 УТ11 Абонемент ($m) Журнал регистрации

Расширение позволяет хранить (восстанавливать) историю данных прикладных объектов (справочников, документов, движений регистров по документам).

3 стартмани

06.05.2019    1626    2    noprogrammer    6       

История выполнения фоновых заданий в виде диаграмм (версия 6.4.17) 20

Отчеты и формы Системный администратор Программист Внешний отчет (ert,erf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

Отчет предназначен для получения из журнала регистрации данных об истории выполнения фоновых заданий и отображения их в виде диаграмм.

1 стартмани

26.04.2019    2358    19    sertak    21       

Журнал регистрации по навигационной ссылке 7

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Журнал регистрации

Обработка получает записи журнала регистрации только по указанной навигационной ссылке (либо просто по ссылке).

1 стартмани

13.03.2019    2037    2    Смешной 1С    0       

Сообщение об ошибках журнала регистрации по электронной почте 2

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf ЗКГУ3.0 БП3.0 ЗУП3.x Россия Абонемент ($m) Журнал регистрации Email

Универсальная внешняя обработка по выгрузки ошибок журнала регистрации по электронной почте. Может работать как отдельно по команде, так и быть загруженной в справочник Дополнительные отчеты и обработки и запускаться по настраиваемому расписанию.

2 стартмани

04.03.2019    1399    3    ig-efrem    2       

Запрос к Журналу регистрации 2

Отчеты и формы Системный администратор Программист Внешний отчет (ert,erf) v8 ЗКГУ3.0 Россия Windows Абонемент ($m) Журнал регистрации

Краткая форма получения сведений из Журнала регистрации - с детализацией событий до минут

1 стартмани

03.03.2019    1724    9    mnb-next    2       

История версий объектов 2

Инструменты и обработки Системный администратор Программист Архив с данными v8 1cv8.cf Россия Абонемент ($m) Журнал регистрации

Подсистема для записи и хранения изменений любых объектов ссылочного типа. Формирует хронологию работы пользователей с базой данных. Позволяет произвести быстрый поиск версии объекта БД по указанным параметрам и восстановить данные выбранной версии. Протестирована в конфигурации ЗУП, редакция 2.5 на платформе 1С:Предприятие 8.2 (8.2.19.130). Обычные формы. В поставке выгрузка тестовой демонстрационной базы и файл CF c объектами подсистемы.

1 стартмани

22.02.2019    2344    7    dmitrydemenew    3       

Рассылка событий журнала регистрации 4

Инструменты и обработки Программист Конфигурация (md, cf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

Отправка событий журнала регистрации на почту с возможностью группировки и фильтрации.

1 стартмани

07.02.2019    2059    2    Just4Fun    0       

Как отправить ошибки из журнала регистрации на почту? 34

Статья Программист Нет файла v8 УПП1 Абонемент ($m) Журнал регистрации

Процедуры отправки ошибок из журнала регистрации на почту. Журнал регистрации выгружается в файл Excel, далее прикрепляется к письму. Для отправки писем создано регламентное задание.

1 стартмани

06.02.2019    4063    wowik    0       

Монитор активных пользователей по журналу регистрации 1

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Россия Windows Абонемент ($m) Журнал регистрации

Монитор активности пользовательских сеансов с возможностью завершить сеансы и соединения. Платформа 1С: 8.3.12.1685. БСП не используется

1 стартмани

01.02.2019    1964    3    mefalcon    2       

Ошибки, предупреждения и прочее из журнала регистрации на почту и в Telegram автоматически (БП 3, ЗУП 3.1, УТ 11.4, ERP 2.4, Розница 2.2) 22

Инструменты и обработки Системный администратор Программист Пользователь Внешняя обработка (ert,epf) v8 Розница УНФ ERP2 ЗКГУ3.0 БП3.0 УТ11 ЗУП3.x Абонемент ($m) Журнал регистрации Поиск данных Тестирование и исправление Email

Данная обработка позволяет анализировать журнал регистрации с пользовательским отбором (4 критерия отбора) и высылать отчет пользователю с заданной периодичностью на электронную почту или в Телеграм. Возможно использовать как регламентное задание (автоматическая отправка отчетов по времени), непосредственно запускать из клиента, а также выгружать в форму обработки отфильтрованные данные из журнала регистрации без отправки.

2 стартмани

28.01.2019    3838    23    Redinternational    3       

Удаление одинаковых версий в журнале регистрации, очистка записей по неверсионированным объектам 1

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Украина Абонемент ($m) Чистка базы Журнал регистрации

Обработка также позволяет очищать лишние записи версий объектов, которые все-таки остаются для регистрации в журнале регистрации. Также возможна очистка по неверсионированным в журнале регистрации объектам.

2 стартмани

09.01.2019    1887    t_yuri    0       

Архивирование и удаление файлов журнала регистрации на Linux-сервере 3

Инструменты и обработки Системный администратор Архив с данными v8 Linux Абонемент ($m) Журнал регистрации

Bash-скрипт для архивации и удаления файлов Журнала регистрации в старом формате на Linux-сервере 1С Предприятия.

1 стартмани

29.11.2018    2277    Sloth    4       

Загрузка журнала регистрации 1С v8 в базу SQLServer 6

Инструменты и обработки Системный администратор Программист Архив с данными v8 Россия Windows Абонемент ($m) Журнал регистрации

Загрузка журнала регистрации 1С v8 в базу SQLServer, для хранения архивной информации по журналам, быстрого поиска и/или переноса данных из журнала и его усечения.

10 стартмани

26.10.2018    3408    7    user1054014    12       

Мониторинг активности пользователя 26

Инструменты и обработки Системный администратор Расширение (cfe) v8 БП3.0 Россия Абонемент ($m) Журнал регистрации

Расширение предназначено для мониторинга активности пользователей, фиксирует какие окна открывал и когда пользователь в программе. Автоматически завершает работу не активных пользователей, что позволяет экономить системные ресурсы. Есть отчет об Активности пользователей по часам с возможностью отбора по конкретному пользователю. Расширение для типовых конфигураций 1С на управляемых формах в режиме совместимости 8.3.12.

1 стартмани

26.10.2018    3799    47    xan333    2       

Python-скрипт для массового переключения формата журнала регистрации 3

Инструменты и обработки Системный администратор Архив с данными v8 1cv8.cf Абонемент ($m) Журнал регистрации

Python-скрипт для массового переключения формата журнала регистрации. В первую очередь из SQL в файл. python.exe 1c_format_log_chenger.py Analyze, clearing and change journal format for 1C journal system Use -a or --analyze for analyzing Use -c or --clear for delete all log files Use --sql2file for change logfiles format 2 File Use --file2sql for change logfiles format 2 SQL

1 стартмани

12.10.2018    3081    DonAlPatino    8       

История изменений с ОТКАТОМ (на основе типового решения) 4

Отчеты и формы Системный администратор Бухгалтер Внешняя обработка (ert,epf) v8 УТ11 Россия Абонемент ($m) Журнал регистрации

История изменений документов и справочников с откатом на версию и с отбором по измененным реквизитам для УТ.

1 стартмани

11.10.2018    2963    6    strelec13    2       

Отчет "История изменения объектов" на СКД для БП 3.0, УТ 11, КА 2, ERP 2 (версии объектов) с использованием версионирования объектов 9

Отчеты и формы Системный администратор Бухгалтер Внешний отчет (ert,erf) v8 v8::УФ v8::СКД ERP2 БП3.0 УТ11 КА2 Россия Windows Абонемент ($m) Журнал регистрации

Отчет "История изменения объектов" предназначен для отслеживания изменений справочников и документов в базах 1С. Позволяет выводить сводную таблицу изменений одновременно по всем отобранным объектам. Работает в конфигурациях БП 3.0, УТ 11, КА 2.0, ERP 2.

5 стартмани

03.10.2018    5120    49    mrm1212    35       

Обработка журнала регистрации в формате SQLLite 6

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Россия Windows Абонемент ($m) Журнал регистрации

Обработка предназначена для работы с файлом "1Cv8.lgd" журнала регистрации 1С в формате "SQLLite". Выборка и удаление записей.

1 стартмани

14.09.2018    4141    33    VslavKup    6       

Активные сеансы пользователей на СКД по журналу регистрации для анализа пиков активности и количества одновременно запущенных сеансов 1

Отчеты и формы Системный администратор Внешний отчет (ert,erf) v8 v8::СКД 1cv8.cf Абонемент ($m) Журнал регистрации

Отчет на СКД по журналу регистрации исключительно по событиям сеансов - начало и завершение. Отчет можно использовать для анализа количества работающих пользователей по часам рабочего дня и поиска пиков активности.

1 стартмани

24.08.2018    3425    17    cmax    0       

Мой велосипед для журнала регистрации. Внешний отчёт 4

Отчеты и формы Системный администратор Внешний отчет (ert,erf) v8 УПП1 Абонемент ($m) Журнал регистрации

Отчет по журналу регистрации с отбором по виду метаданных и типу операции.

1 стартмани

31.07.2018    4368    16    alexlx    6       

Мониторинг журнала регистрации при помощи Powershell 28

Статья Системный администратор Программист Архив с данными v8 Windows Абонемент ($m) Сервисные утилиты Журнал регистрации

Работа с журналом регистрации в формате SQLite внешними средствами на примере мониторинга изменений в конфигурации базы данных.

1 стартмани

12.07.2018    7402    3    user768334    7       

Журнал регистрации 1С (sql lite) в web app 13

Статья Программист Архив с данными v8 1cv8.cf Абонемент ($m) Журнал регистрации

Данная публикация рассматривает построение компонентного решения работы журнала регистрации в стороннем приложении(web app). Встала задача миграции sql lite жр во внешнюю базу. Данное решение было создано: 1. для хранения жр за весь период 2. для ускорения работы с жр 3. для ускорения сервера предприятия, так как именно он (а точнее рагент) пытается записать данные в жр sql lite(фактически файл на диске), после увеличения размера файла более 10 гб, поступали жалобы по вопросу быстродействия 1с (и не только ради этого) Данная публикация может быть полезной администраторам, программистам, оптимизаторам.

1 стартмани

09.07.2018    5888    5    dmarenin    4       

R2-D2: журнал регистрации, монитор обменов, аварийные уведомления 14

Инструменты и обработки Системный администратор Программист Архив с данными v8 Россия Абонемент ($m) Сервисные утилиты Журнал регистрации Распределенная БД (УРИБ, УРБД) Администрирование данных 1С

Обслуживание Журналов регистрации нескольких баз 1С. Сбор и обработка сведений о статусах обменов баз 1С, рассылка аварийных уведомлений.

2 стартмани

14.06.2018    7931    16    pbabincev    7       

Отчет "История изменения объектов" на СКД для УПП и КА (версии объектов) с использованием версионирования объектов 13

Отчеты и формы Системный администратор Внешний отчет (ert,erf) v8 v8::СКД КА1 УПП1 Абонемент ($m) Журнал регистрации

Отчет "История изменения объектов" предназначен для отображения изменений объектов (справочники и документы) за указанный период и с учетом отбора по заданным параметрам объектов. Работает в конфигурациях УПП 1.3 и КА 1.1

5 стартмани

22.05.2018    6336    39    mrm1212    11       

Анализ активности пользователей 5

Отчеты и формы Системный администратор Внешний отчет (ert,erf) v8 1cv8.cf Россия Windows Абонемент ($m) Журнал регистрации

Анализ журнала регистрации произвольной конфигурации формата LGD. Платформа 1С:Предприятие 8.3 (8.3.11.2954).

1 стартмани

11.05.2018    5436    18    forusing    0       

Журнал регистрации из формы документа или справочника 7

Инструменты и обработки no Внешняя обработка (ert,epf) v8 Розница УНФ БП3.0 УТ11 КА2 Абонемент ($m) Журнал регистрации

Данная обработка позволяет просматривать журнал регистрации (кто из пользователей последний вносил изменения) по справочнику или документу прямо из формы. Не требуется изменение конфигурации.

2 стартмани

23.04.2018    7668    34    Kutuzov    7       

Протокол действий с документом. Внешняя печатная форма 6

Отчеты и формы Системный администратор Программист Бухгалтер Внешняя обработка (ert,epf) v8 1cv8.cf Россия Абонемент ($m) Журнал регистрации Печатные формы документов

В больших коллективах пользователям (бухгалтерам) нужно быстро узнать, кто, когда и какие действия производил с документом. Представляю универсальную внешнюю печатную форму к любой конфигурации на 1С 8.3 (уф). Обработка сама регистрируется ко всем документам конфигурации. Обработка делает отбор по журналу регистраций и выводит краткую печатную форму. Выводит реальную дату и время создания документа из GUID.

1 стартмани

21.03.2018    5123    14    DEG156    1       

Версии объекта (просмотр версий текущего объекта) 10

Инструменты и обработки Системный администратор Архив с данными v8 КА1 УПП1 Абонемент ($m) Журнал регистрации

Печатная форма, вызывающая отчет подобный встроенному История изменений объектов.

2 стартмани

12.03.2018    7150    3    SITR-utyos    2       

Повышение качества разработок и онлайн контроль ошибок 163

Статья no Расширение (cfe) v8 Абонемент ($m) Журнал регистрации

Анализ ошибок и сбор ошибок журнала регистраций из десятков и сотен баз в одном месте.

09.03.2018    19106    136    DitriX    47       

История изменений объектов 2

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Украина Абонемент ($m) Журнал регистрации

Обработка "История изменений объектов" представляет собой типовой отчет истории изменений объектов, с функцией подключения в виде внешней печатной формы, и возможностью формирования макета "Параметры авторегистрации".

1 стартмани

07.03.2018    6847    4    sakila    0       

История изменений объектов 3

Отчеты и формы Системный администратор Программист Внешний отчет (ert,erf) v8 УПП1 Россия Абонемент ($m) Журнал регистрации

Отчет позволяет получить все изменения по выбранному типу объектов. Может оказаться полезным для администраторов в случае, когда необходимо посмотреть историю изменения различных объектов конкретным пользователем. Протестировано на платформе 8.2.19.130, конфигурации 1С:УПП 1.3.88.2

3 стартмани

02.02.2018    8319    18    s000632    7       

Как нам защитить журнал 4

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Информационная безопасность Журнал регистрации

Первая и важнейшая функция бухгалтерского учета - функция защиты, охраны. В ее основе лежит идея сколь простая, столь же эффективная. Вы должны построить такую систему, в которой любое неправомерное действие будет оставлять следы. Другими словами: никто не будет делать ничего плохого, если это плохое тут же вскроется. Кстати, верно и обратное. Если в вашей системе можно сделать что-то плохое так, что никто никогда не узнает, тогда это плохое рано или поздно сделают. Для обеспечения защитной функции, в 1С уже давно существует т.н. журнал регистрации. Но, к сожалению, есть две причины, по которым этот журнал не может считаться средством защиты...

1 стартмани

23.01.2018    8554    5    mkalimulin    51       

Интерфейс для истории данных (платформенное версионирование) в режиме обычных форм 16

Отчеты и формы Системный администратор Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Абонемент ($m) Журнал регистрации

Как известно, в версии платформы 8.3.11 появился встроенный в платформу механизм версионирования "История данных", однако штатных средств работы с ним в платформе при работе в режиме обычных форм не предусмотрено. Данная обработка предоставляет интерфейс для взаимодействия с механизмом истории данных, функционально сходный с интерфейсом, встроенным в платформу при работе в режиме управляемого приложения.

1 стартмани

12.01.2018    12356    46    Prometeus2011    8       

Анализ времени работы пользователей по журналу регистрации 1

Отчеты и формы Пользователь Руководитель проекта Внешний отчет (ert,erf) v8 v8::СКД 1cv8.cf УУ Учет рабочего времени Абонемент ($m) Журнал регистрации

Отчет анализирует время начала и окончания сеанса в 1С и представляет эти данные в одной таблице.

1 стартмани

08.12.2017    7282    19    belmaxim    0       

Поиск пользователя, блокирующего объект (документооборот 2.1) 1

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 ДО Россия Windows Абонемент ($m) Журнал регистрации

Небольшая обработка помогает найти пользователя, который блокирует объект: внутренний документ, задачу и т.д.

1 стартмани

04.12.2017    6437    9    YuraMatasov    3       

История формирования отчётов. (Используем новые возможности расширений в 8.3.11) 22

Инструменты и обработки Системный администратор Программист Расширение (cfe) v8::УФ v8::СКД УНФ ДО БП3.0 УТ11 ЗУП3.x Абонемент ($m) Журнал регистрации

Подсистема ведёт историю формирования отчётов и позволяет быстро подгрузить используется настройки в отчёт.

1 стартмани

28.11.2017    10396    16    SeiOkami    1       

Сокращение журнала регистрации (Пакетный запуск и в режиме предприятия) 7

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Россия Абонемент ($m) Журнал регистрации

Обработка сокращения журнала регистрации. Работает в режимах пакетного запуска (конфигуратор) и в режиме предприятия. Есть возможность подключения как регламентного задания.

1 стартмани

24.11.2017    5990    14    Zedd4D    6