Загрузка журнала регистрации 1С v8 в базу SQLServer

26.10.18

База данных - Журнал регистрации

Загрузка журнала регистрации 1С v8 в базу SQLServer, для хранения архивной информации по журналам, быстрого поиска и/или переноса данных из журнала и его усечения.

Скачать файлы

Наименование Файл Версия Размер
Загрузка журнала регистрации 1С v8 в SQL:
.7z 111,45Kb
19
.7z 111,45Kb 19 Скачать

Журнал регистрации 1С храниться в виде файла базы SQLite и имеет следующую структуру

структура журнала разная, в зависимости от версии 1С мы рассматриваем структуру 1Сv8

AppCodes

ComputerCodes

ComputerToUserCodes

EventCodes

EventLog

EventLogMetadata

MetadataCodes

PrimaryPortCodes

SecondaryPortCodes

SessionDataCodes

SessionDataSplits

SessionHosts

SessionParamCodes

SessionUsers

UserCodes

WorkServerCodes

на изображении схема данных, в структуре созданной в базе SQL Server с префиксом «t

Для работы с файлом журнала в SQL как с линкованным сервером, его необходимо подключить
Но для начала 
обязательно необходимо установить ODBC драйвера для работы с SQLite

скачать драйвер (помним про разрядность системы) 

После установки драйвера, нам необходимо создать линкованный сервер, т.е. подключиться к файлу журнала
у нас есть 2 способа:

1. создать системный DSN и подключиться со ссылкой на DSN

2. создать подключение в SQL с указанием ссылки на файл и провайдера данных

Далее
После подключения журнала регистрации 1С к SQL серверу можно приступать к работе
при чтении журнала в SQL, необходимо помнить что все обращения идут через оперативную память сервера, поэтому читать данные необходимо порциями и/или предварительно «резать» журнал

При попытке загрузить "толстый журнал", после загрузки 3-5 гигабайт в оперативную память (если столько есть) SQL Server выдаст ошибку, поэтому рекомендую размер файла до 1 гигабайта

обращаться к таблицам журнала можно через OPENQUERY или на прямую, но для обращений на прямую, необходимо скорректировать настройки провайдера данных руками, или скриптом

Все, мы можем работать с журналом в SSMS и ни в чем себе не отказывать.

При необходимости настраиваем партиционирование и работаем с журналом по выбранным периодам.

sql server журнал регистрации структура

См. также

LogManager - Внешний журнал регистрации в SQL

Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Журнал регистрации платформы 1С в SQL. Общая база хранения всех журналов. Через com-подключение регламентным заданием периодически догружает журналы регистраций из рабочих баз. Предоставляет настраиваемый доступ к журналам по правам подразделений. Формирует отчеты по пользователям и данным.

10000 руб.

23.05.2014    55418    52    16    

47

Версионирование справочников, документов и регистров сведений на SQL-сервере

Журнал регистрации Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

История изменений реквизитов и табличных частей справочников, документов, независимых регистров сведений, возможность отката изменения, восстановление удаленных объектов, сбор статистики использования базы 1С. Альтернативный журнал регистрации.

22800 руб.

22.02.2018    35119    58    53    

55

Журнал изменений с восстановлением состояния ссылочных объектов и архивацией по HTTP / COM (расширение + конфигурация, 8.3.14+, ЛЮБАЯ конфигурация)

Архивирование (backup) Журнал регистрации Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 11 Платные (руб)

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость работы почти в 2 раза выше типового механизма "История изменений"! Позволяет следить за изменениями и удалением в любых ссылочных объектах конфигурации, с возможностью архивации по HTTP(!) или COM, и сверткой данных. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Есть ДЕМО-база где можно самостоятельно протестировать часть функционала! Работает на любых платформах выше 8.3.14+ и любых конфигурациях! Версия 3.1 от 24.08.2023!

19200 руб.

15.05.2017    42473    10    24    

38

Мониторинг баз и серверов 1С

Журнал регистрации Мониторинг Платформа 1С v8.3 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

9000 руб.

28.08.2019    30839    14    21    

65

Версионирование объектов для Альфа-авто, ред 4 и 5.

Оптовая торговля Розничная торговля Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Автомобили, автосервисы Управленческий учет Платные (руб)

Подсистема версионирования объектов для конфигураций Рарус: Альфа-авто на базе типовой подсистемы от 1С. Позволяет хранить историю изменений документов и справочников, кто, что, когда и какие данные изменял, а так же вернуться к предыдущим версиям объекта.

4800 руб.

03.09.2016    42219    32    24    

36

Уведомления на почту по событиям журнала регистрации на email и в Telegram (для УНФ, УТ 11, БП 3.0, ЗУП 3.0, ERP)

Мессенджеры и боты Журнал регистрации Мониторинг Email рассылки Платформа 1С v8.3 Управляемые формы 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Рассылка уведомлений о событиях журнала регистрации на электронную почту и в Телеграмм. Программа позволяет анализировать журнал регистрации по заданным критериям, находить в нём интересующие события, и отправлять уведомления об этих событиях на электронную почту (одного или нескольких получателей) или в телеграмм. Может работать и как внешняя обработка, и как регламентное задание. Для УНФ, УТ 11, БП 3.0, ЗУП 3.0, ERP.

10800 руб.

18.06.2017    32258    3    2    

15

Регламентное сокращение журнала регистрации

Инструменты администратора БД Журнал регистрации Платформа 1С v8.3 1С:Управление торговлей 11 Абонемент ($m)

Внешняя обработка для регламентного сокращения журнала регистрации для конфигураций на базе БСП и платформы 8.3.20+

1 стартмани

29.12.2023    1217    11    dima_gsv    1    

12

Магия преобразований: ЖР, ТЖ, RAS/RAC, логи - универсальное решение Vector

Мониторинг Журнал регистрации Технологический журнал Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023    2884    4    AlexSTAL    0    

42
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Iveperfect 08.11.18 09:49 Сейчас в теме
Здравствуйте! У вас не возникло проблемы кодировки для столбца Data в таблице EventLog? В базу SQL данные выгружаются в читаемом виде или что-то такое: "Получение регР?
3. user1054014 8 08.11.18 10:23 Сейчас в теме
(1) Приветствую.
Возникло, поэтому не только "as is" загрузка идет, но и добавлена функция по преобразованию кодировки и записи данных в отдельное поле
2. herfis 496 08.11.18 10:14 Сейчас в теме
Есть робкое предложение по доработке - добавить возможность выгружать через стандартный ВыгрузитьЖурналРегистрации() (с настраиваемой порционностью по временным промежуткам). Я бы купил.
4. user1054014 8 08.11.18 10:30 Сейчас в теме
(2) пока не готов ответить будет или нет.
самый большой нюанс, который сейчас пытаюсь побороть это нарезка журнала. Так как загрузка идет через оперативную память, и сейчас столкнулся с журналом регистрации (который три года не резался) в 140GB. Сейчас ищу более изящное решение, кроме долгой и нудной нарезки средствами 1С.
Также замечу, что не зависимо от версии sql server если грузить большой журнал и оперативной памяти не хватит, то будет ошибка, и память останется занятой, либо пока не перезапустите sql, либо пока не "убьете" хендл с подчиненным процессом sql server-а, который держит журнал.
5. herfis 496 08.11.18 10:39 Сейчас в теме
Просто я пришел к старому формату лога (текстовому) как наиболее удобному и функциональному. В том числе там штатно настраивается порционность хранения лога, что позволяет очень просто чистить его при необходимости и настраивать авторотацию (плюс нет проблем, которые могут возникать с sqlite). Проблема объемов и скорости анализа штатными средствами частично решена выборочной записью событий. Поэтому до агрегации логов руки никак и не доходят. Хотя видимо рукава закатать все же придется.
7. user1054014 8 08.11.18 11:19 Сейчас в теме
Тут все просто
любая система требует обслуживания и мониторинга
разрастание журнала регистрации, который еще и на системном диске лежит, это не доработка тех кто обслуживает систему и их руководителей.
но это лирика...
6. kuzev 47 08.11.18 11:13 Сейчас в теме
Если у Вас клиент-серверная архитектура, то как Вы работаете "на лету" с файлом журнала? Разве он не "схвачен" сервером 1С?
8. user1054014 8 08.11.18 11:21 Сейчас в теме
(6)
1. остановили сервер 1С
2. скопировали лог
3. произвели усечение или удаление лога, освободив память
4. запустили сервер 1С

далее работаем с копией лога как захотим
9. kuzev 47 08.11.18 11:23 Сейчас в теме
10. chessman 192 22.01.19 15:00 Сейчас в теме
Вопросы такие - какими порциями и как часто подкачивается у вас журнал? При подкачке Вы ориентируетесь на rowID? В реальном режиме времени чтение из журнала не сильно влияет на работу 1С-ой базы? И какой при этом размер файла журнала?
Спасибо.

Тут же: (вдруг кому пригодится) после создания linked server, sql ругался на невозможность установки соединения. Помогла установка глобального параметра сервера 'lightweight pooling' в 0.

На одной из картинок к публикации, создается view. А не проще сбоку прикрутить табличку соответствия событий анг <-> рус., вместо бесконечных case'ов?
11. user1054014 8 23.01.19 07:56 Сейчас в теме
(10) Была задача загрузки исторических журналов от нескольких систем 1С в одну базу и дальнейшая, регулярная загрузка журналов в общую базу.

"какими порциями и как часто подкачивается у вас журнал?"
Текущая частота 1 раз в месяц

"При подкачке Вы ориентируетесь на rowID?"
в журнале есть дата, при загрузке идет сравнение по идентификатору базы которой принадлежит журнал, rowid и дате записи строки.
чтобы не грузить дубликаты

"В реальном режиме времени чтение из журнала не сильно влияет на работу 1С-ой базы?"
в реальном режиме чтение (загрузка журнала в базу) не производим, загружаем во время проведения регламентных работ.
после чего производим усечение журнала до необходимой даты

"И какой при этом размер файла журнала? "
сейчас до 2ГБ, исторические файлы весили до 300ГБ (на текущий момент имеем в загрузке 2мрд. записей из журналов)

"А не проще сбоку прикрутить табличку соответствия событий анг <-> рус., вместо бесконечных case'ов?"
Проще
12. chessman 192 23.01.19 08:42 Сейчас в теме
(11) А в реальном режиме времени не пробовали грузить? Скажем, раз в минуту...Тогда, можно было бы прикрутить к SQL'ой базе систему мониторинга и анализа ошибок. Я смотрю, народ активно использует разные интересные сторонние сервисы. Да даже без сторонних можно что-то придумать. Не смотрели в эту сторону? Спасибо.
13. serovmsk 2 15.09.22 19:12 Сейчас в теме
LoadFromJournalRegistration - а где процедура? ее нет в поставке
14. serovmsk 2 15.09.22 19:14 Сейчас в теме
Возможность загружать множество журналов регистрации 1Сv8 в базу данных SQL Server - нет такой возможности, есть понимание как сделать?
15. serovmsk 2 15.09.22 20:47 Сейчас в теме
CREATE PROCEDURE <Procedure_Name, sysname, ProcedureName> нет скриптов по созданию указанных процедур
Оставьте свое сообщение