Сценарное сравнение данных (версия 1.5.12)

25.02.21

Задачи пользователя - Поиск данных

Прикладное решение Сценарное сравнение данных (ССД) предназначено для автоматизации процесса поиска расхождений в данных.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Сценарное сравнение данных
.cf 512,03Kb ver:1.5.12
34
34 Скачать (1 SM) Купить за 1 850 руб.

Ядром решения является обработка Консоль сравнения данных (КСД). Консоль сама по себе позволяет в один момент времени провести только одно сравнение между данными из двух источников по заданным пользователям правилам. Текущее же прикладное решение позволяет вручную либо с помощью механизма регламентных заданий выполнить цепочку операций сравнения с уведомлением о результате сравнения по заданным пользователем каналам связи.

Возможно сравнение данных, полученных из следующих источников:

  • информационные  базы  1С  (через  COM,  а  также  текущая  информационная  база,  если конфигурацию ССД объединить с конфигурацией рабочей базы);
  • базы  данных  SQL  (Microsoft  SQL  Server,  PostgreSQL  и  др.,  для  которых  есть  подходящий драйвер);
  • файлы формата CSV/TXT/DBF/XLS/XML.

Алгоритм работы с прикладным решением:

  1. Формирование списка всех возможных «точек контроля» (неудачный термин, но пока я не придумал более подходящий) в учетных системах (или файлах), равенство данных в которых важно для  компании  (остатки  и  обороты  на  р/с,  остатки  и  обороты  дебиторской  и  кредиторской задолженности, синхронизируемые документы и элементы справочников и т.д).
  2. Создание для каждой «точки контроля» одной или нескольких операций сравнения данных с  помощью Консоли сравнения данных (например,  для  контроля  поиска  расхождений остатков  по  остаткам  на  расчетных  счетах    между  данными  торговли  и  бухгалтерии,  как минимум, нужна операция (1) для сравнения, собственно, остатков, затем операция (2) сравнения суммы оборотов за последние Х дней как ближайший кандидат на расхождение, затем операция (3) сравнения суммы оборотов по дням за эти же Х дней для выявления дня (вместо дней можно, взять любую другу подходящую под данную ситуацию аналитику или несколько аналитик (регистратор, номер расчетного счета и т.д.) по выбору пользователя).
  3. Настройка  всех  возможных  комбинаций  вариантов  передачи  сообщений  (запись  в  файл, запись в журнал регистрации, отправка по электропочте, отправка в корпоративный чат  MyChat) и событий, инициирующих отправку сообщения (совпадение данных, расхождение данных, ошибка) (например, при любых ошибках сообщение должно быть записано в файл и журнал регистрации, а также отправлено на электронную почту и в чат техническому специалисту, при расхождении данных в одних «точках контроля» – отправка сообщения на электронную почту ответственным сотрудникам  и  запись  расхождений  в  файл,  при  расхождении  в  других  –  отправка  и  только техническому специалисту и запись расхождений в файл и т.д.).
  4. Создание сценария для каждой или нескольких «точек контроля», в котором будет указана последовательность и условия выполнения операций сравнения (например, для поиска расхождения остатков  на  р/с  необходимо  определить,  имеет  ли  место  факт  расхождения  (чтобы  не сравнивать сразу обороты, что отнимет больше ресурсов у сервера, чем получение остатков) с помощью операции (1), в случае расхождения с помощью операции (2) необходимо определить, есть ли  расхождения  в  сумме  оборотов  за  последние  Х  дней/месяцев,  если  есть  расхождения,  то  с помощью  операции  (3)  будет  найден  день  (или  другая  аналитика),  в  котором  возникли расхождения,  а  если  за  последние  Х  дней  расхождений  в  суммах  не  найдено,  то  требуется повторить операции (2) и (3) для предыдущего/следующего периода и т.д.).
  5. Логическая  группировка  сценариев  по  времени  и  частоте  выполнения  в  зависимости  от загрузки  сервера,  времени  работы  пользователей  и  др.,  создание  для  каждой  группы  сценариев отдельного регламентного задания.

Требуется версия платформы 8.3.7.1759.

При возникновении вопросов пишите в комментах, в личку, на электропочту или в скайп (данные есть в справке конфигурации).

С помощью данного прикладного решения, оперирующего само собой, объектами 1С, не стоит сравнивать таблицы значений из сотен тысяч и более строк, для этого стоит поискать более высокопроизводительный инструмент.

P.S. Благодарю пользователя Alxby за возможность использовать его библиотеки для работы с графической схемой, а также пользователей starik-2005 и kosmo0 за конструктивные диалоги в комментариях к Консоли сравнения данных, подтолкнувшие меня к написанию конфигурации ССД.

сравнение данные сценарий сравнить SQL TXT DBF CSV XML контроль сопоставление сопоставить

См. также

Поиск данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия Платные (руб)

Обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! (Обновление от 27.11.2023, версия 6.12)

10800 руб.

14.05.2012    159862    341    253    

574

Математика и алгоритмы Инструментарий разработчика Универсальные функции Поиск данных Программист Платформа 1С v8.3 1C:Бухгалтерия 1С:ERP Управление предприятием 2 Абонемент ($m)

Несколько упакованных в один класс интерфейсов для обработки популярных универсальных коллекций. Для тех, кого раздражает отсутствие действительно единого интерфейса для универсальных коллекций.

5 стартмани

25.09.2024    2685    1    Артано    14    

19

Поиск данных Программист Платформа 1С v8.3 Россия Бесплатно (free)

В этой статье я хочу рассмотреть еще один кейс применения Clickhouse в связке с 1С - оптимизацию поиска в справочнике по ключевым словам. Здесь не будет готового решения, но будут описаны важные моменты, которые позволят легко применить данный кейс в реальности.

18.08.2024    2282    1cnik2    23    

16

Поиск данных Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Отображение и просмотр реквизитов справочника или документа - с бесконечным открытием подуровней.

1 стартмани

14.06.2024    3777    12    RustIG    30    

22

Поиск данных Системный администратор Программист Платформа 1С v8.3 Россия Абонемент ($m)

Статья об опыте развертывания и интеграции с базой данных Manticore Search для быстрого полнотекстового поиска.

1 стартмани

30.11.2023    5186    andreysidor4uk    18    

55

Поиск данных Системный администратор Программист Пользователь Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Стандартная обработка с доработанным выводом ссылок в виде дерева с учётом фильтра и с удобным подбором исходного объекта

2 стартмани

24.11.2023    1382    15    SerVer1C    10    

10

Поиск данных Корректировка данных Пользователь Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия Абонемент ($m)

PowerOffice - обработка для поиска, просмотра и обработки данных для пользователей. Доступ к объектам на просмотр и редактирование данных определяется правами пользователя.

1 стартмани

05.06.2023    2469    26    PowerBoy    1    

16

Поиск данных Программист Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия Абонемент ($m)

Получение ссылки в 1С по бинарной строке из PostgreSQL в виде строки формата bytea или из MSSQL в виде шестнадцатиричной строки. Кроме ссылочных объектов ссылки могут быть получены и для перечислений. Это может быть полезно при анализе логов журнала регистрации или СУБД.

1 стартмани

04.04.2023    3394    4    berserg    2    

13
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. sertak 325 18.08.19 12:13 Сейчас в теме
Актуальная инструкция к конфигурации доступна здесь.
wowik; cheburashka; 27272; +3 Ответить
24. sertak 325 15.10.24 14:20 Сейчас в теме
(1) Прикрепляю инструкцию (версия 1.1) тут, поскольку сайт, на котором она раньше была выложена, больше не поддерживаю по причине отсутствия необходимости в нем.
Прикрепленные файлы:
Сценарное сравнение данных.pdf
2. sertak 325 20.08.19 09:36 Сейчас в теме
Версия 1.1.2:
обновлены отчеты и обработки до последних версий;
режим совместимости изменен на 8.3.6.
3. kosmo0 111 22.08.19 08:51 Сейчас в теме
Опять укажу потенциальную граблю. Если сравнение идет ТОЛЬКО по представлению, то в некоторых случая возможны ошибки. Было дело пришлось менять какой-то документ по зарплате и персоналу. Что-то в табличной части менял/добавлял руками. По итогу сравнивал с движениями этого же документа до изменений - изменений не было (вроде как). Сам удивляюсь, как заметил что в одной строке "Иванов Иван Иваныч" ранее был из справочника ФизЛицо, а я поставил из справочника Сотрудники. То есть тип столбца в документе включал эти оба справочника. И по представлению нельзя определить из какого справочника элемент.
4. sertak 325 22.08.19 08:52 Сейчас в теме
(3) Пользователь, использующий инструмент, САМ выбирает ключи. Можно сделать составной, указав тип во втором столбце ключа, можно вытянуть GUID, да что фантазия позволит, то и можно.

И обсуждать такие темы удобнее напрямую в публикации с самой обработкой КСД: https://infostart.ru/public/581794/, а текущая публикация - это инструмент для автоматического выполнения уже заполненной обработки КСД.
5. sertak 325 04.02.20 10:49 Сейчас в теме
Версия 1.1.3:
отчеты и обработки обновлены до последних версий.
6. cheburashka 44 25.04.20 21:40 Сейчас в теме
Мелочь, конечно, но у поля "Пароль" в форме настройки подключения к базе лучше включить режим пароля.
7. sertak 325 26.04.20 22:19 Сейчас в теме
8. cheburashka 44 27.04.20 21:55 Сейчас в теме
(7) Еще несколько нюансов, на которые я обратил внимание. Прошу не принимать их близко к сердцу. Возможно в следующей версии вашей разработки они найдут свое место в ней:
1) в учетной записи электронной почты наименование слишком короткое;
2) было бы отлично иметь возможность протестировать настройки учетной записи эл. почты;
3) диалог выбора каталога расхождений в сценарии;
4) возможность указания нескольких получателей эл. письма (списком или через разделитель в строке);
5) флажок "Актуальность" у сообщений лучше сразу устанавливать в Истину при создании нового элемента, иначе его легко пропустить. Я пропустил уже дважды;
6) в инструкции сказано "Консоль заданий, входящая в прикладное решение", но никакой консоли заданий я не нашел.

Судя по скринам в инструкции у вас есть сообщение для отправки писем всем пользователям. Но как я понял отправляется только файл CSV, который обычным пользователям просматривать очень неудобно. Я правильно понял, что альтернатив кроме CSV нет?
9. sertak 325 27.04.20 22:46 Сейчас в теме
(8) Спасибо за обратную связь! Проверю все и отпишусь в личку по каждому пункту.
11. sertak 325 28.04.20 12:05 Сейчас в теме
(8) Реализовано в версии 1.2.0.
10. sertak 325 28.04.20 12:05 Сейчас в теме
Версия 1.2.0:
при создании нового элемента справочника Шаблоны сообщений флаг Актуальность устанавливается по умолчанию;
в форме справочника Учетные записи электронной почты добавлена возможность тестирования подключения;
увеличена длина наименования справочника Учетные записи электронной почты;
отчеты и обработки обновлены до последних версий;
режим совместимости изменен на 8.3.7.
P.S. Спасибо пользователю cheburashka за идеи и конструктивную критику.
12. cheburashka 44 28.04.20 15:56 Сейчас в теме
(10) Отлично, спасибо! Ваша разработка действительно хороша и сейчас очень актуальна для меня. Единственное я так и не получил ответ на вопрос:
Судя по скринам в инструкции у вас есть сообщение для отправки писем всем пользователям. Но как я понял отправляется только файл CSV, который обычным пользователям просматривать очень неудобно. Я правильно понял, что альтернатив кроме CSV нет?


Если в планах добавлять другие варианты нет, то я сам сделаю и потом могу поделиться с вами. Мне важно чтобы пользователи могли без моего участия разбираться в расхождениях. Для этого им нужно удобное представление расхождений.
13. sertak 325 28.04.20 16:28 Сейчас в теме
(12) Я писал в личку. Продублирую здесь:
На данный момент нет, обработка выгружает в таблицу значений, а из нее в csv. В принципе можно допилить выгрузку в другие форматы, если есть предложения.

У меня пользователем являюсь я ), поэтому csv меня устраивает. Вполне можно доработать, какие форматы для выгрузки таблицы расхождений вы видите удобными для конечных пользователей?
14. sertak 325 30.04.20 16:56 Сейчас в теме
Версия 1.3.5:
реализована возможность отправки файла расхождений по электронной почте;
обработка КСД обновлена до последней версии (теперь поддерживается выгрузка файла расхождений в форматах CSV, DOCX, HTML, MXL, ODS, PDF, TXT, XLS, XLSX).
15. sertak 325 06.05.20 22:32 Сейчас в теме
Версия 1.3.6:
обработка КСД обновлена до последней версии (исправлена ошибка, возникавшая при сравнении по составному ключу в последней версии обработки).
16. sertak 325 17.05.20 14:30 Сейчас в теме
Версия 1.4.7:
реализована возможность гибкой настройки формата имен файлов расхождений;
обработка КСД обновлена до версии 15.2.51 (теперь поддерживается предварительный просмотр данных из каждого источника).
17. sertak 325 03.09.20 10:23 Сейчас в теме
Версия 1.4.8:
при пометке сценария на удаление не проверяются никакие требования к заполнению реквизитов и т.п.;
добавлена команда О программе;
обработка КСД обновлена до версии 15.2.53.
18. sertak 325 18.02.21 10:27 Сейчас в теме
Версия 1.4.10:
обработка КСД обновлена до версии 15.6.58.
19. sertak 325 23.02.21 12:32 Сейчас в теме
Версия 1.4.11:
обработка КСД обновлена до версии 15.9.61.
20. sertak 325 25.02.21 11:16 Сейчас в теме
Версия 1.5.12:
добавлена команда "Консоль сравнения данных" для обеспечения возможности одновременного открытия нескольких экземпляров консоли сравнения данных;
реализована возможность сохранения/загрузки сценария в файл/из файла;
реализована возможность добавления собственного произвольного префикса к именам автоматически выгружаемых файлов расхождений;
реализована возможность передачи параметров из сценария в запросы 1С операций сравнения (ранее такая возможность была реализована только для параметров ДатаНачала и ДатаОкончания);
справочник ВС_СценарииСравненияДанных стал иерархическим для обеспечения удобства группировки сценариев.
21. sertak 325 25.02.21 11:19 Сейчас в теме
Коллеги, извиняюсь, что не успеваю актуализировать инструкцию. При возникновении вопросов пишите в комментах, в личку, на электропочту или в скайп (данные есть в справке конфигурации).
22. softbear 3 28.09.21 17:16 Сейчас в теме
Как получить параметр запроса если надо значение COMОбъект
Например COMОбъект.ПланыВидовХарактеристик.ВидыСубконтоХозрасчетные.Номенклатура
Оставьте свое сообщение