Сценарное сравнение данных (версия 1.5.12)

25.02.21

Задачи пользователя - Поиск данных

Прикладное решение Сценарное сравнение данных (ССД) предназначено для автоматизации процесса поиска расхождений в данных.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Сценарное сравнение данных
.cf 512,03Kb ver:1.5.12
33
33 Скачать (1 SM) Купить за 1 850 руб.

Ядром решения является обработка Консоль сравнения данных (КСД). Консоль сама по себе позволяет в один момент времени провести только одно сравнение между данными из двух источников по заданным пользователям правилам. Текущее же прикладное решение позволяет вручную либо с помощью механизма регламентных заданий выполнить цепочку операций сравнения с уведомлением о результате сравнения по заданным пользователем каналам связи.

Возможно сравнение данных, полученных из следующих источников:

  • информационные  базы  1С  (через  COM,  а  также  текущая  информационная  база,  если конфигурацию ССД объединить с конфигурацией рабочей базы);
  • базы  данных  SQL  (Microsoft  SQL  Server,  PostgreSQL  и  др.,  для  которых  есть  подходящий драйвер);
  • файлы формата CSV/TXT/DBF/XLS/XML.

Алгоритм работы с прикладным решением:

  1. Формирование списка всех возможных «точек контроля» (неудачный термин, но пока я не придумал более подходящий) в учетных системах (или файлах), равенство данных в которых важно для  компании  (остатки  и  обороты  на  р/с,  остатки  и  обороты  дебиторской  и  кредиторской задолженности, синхронизируемые документы и элементы справочников и т.д).
  2. Создание для каждой «точки контроля» одной или нескольких операций сравнения данных с  помощью Консоли сравнения данных (например,  для  контроля  поиска  расхождений остатков  по  остаткам  на  расчетных  счетах    между  данными  торговли  и  бухгалтерии,  как минимум, нужна операция (1) для сравнения, собственно, остатков, затем операция (2) сравнения суммы оборотов за последние Х дней как ближайший кандидат на расхождение, затем операция (3) сравнения суммы оборотов по дням за эти же Х дней для выявления дня (вместо дней можно, взять любую другу подходящую под данную ситуацию аналитику или несколько аналитик (регистратор, номер расчетного счета и т.д.) по выбору пользователя).
  3. Настройка  всех  возможных  комбинаций  вариантов  передачи  сообщений  (запись  в  файл, запись в журнал регистрации, отправка по электропочте, отправка в корпоративный чат  MyChat) и событий, инициирующих отправку сообщения (совпадение данных, расхождение данных, ошибка) (например, при любых ошибках сообщение должно быть записано в файл и журнал регистрации, а также отправлено на электронную почту и в чат техническому специалисту, при расхождении данных в одних «точках контроля» – отправка сообщения на электронную почту ответственным сотрудникам  и  запись  расхождений  в  файл,  при  расхождении  в  других  –  отправка  и  только техническому специалисту и запись расхождений в файл и т.д.).
  4. Создание сценария для каждой или нескольких «точек контроля», в котором будет указана последовательность и условия выполнения операций сравнения (например, для поиска расхождения остатков  на  р/с  необходимо  определить,  имеет  ли  место  факт  расхождения  (чтобы  не сравнивать сразу обороты, что отнимет больше ресурсов у сервера, чем получение остатков) с помощью операции (1), в случае расхождения с помощью операции (2) необходимо определить, есть ли  расхождения  в  сумме  оборотов  за  последние  Х  дней/месяцев,  если  есть  расхождения,  то  с помощью  операции  (3)  будет  найден  день  (или  другая  аналитика),  в  котором  возникли расхождения,  а  если  за  последние  Х  дней  расхождений  в  суммах  не  найдено,  то  требуется повторить операции (2) и (3) для предыдущего/следующего периода и т.д.).
  5. Логическая  группировка  сценариев  по  времени  и  частоте  выполнения  в  зависимости  от загрузки  сервера,  времени  работы  пользователей  и  др.,  создание  для  каждой  группы  сценариев отдельного регламентного задания.

Требуется версия платформы 8.3.7.1759.

При возникновении вопросов пишите в комментах, в личку, на электропочту или в скайп (данные есть в справке конфигурации).

С помощью данного прикладного решения, оперирующего само собой, объектами 1С, не стоит сравнивать таблицы значений из сотен тысяч и более строк, для этого стоит поискать более высокопроизводительный инструмент.

P.S. Благодарю пользователя Alxby за возможность использовать его библиотеки для работы с графической схемой, а также пользователей starik-2005 и kosmo0 за конструктивные диалоги в комментариях к Консоли сравнения данных, подтолкнувшие меня к написанию конфигурации ССД.

сравнение данные сценарий сравнить SQL TXT DBF CSV XML контроль сопоставление сопоставить

См. также

Поиск данных Внешние источники данных Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если вам нужно автоматически генерировать представления (view) к вашей базе данных 1С (есть две версии - для СУБД MS SQL Server и для PostgreSQL) по структуре метаданных 1С, то вам необходима данная обработка. Наш "Генератор View", другими словами - это коннектор к данным 1С для Power BI - незаменимый помощник для бизнес-аналитиков, работающих с базами 1С из Yandex Datalens/Power BI и т.д. Работает для обычных и управляемых форм под 1С 8.3

230000 руб.

31.07.2020    13734    13    48    

25

Поиск данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! (Обновление от 27.11.2023, версия 6.12)

10800 руб.

14.05.2012    158937    336    253    

570

Розничная торговля WEB-интеграция Поиск данных Пользователь Платформа 1С v8.3 Оперативный учет 1С:Розница 2 1С:Управление торговлей 11 Управленческий учет Платные (руб)

Альтернатива сервису 1С Номенклатура, не требует подписки ИТС, ищет данные в открытых источниках. Для поиска товара по штрихкоду в сети интернет, полезно для первоначального заполнения базы.

1999 руб.

15.10.2020    18966    23    63    

24

Математика и алгоритмы Инструментарий разработчика Универсальные функции Поиск данных Программист Платформа 1С v8.3 Конфигурации 1cv8 1С:ERP Управление предприятием 2 Абонемент ($m)

Несколько упакованных в один класс интерфейсов для обработки популярных универсальных коллекций. Для тех, кого раздражает отсутствие действительно единого интерфейса для универсальных коллекций.

5 стартмани

25.09.2024    2215    0    Артано    14    

19

Поиск данных Программист Платформа 1С v8.3 Россия Бесплатно (free)

В этой статье я хочу рассмотреть еще один кейс применения Clickhouse в связке с 1С - оптимизацию поиска в справочнике по ключевым словам. Здесь не будет готового решения, но будут описаны важные моменты, которые позволят легко применить данный кейс в реальности.

18.08.2024    1791    1cnik2    23    

14

Поиск данных Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Отображение и просмотр реквизитов справочника или документа - с бесконечным открытием подуровней.

1 стартмани

14.06.2024    3389    7    RustIG    26    

22

Поиск данных Системный администратор Программист Платформа 1С v8.3 Россия Абонемент ($m)

Статья об опыте развертывания и интеграции с базой данных Manticore Search для быстрого полнотекстового поиска.

1 стартмани

30.11.2023    4544    andreysidor4uk    18    

53

Поиск данных Корректировка данных Пользователь Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Абонемент ($m)

PowerOffice - обработка для поиска, просмотра и обработки данных для пользователей. Доступ к объектам на просмотр и редактирование данных определяется правами пользователя.

1 стартмани

05.06.2023    2324    25    PowerBoy    1    

15
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. sertak 324 18.08.19 12:13 Сейчас в теме
Актуальная инструкция к конфигурации доступна здесь.
wowik; cheburashka; 27272; +3 Ответить
24. sertak 324 15.10.24 14:20 Сейчас в теме
(1) Прикрепляю инструкцию (версия 1.1) тут, поскольку сайт, на котором она раньше была выложена, больше не поддерживаю по причине отсутствия необходимости в нем.
Прикрепленные файлы:
Сценарное сравнение данных.pdf
2. sertak 324 20.08.19 09:36 Сейчас в теме
Версия 1.1.2:
обновлены отчеты и обработки до последних версий;
режим совместимости изменен на 8.3.6.
3. kosmo0 111 22.08.19 08:51 Сейчас в теме
Опять укажу потенциальную граблю. Если сравнение идет ТОЛЬКО по представлению, то в некоторых случая возможны ошибки. Было дело пришлось менять какой-то документ по зарплате и персоналу. Что-то в табличной части менял/добавлял руками. По итогу сравнивал с движениями этого же документа до изменений - изменений не было (вроде как). Сам удивляюсь, как заметил что в одной строке "Иванов Иван Иваныч" ранее был из справочника ФизЛицо, а я поставил из справочника Сотрудники. То есть тип столбца в документе включал эти оба справочника. И по представлению нельзя определить из какого справочника элемент.
4. sertak 324 22.08.19 08:52 Сейчас в теме
(3) Пользователь, использующий инструмент, САМ выбирает ключи. Можно сделать составной, указав тип во втором столбце ключа, можно вытянуть GUID, да что фантазия позволит, то и можно.

И обсуждать такие темы удобнее напрямую в публикации с самой обработкой КСД: https://infostart.ru/public/581794/, а текущая публикация - это инструмент для автоматического выполнения уже заполненной обработки КСД.
5. sertak 324 04.02.20 10:49 Сейчас в теме
Версия 1.1.3:
отчеты и обработки обновлены до последних версий.
6. cheburashka 43 25.04.20 21:40 Сейчас в теме
Мелочь, конечно, но у поля "Пароль" в форме настройки подключения к базе лучше включить режим пароля.
7. sertak 324 26.04.20 22:19 Сейчас в теме
8. cheburashka 43 27.04.20 21:55 Сейчас в теме
(7) Еще несколько нюансов, на которые я обратил внимание. Прошу не принимать их близко к сердцу. Возможно в следующей версии вашей разработки они найдут свое место в ней:
1) в учетной записи электронной почты наименование слишком короткое;
2) было бы отлично иметь возможность протестировать настройки учетной записи эл. почты;
3) диалог выбора каталога расхождений в сценарии;
4) возможность указания нескольких получателей эл. письма (списком или через разделитель в строке);
5) флажок "Актуальность" у сообщений лучше сразу устанавливать в Истину при создании нового элемента, иначе его легко пропустить. Я пропустил уже дважды;
6) в инструкции сказано "Консоль заданий, входящая в прикладное решение", но никакой консоли заданий я не нашел.

Судя по скринам в инструкции у вас есть сообщение для отправки писем всем пользователям. Но как я понял отправляется только файл CSV, который обычным пользователям просматривать очень неудобно. Я правильно понял, что альтернатив кроме CSV нет?
9. sertak 324 27.04.20 22:46 Сейчас в теме
(8) Спасибо за обратную связь! Проверю все и отпишусь в личку по каждому пункту.
11. sertak 324 28.04.20 12:05 Сейчас в теме
(8) Реализовано в версии 1.2.0.
10. sertak 324 28.04.20 12:05 Сейчас в теме
Версия 1.2.0:
при создании нового элемента справочника Шаблоны сообщений флаг Актуальность устанавливается по умолчанию;
в форме справочника Учетные записи электронной почты добавлена возможность тестирования подключения;
увеличена длина наименования справочника Учетные записи электронной почты;
отчеты и обработки обновлены до последних версий;
режим совместимости изменен на 8.3.7.
P.S. Спасибо пользователю cheburashka за идеи и конструктивную критику.
12. cheburashka 43 28.04.20 15:56 Сейчас в теме
(10) Отлично, спасибо! Ваша разработка действительно хороша и сейчас очень актуальна для меня. Единственное я так и не получил ответ на вопрос:
Судя по скринам в инструкции у вас есть сообщение для отправки писем всем пользователям. Но как я понял отправляется только файл CSV, который обычным пользователям просматривать очень неудобно. Я правильно понял, что альтернатив кроме CSV нет?


Если в планах добавлять другие варианты нет, то я сам сделаю и потом могу поделиться с вами. Мне важно чтобы пользователи могли без моего участия разбираться в расхождениях. Для этого им нужно удобное представление расхождений.
13. sertak 324 28.04.20 16:28 Сейчас в теме
(12) Я писал в личку. Продублирую здесь:
На данный момент нет, обработка выгружает в таблицу значений, а из нее в csv. В принципе можно допилить выгрузку в другие форматы, если есть предложения.

У меня пользователем являюсь я ), поэтому csv меня устраивает. Вполне можно доработать, какие форматы для выгрузки таблицы расхождений вы видите удобными для конечных пользователей?
14. sertak 324 30.04.20 16:56 Сейчас в теме
Версия 1.3.5:
реализована возможность отправки файла расхождений по электронной почте;
обработка КСД обновлена до последней версии (теперь поддерживается выгрузка файла расхождений в форматах CSV, DOCX, HTML, MXL, ODS, PDF, TXT, XLS, XLSX).
15. sertak 324 06.05.20 22:32 Сейчас в теме
Версия 1.3.6:
обработка КСД обновлена до последней версии (исправлена ошибка, возникавшая при сравнении по составному ключу в последней версии обработки).
16. sertak 324 17.05.20 14:30 Сейчас в теме
Версия 1.4.7:
реализована возможность гибкой настройки формата имен файлов расхождений;
обработка КСД обновлена до версии 15.2.51 (теперь поддерживается предварительный просмотр данных из каждого источника).
17. sertak 324 03.09.20 10:23 Сейчас в теме
Версия 1.4.8:
при пометке сценария на удаление не проверяются никакие требования к заполнению реквизитов и т.п.;
добавлена команда О программе;
обработка КСД обновлена до версии 15.2.53.
18. sertak 324 18.02.21 10:27 Сейчас в теме
Версия 1.4.10:
обработка КСД обновлена до версии 15.6.58.
19. sertak 324 23.02.21 12:32 Сейчас в теме
Версия 1.4.11:
обработка КСД обновлена до версии 15.9.61.
20. sertak 324 25.02.21 11:16 Сейчас в теме
Версия 1.5.12:
добавлена команда "Консоль сравнения данных" для обеспечения возможности одновременного открытия нескольких экземпляров консоли сравнения данных;
реализована возможность сохранения/загрузки сценария в файл/из файла;
реализована возможность добавления собственного произвольного префикса к именам автоматически выгружаемых файлов расхождений;
реализована возможность передачи параметров из сценария в запросы 1С операций сравнения (ранее такая возможность была реализована только для параметров ДатаНачала и ДатаОкончания);
справочник ВС_СценарииСравненияДанных стал иерархическим для обеспечения удобства группировки сценариев.
21. sertak 324 25.02.21 11:19 Сейчас в теме
Коллеги, извиняюсь, что не успеваю актуализировать инструкцию. При возникновении вопросов пишите в комментах, в личку, на электропочту или в скайп (данные есть в справке конфигурации).
22. softbear 3 28.09.21 17:16 Сейчас в теме
Как получить параметр запроса если надо значение COMОбъект
Например COMОбъект.ПланыВидовХарактеристик.ВидыСубконтоХозрасчетные.Номенклатура
Оставьте свое сообщение