gifts2017

Сравнение табличных документов

Опубликовал Damian (Damian) в раздел Обработки - Универсальные обработки

- Вот можно же сравнить текстовые файлы, TotalCommander'ом, например, и все сразу видно: какие строки отличаются, какие строки уникальны... А мне такое же самое для табличного документа надо... Сделаете, а?

Идея этой обработки возникла, когда после очередного переноса данных из 7.7 в 8.2 сотрудники Заказчика не смогли проверить правильность переноса путем сравнения контрольных отчетов по причине банального неумения работать с табличными документами. Они распечатали километровые портянки контрольных отчетов и 3 дня 2 человека выверяли их вручную с фломастерами, после чего плюнули на это дело и обиделись на меня...

Пришлось им помочь уже бесплатно: повторно осуществили перенос и научили их сравнивать файлы MS Excel. И хотя это несколько ускоряет работу "крыжильщиков", все равно процент ручной работы остается очень высоким.

Поэтому, с заделом на будущее, было решено несколько автоматизировать этот процесс.


Итак, что умеет обработка.

Обработка умеет сравнивать 2 табличных файла. Допустимые форматы - MXL и XLS. При сравнении файлов MS Excel наличие на компьютере установленного MS Excel не требуется, чтение файлов производится посредством ADODB.

Для сравнимаемых полей возможен также вывод разницы этих колонок, если они имеют числовой тип.

Перед сравнением для каждого файла необходимо указать диапазоны строк и колонок для чтения. Можно регулировать состав полей, которые будут выведены в результат, определять ключевые поля и поля сравнения.

Сравнение может производится в двух режимах: последовательное сравнение и обычное. 

Последовательное сравнение происходит следующим образом:

- считывается первая строка обоих файлов

- проверяется, совпадают ли в строках ключевые поля (сопоставление строк)

- если ключевые поля совпадают, производится сравнение полей сравнения и выводится одна строка в результирующий документ

- если ключевые поля не совпадают, считается, что это две абсолютно разные строки и в результирующий документ выводится 2 строки: одна как "присутствующая только в первом файле", вторая - "присутствующая только во втором файле".

Тоже самое происходит, если в каком либо файле действительно присутствует строка, которой нет в другом файле. При этом дальнейшее сравнение может происходить с ошибками, поскольку в файлах одинаковые строки смещены отностительно друг друга.

- считывается следующая строка файла и все повторяется...

Обычное сравнение происходит несколько иначе и, на мой взгляд, более предпочтительно:

- считывается первая строка первого файла

- по значениям ключевых полей во втором файле ищется подходящая строка

- если такая строка найдена, производится сравнение и выводится одна строка в результирующий документ. В дальнейшем при поиске эта строка уже не учитывается.

- если такая строка не найдена, выводится строка первого документа

- если по завершении чтения первого файла во втором файле остались строки, которые еще не учавствовали в сравнении, они выводятся в конце результирующего документа

Результирующий табличный документ отображает поля обоих файлов, цвет строк определяет результат их сравнения.

Обработка снабжена кратенькой справкой, постарался расписать порядок работы более-менее понятно :)

Update 20.09.2012:

  • добавлен вывод разницы сравниваемых полей и устранены мелкие ошибки.

Update 27.09.2012:

  • - добавлено автоопределение размеров таблиц при выборе файла
  • - реализовано автоопределение заголовка колонки и типа значения колонки, если начальная строка указана не первая
  • - реализована возможность автозаполнения табличных частей "Сопоставление строк" и "Сравнение строк"
  • - добавлена возможность открывать выбранные файлы на просмотр из формы обработки
  • - реализована индикация процесса
  • - добавлена возможность перемещаться по результирующему табличному документу к следующему/предыдущему различию
  • - мелкие интерфейсные доработки

 Update 21.03.2013:

  • - добавлена опция для включения регистронезависимого сравнения строк (спасибо Vanchez за идею)
  • - добавлена возможность регулировать ширину всех колонок сразу (по пожеланию gull22 :)
  • - добавлена возможность установки отбора в результирующем табличном документе: только различающиеся, только из первого файла, только из второго файла
  •  

Скачать файлы

Наименование Файл Версия Размер
Сравнение табличных документов 328
.epf 45,41Kb
21.03.13
328
.epf 45,41Kb Скачать

См. также

PowerTools от 1 000
Подписаться Добавить вознаграждение
Комментарии
1. mailrum2004 19.09.12 19:31
Спасибо. Хорошая обработка. Можно еще вывести отдельной колонкой разницу сумм.
2. Damian (Damian) 19.09.12 19:55
3. Сергей Валутин (Bacemo) 19.09.12 20:55
да. Это лучше, чем штатная 1С Сравнение файлов. Так что + поставил
4. Андрей Акулов (DrAku1a) 20.09.12 02:33
Отлично! Теперь не нужно "париться" с ексель-функцией ВПР!
5. Иван Иванов (Famza) 20.09.12 08:24
(0) При сравнении двух файлов mxl из 7.7 выскочило
{ВнешняяОбработка.СравнениеТабличныхДокументов.МодульОбъекта(213)}: Ошибка при вызове метода контекста (Область)
Ячейка = ТабДок.Область("R"+ТекущаяСтрока+"C"+ТекущаяКолонка);
по причине:
Область не найдена: R1 000C2
Пересохранил в 8ке - результат тот же
6. Damian (Damian) 20.09.12 09:54
(5) совсем забыл, что числа добавляются к строкам с неразрывным пробелом между разрядами :) Сегодня поправлю.
7. Damian (Damian) 20.09.12 13:47
Добавлена возможность вывода разницы между сравниваемыми колонками числового типа и поправлены некоторые ошибки.
8. Осипов Сергей (fixin) 20.09.12 15:50
Молодетс! Давно сам хотел написать такую обработку.
Только хотел, чтобы она сама определяла ключевые поля (нечисловые), анализируя статистику совпадаений.
И чтобы могла сравнивать многострочные отчеты, где одна строка данных занимает 2-3 строки (в 1с-стиле, те же карточки счета и т.п.)
9. Damian (Damian) 20.09.12 16:20
(8) была идея, чтобы сравнивала ячейки не одной строки, а нескольких (для сравнения ОСВ было бы милое дело), но обломался реализовывать.
Может добавлю, может нет, может кто-то другой добавит и выложит :) Буду только за :)
10. Эдуард Зелинский (VasMart) 20.09.12 16:29
11. Damian (Damian) 20.09.12 17:04
(10) WinMerge в своем первозданном виде не умеет сравнивать таблицы подобным образом. Возможно, есть плагины для него, которые реализовывают этот функционал, но я не задавался их поиском.
12. Осипов Сергей (fixin) 20.09.12 17:09
(9) ладно, оставь одну строку, но сделай автопоиск ключа хотя бы. Тогда будет мегажесть и тебе отольют памятник из золота.

Смотри, как это работает.
Есть две таблицы с, например, 5 колонками.
Ты предполагаешь, что у каждой из таблиц одинаковый уникальный ключ из нескольких колонок. Задача - его найти.

Перебираем ключи из 1, 2, 3 и 4х колонок.
Ищем такую комбинацию колонок, которая максимально встречается во второй таблице.

Ну например, есть колонки ФИО Рост Вес Дата
Я беру сначала ФИО, ФИО не годится, т.к. есть неоднозначные соответствия.
Я беру ФИО + Рост, но опять же не прокатывает, т.к. есть дубли.
А вот ФИО + Дата дублей не будет.

И еще - не мешало бы автосопоставлять колонки.
Например, по значениям - можно ведь определить, где колонка ФИО, где колонка адреса, где колонка дат и т.п.
Это еще не ИИ, но интересная тема. Тут бы пользователям помочь - подсказать какие виды таблиц бывают.

Пусть она сравнивает только плоские таблицы, в конце концов, всегда можно получить однострочные таблицы, или заюзать мою обработку по вытягиванию многоэтажных списков.
13. tazmag tazmag (tazmag) 20.09.12 17:37
14. Damian (Damian) 20.09.12 19:00
(12) действительно, интересная тема, но, на мой взгляд, трудо- и ресурсоемкая. К тому же пользователи могут вконец облениться :)

(13), а зачем? для DBF придется указывать имена полей сопоставления и сравнения, следовательно файл надо открыть каким-нить просмотрщиком, тем же Excel... А раз открыли в Excel, почему бы его не сохранить как XLS? Ну и дальше по накатанной :)
15. Осипов Сергей (fixin) 20.09.12 19:21
(14) озолочение оно требует сил. Чтобы быть Золотым, нужно чтобы юзвери невыносимо Любили. Вот как меня, например. ;-)
16. Яков Коган (Yashazz) 21.09.12 13:02
(8), (9) Ага. Однажды я озверел и сделал такую штуку, мои юзвери все пользуются. А потом 2 года всё собирался причесать и на ИС выложить, но вот, опередили. Сравнение для нескольких строк тоже влом делать оказалось.
17. Осипов Сергей (fixin) 21.09.12 13:25
(16) вот видишь, как важно преУСПЕТЬ
18. mailrum2004 21.09.12 14:20
Спасибо за изменения (7). Идея (12) автоматического поиска ключевых колонок очень понравилась. Хорошо еще иметь возможность указывать тип для каждого файла в отдельности, чтобы сравнить *.xls с *.mxl
19. Damian (Damian) 21.09.12 15:21
(18) для того, чтобы задать параметры чтения файла, его надо открыть и посмотреть на состав колонок и количество строк. Мне кажется, при этом ничего не мешает сохранить MXL в XLS и сравнивать уже файлы одного формата.
20. andrey dyak (dyak84) 23.09.12 09:30
Спасибо вещь то что доктор прописал, плюс куча нужных плюшек. Сравнение с помощю екзеля уже просто достало, каждому новому человеку обясняй одно и тоже. Автору огромное спасибо, так держать. Появятся деньги обязательно скачаю.
21. Иван Иванов (Famza) 24.09.12 08:47
(0), еще было бы неплохо прикрутить просмотр сравниваемых файлов - удобней и номера колонок заполнять будет
22. Иван Иванов (Famza) 24.09.12 09:18
(0), взял две оборотки из 7.7, сохранил в *.mxl и сравнил. Результат:
1. При выборе в настройках сравнения для файла типа "Число" ячейки обнуляются. Может преобразовать в число хотя бы для файлов 1С?
2. При последовательном сравнении файлов сопоставление получается такое:
Прикрепленные файлы:
23. Damian (Damian) 24.09.12 19:10
(22),
1. Если не удается преобразовать значение ячейки в число (значение содержит нецифровые символы) - возвращается 0.
2. Последовательное сравнение так и будет работать. Этот режим нормально отработает только при идентичном содержимом колонок сопоставления.
24. Иван Иванов (Famza) 25.09.12 09:02
(23) Damian, но ведь колонки в пункте 2 одинаковы - стандартная ОСВ.
25. Светлана Гильман (SvetLanaGil) 26.09.12 13:54
Спасибо за обработку! Отличное подспорье в работе.
26. Александр Федорович (Фред) 27.09.12 13:15
На досуге попробую, Кажется, может помочь иногда.))
27. Damian (Damian) 28.09.12 11:27
(24) Famza, судя по приложенному скрину, во втором файле нет строки "08.4 Приобр. отд. объектов ОС". Последовательное сравнение так и должно отработать. Вообще этот режим сравнения изначально не планировался и в дальнейшем развиваться вряд ли будет. Используйте обычное сравнение, оно даст более качественный результат.

Обработка обновлена, см. Update 27.09.2012.
28. юрий гулидов (gull22) 05.10.12 13:17
Отличная обработка. Пожелание автору. Не обязательное, и за то чтоесть низкий поклон. Желательно реализовать возможность изменения ширины колонок на закладке "Результат", а то экрана бывает не хватает
29. Владимир Б (antares_of) 29.10.12 11:42
Очень полезная обработка. Встроенная в 1с обработка "сравнить файлы" тоже это делает, но не дает ни каких возможностей настройки перед выводом. А еще в стандартной я столкнулся с проблемой: когда сравниваю остатки в двух базах УТ, выгружаю в табличный документ всего две колонки с кодом (или названием) и с количеством. Так она мне некоторые позиции сопоставляет с теми у которых совершенно другой код и говорит, что код изменился. Хотя номенклатура с таким кодом (или названием) есть в обеих базах.
30. Илья Ванчугов (Vanchez) 13.03.13 12:34
Спасибо, очень пригодилась! Для себя добавил галки "Не учитывать регистр" (для колонок сопоставления), "Выводить только разные строки".
32. Иван Иванов (Famza) 14.03.13 08:43
(31) gurtas,
z ghjcnj cgfvk. n/r / ytn ltytu f j,hf,jnre [jxtncz

транслит "я просто спамлю т/к / нет денег а обработку хочется". Спам одноозначно
33. Валентина Иванова (VallyD) 14.03.13 22:49
Обработка наверное хорошая, но если я правильно поняла, то если сформировать ОСВ по товарам с учетом партий, ничего не получится правильно сравнить. Не поможет ни последовательное, ни обычное сравнение. Так как для разных товаров может быть один партиеобразующий документ, и тогда наступит полная путаница. Пользователь fixin прав, без поиска ключа не обойтись.
34. Damian (Damian) 14.03.13 23:38
(33) да, не получится вообще нормально сравнить, если отчет построен иерархически, с группировками (не только ОСВ).
Для целей сравнения я обычно пишу на коленке отчет, который выведет таблицу значений, а потом в обработке указываю, совпадение каких полей можно считать ключом.
Иногда, кстати, быстрее не отчет на коленке набросать, а запрос в консоли - и вывести результат в табличный документ )
35. юрий гулидов (gull22) 29.03.13 17:08
Низкий поклон автору. Выручала экономя время не один раз! Скачал и другим советую.
36. Александр Хомяк (logarifm) 10.04.13 10:36
Идея имеется но она узкоприменима!
37. andrey dyak (dyak84) 10.04.13 10:57
Автор такой маленький вопрос а если сортировка в первом файле от А до Ю, а в другом от Ю до А как в таком случае будет работать ваша обработка. Большие по несколько тисяч строк Ваша обработка обрабативает. Зарание спасибо за ответ
38. Damian (Damian) 10.04.13 12:50
(37) сортировка файлов не имеет значения, если не используется последовательное сравнение.
39. Антон Кубочкин (toss) 31.05.13 10:51
Штатное сравнение хорошо показывает конкретные ячейки с измененными данными, у Вас же цветом выделяется вся строка, и если колонок с данными несколько - непонятно в какой из них отличаются значения. Хотелось бы более наглядной заливки.
40. юрий гулидов (gull22) 07.06.13 14:45
Беда пришла откуда не ждали. УПП релиз 1.3.40.2 платформа 8.2.18.102. При выборе файла Excel сообщение об ошибке
{ВнешняяОбработка.СравнениеТабличныхДокументов.МодульОбъекта(1885)}: Ошибка при установке значения атрибута контекста (ActiveConnection)
axCatalog.ActiveConnection = Connection;
по причине:
Произошла исключительная ситуация (0x800a0bb9)
41. Damian (Damian) 07.06.13 16:41
(39) Первоначально задача стояла вообще, в принципе, определить строки, в которых различаются значения, чтобы сузить область поиска ошибок.
Раскрашивание и т.п. - это уже мелкие, дорогие сердцу интерфейсные плюшки :)
Может, когда-нибудь попозже и реализую более наглядную заливку.

(40) Судя по информации, почерпнутой в доверительных беседах с Google, это какой-то бок .NET Framework.
Файлы Excel читаются при помощи ADODB, и где-то передаются недопустимые, с точки зрения .NET, аргументы.
Единственное, что могу предложить:
1. Попробовать запустить на другой машине
2. Скопировать файлы в чистый табличный документ, сохранить как MXL и сравнивать уже их.
42. 111111111 00000000000 (SAMIR666) 22.02.14 23:46
Отличная Оброботка
43. Слава (SlavaVNL) 16.12.14 03:07
Еще не проверял, но уже скачал и плюсанул. Всегда пользовался ВПР а тут такое счастие!
44. Vitaly . (sonGodv) 14.01.16 19:03
Качественная обработка. Жаль нет управляемой формы. Думаю добавить, как-то уже отвык от обычного приложения
45. Dmitry Bas (b-dm) 02.03.16 15:35
Хорошая вещица, добронто сделанная, но мне к сожалению не помогла...
46. Павел Знайкин (PavelZnaikin) 18.03.16 20:58
47. Неля *** (Castlevania) 08.04.16 11:39
Огромное спасибо! Очень помогла
48. Сергей Семенов (tricolor) 26.08.16 17:24