Сравнение скорости загрузки большого массива данных из табличного документа с помощью Microsoft EXCEL через COM и с помощью платформы 1С 8.х

Публикация № 1119024

Разработка - Обмен данными 1С - Загрузка и выгрузка в Excel

COM MS EXCEL 1C Сервер Загрузка Выгрузка Большие массивы данных

Тестирование COM MS Excel на сервере 1С и нативное чтение табличных документов в 1С.

Решил развенчать мифы по поводу "тормознутости" технологии COM при работе с Microsoft Excel и оперировании большими объемами данных.

Большими объемами данных в данном случае будет считаться матрица 50к х 20 элементов, т.е. 1Миллион элементов.

Для этого была создана простейшая обработка (проверена на платформе 8.3.14.1565), которая один и тот же табличный файл может читать как с привлечением MS Excel на клиенской машине, так и с помощью нативной возможности платформы 1С 8.х, появившейся уже достаточно давно.

Итак, первым в забеге был MS EXCEL.

Т.к. тест проводился в клиент-серверной базе, и на сервере приложения 1С не установлен MS Excel, то в данном случае придется передавать большой объем данных с клиента 1С на сервер 1С.

Результаты теста следующие:

Выделенные строки - это ЧИСТОЕ время формирования ТЗ на 1миллион значений. Чистое время составляет 0.785961 секунды. Время получения самого массива данных из MS Excel в 1С:

Т.е. 0.557474 секунды.

ИТОГО: 0.595377(создание COM-объекта MS EXCEL) + 0.472448(открытие файла) + 0.785961 + 0.557474 = 2.41126 секунды.

Время на передачу массива между клиентом и сервером не считаем, т.к. на сервере 1С установлен MS Excel.

 

Вторым был нативный метод чтения табличных документов платформой 1С.

Т.к. тест проводился в клиент-серверной базе, в данном случае придется передавать сам файл с клиента 1С на сервер 1С. Время передачи файла - 0.770753 секунды.

Результаты теста следующие:

Выделенные строки - это ЧИСТОЕ время формирования ТЗ на 1миллион значений. Чистое время составляет 22.394099 секунд.

ИТОГО: 0.770753(время на передачу файла с клиента 1С на сервер 1С) + 15.752302(время на чтение табличного документа из файла)  + 22.394099 секунд = 38.917154 секунды.

 

Внимательный читатель спросит: "почему при чтении через COM не учитывается время на передачу файла с клиента 1С на сервер?"

Ответ: Вносим корректировки в результаты.

Вариант1:

ВремяПередачиФайлаСКлиентаНаСервер = 0.770753 секунды

ОбщееВремяФормированияТЗ = 2.41126 секунды

Итого: 0.770753 секунды + 2.41126 секунды = 3.182013 секунды

 

Мораль сей басни такова: не стесняйтесь использовать Microsoft Excel на сервере 1С - это ЗАМЕТНО увеличивает скорость выгрузки/загрузки данных в/из табличных документов.

Скачать файлы

Наименование Файл Версия Размер
ТестированиеРаботыMSExcel

.epf 7,19Kb
06.09.19
1
.epf 8.3.14.1565 7,19Kb 1 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Abris9 22 08.09.19 09:41 Сейчас в теме
медленный в том случае, если считывать по ячейкам (через Cell), а если через COMSafeArray - то быстро.
2. CheBurator 3426 08.09.19 10:18 Сейчас в теме
3. nomad_irk 49 08.09.19 10:33 Сейчас в теме
(2)ADO использует тот же COM, только умеет работать с массивами.
4. kirillkr 28 09.09.19 12:02 Сейчас в теме
(0), если можно код приведите чтения средствами платформы. Что-то ощущение, что происходили какие-то ненужные операции в цикле, которые совсем не нужны.
6. nomad_irk 49 09.09.19 12:41 Сейчас в теме
(4) Перезамерил время. Вот так более информативно.
5. nomad_irk 49 09.09.19 12:19 Сейчас в теме
(4)Ничего там не используется, кроме тупого перебора всего миллиона ячеек, в отличие от варианта с MS Excel.
7. kirillkr 28 09.09.19 14:43 Сейчас в теме
(5), очень странно.. Я понял, что я был не прав в первом случае про циклы, т.к. не учел что надо перевести еще данные в ТЗ. Но можете попробовать тот же фокус с форматом xlsx? На сколько будет отличаться скорость чтения.
8. nomad_irk 49 09.09.19 15:08 Сейчас в теме
(7) Да без разницы.


обойти миллион значений - ДОЛГО в любом случае.

Для того, что бы было быстро, ТабДок должен уметь делать

МассивЗначений = ТабДок.Область(НачальнаяСтрока, 1, КонечнаяСтрока, 1).Значение;

И
МассивМассивовЗначений = ТабДок.Область(НачальнаяСтрока, 1, КонечнаяСтрока, КонечнаяСтрока).Значение;


Пока этого не будет - MS Excel будет вне конкуренции.

Причем МассивМассивов должен содержать в себе массивы по колонкам, а не по строкам, как это делает Ado.Recordset и OpenOffice/LibreOffice.
9. Sashares 18 23.09.19 15:15 Сейчас в теме
Немного не корректно в статье указаны замеры чтения для COM, если сравнивать с чтением через табличный документ.

Вы либо включите в замер создание ком объекта, а также всю работу с ком объектом в первый замер, либо из второго уберите ТабличныйДокумент.Прочитать().

На результат конечно это особо не повлияет, платформа читает дольше, но хотя бы сравниваться будут одинаковые действия.
10. nomad_irk 49 24.09.19 11:01 Сейчас в теме
(9) Время на создание COM-объекта и открытие файла было добавлено в самом конце в количестве 1 секунды на все.
Переделал, добавил это время во время формирования ТЗ.
11. SlavaKron 24.09.19 11:37 Сейчас в теме
Не корректно измерять производительность цикла в миллион итераций в режиме отладки. Отключите отладку. Используйте ТекущаяУниверсальнаяДатаВМиллисекундах() в коде. Для чистоты эксперимента цикл запишите в строку.
12. nomad_irk 49 24.09.19 12:32 Сейчас в теме
(11)Вы серьезно считаете, что все эти меры драматически ускорят процесс чтения 1М ячеек циклом 1С?
Хорошо. Вот результаты:


Время расчитывалось вот так:







Как было ~10-кратное превосходство, так и осталось.
13. Sashares 18 24.09.19 12:46 Сейчас в теме
(12)На 8.3.16 пробовали?
Тут пишут, что оптимизировали потребление памяти в табдоке.
https://dl03.1c.ru/content/Platform/8_3_16_869/1cv8upd_8_3_16_869.htm#2c7299b4-8dd0-11e9-8371-0050569f678a

Может он и работать побыстрее будет.
14. nomad_irk 49 24.09.19 12:54 Сейчас в теме
(13) Да проблема не в памяти вообще, оно не может быстрее работать, потому что 1М итераций в любом случае выполнить придется, в отличии от 50к итераций в случае MS EXCEL. Если бы ТЗ умела как массив создаваться сразу с определенным количеством строк, то и этих 50к итераций не было бы.
Как только платформа 1С научится работать с ТабДоком, как это делает MS EXCEL(см. (8)), так про EXCEL можно забыть сразу же.

У меня пока нет тестового сервера 8.3.16 версии. Пробовал на 8.3.14.1565.
15. Sashares 18 24.09.19 13:01 Сейчас в теме
(14)
1М итераций в любом случае выполнить придется

Это на самом деле не важно сколько итераций.
Не всем и не всегда надо грузить файл с размером 50к х 20.

Замедление наблюдается при получении значений свойств табдока и его областей.
Если в платформе починили работу с памятью, может и работать будет быстрее.
Как само чтение, так и обращение к нему.
16. nomad_irk 49 24.09.19 13:05 Сейчас в теме
(15)В данном конкретном случае как раз таки ОЧЕНЬ важно общее количество итераций, т.к. значения из ТабДока можно получить ТОЛЬКО обходом ВСЕХ нужных ячеек, в случае с MS EXCEL - это вообще не так, там 1М ячеек обходится за 50к итераций и то ТОЛЬКО для того, чтобы сформировать нужное количество строк в итоговой ТЗ.
17. Sashares 18 24.09.19 13:13 Сейчас в теме
(16)
Отличие MS EXCEL и чтения через таб.док я понимаю.
Речь не о данный конкретный случай.
У меня много задач по работе с таб.доком.
Поэтому было интересно, какие будут результаты вашего теста на 8.3.16, по сравнению с замерами в статье.
22. SlavaKron 24.09.19 17:29 Сейчас в теме
18. nomad_irk 49 24.09.19 13:17 Сейчас в теме
Я могу на своей рабочей машине протестировать в файловом варианте, если вы такой результат будете считать удовлетворительным.
19. Sashares 18 24.09.19 13:20 Сейчас в теме
(18)Если несложно, было бы хорошо=)
20. nomad_irk 49 24.09.19 13:34 Сейчас в теме
21. Sashares 18 24.09.19 13:47 Сейчас в теме
23. Nikola23 514 09.04.20 14:59 Сейчас в теме
Коллега, а у вас на сервере таки установлен или не установлен Excel?
И как наличие отсутствие оного связано с отсутствием подсчетов времени передачи с клиента на сервер?

Меня улыбает желание некоторых учить "как правильно", при неумении замечать огрехи у себя)

https://prnt.sc/rw2z3e

Засим позвольте кидание помидорами завершить.
24. nomad_irk 49 09.04.20 15:01 Сейчас в теме
(23) Если не понятно, то во время тестирования MS EXCEL на сервере 1С установлен не был, поэтому все так как описано.
26. Nikola23 514 09.04.20 15:05 Сейчас в теме
(24) Не, не, это у вас в рамках одного кейса то стоит, то не стоит.
Потому и не понятно.

А "если пользователю непонятно, то это ошибка архитектора, а не пользователя".
25. Nikola23 514 09.04.20 15:04 Сейчас в теме
Не, не сумел остановиться)
Ваш пример, вероятно, отражает только ваш опыт.

А вот в моем, платформа 1с падала при попытках прочитать файл средствами Excel либо зависала намертво.
А вот нативно - пережевывала и ничего.

Полагаю для наполнения статьи качеством - следует проверять больше различных массивов.
Да и Эксели у всех разные...

Размеры данных - приблизительно 350 000 строк и 47 колонок.
Это всего лишь заказы за 2 года в компании с оборотом чуть больше миллиарда.
Оставьте свое сообщение

См. также

Соответствие типов данных 1С:Предприятие 8.x в MS SQL 2008 Промо

Практика программирования Администрирование данных 1С Загрузка и выгрузка в Excel v8 1cv8.cf Абонемент ($m)

Соответствие типов данных 1С:Предприятие 8.x и MS SQL 2008

1 стартмани

13.01.2013    22240    YPermitin    8    

Препарирование xlsx файлов без MS Excel

Загрузка и выгрузка в Excel v8 1cv8.cf Россия Абонемент ($m)

Зоопарк офисных программ? WPS Office, MS Office, Open Office? В статье пойдет речь о том, как отредактировать XLSX файлы без создания COM-объектов.

1 стартмани

28.08.2017    16582    Сурикат    0    

Быстрое заполнение данными файла MS EXCEL

Практика программирования Загрузка и выгрузка в Excel v8 1cv8.cf Абонемент ($m)

Процедура для 1С быстрого заполнения данными произвольного файла MS Excel. Источник данных - текст с разделителями.

1 стартмани

13.07.2017    12255    dusha0020    4    

Выбор значения из выпадающего списка с поиском и переходом к ячейке с таким значением в Excel

Практика программирования Загрузка и выгрузка в Excel v8 1cv8.cf Абонемент ($m)

Поиск и переход к ячейке выполняется при помощи макроса. Макрос, как и сама книга, формируются программно в 1С.

1 стартмани

30.06.2017    17835    xrrg    0    

Конвертер Даты из числового формата Excel

Загрузка и выгрузка в Excel Универсальные функции v8 1cv8.cf Абонемент ($m)

Столкнувшись с проблемой загрузки в 1С из Excel Даты-Времени в числовом формате к удивлению не нашел нигде подобных формул. Может потому что они уж слишком банальны, а может потому что они "тайное знание посвященных". В общем, эта обработка пример конвертации Excel <=> 1C

1 стартмани

17.04.2013    18306    vova196    5