Тест загрузки большого файла

06.10.23

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

Тест скорости загрузки в различные БД (CoucheDB, MSSQL, 1С).

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Конфигурация и исходный файл
.zip 9,65Mb
0
0 Скачать (1 SM) Купить за 1 850 руб.

Недавно ради эксперимента сделал запись большого файла (.txt 433к строк) в разные БД. Делюсь с вами результатами. Код был набросан на скорую руку.

 
 Код загрузки в CoucheDB
 
 Код загрузки в MSSQL
 
 Код загрузки в 1С в регистр сведений

Итого:

  • в CoucheDB по API скорость загрузки 1932 записей в минуту
  • в 1С скорость загрузки 3512 записей в минуту
  • в MSSQL скорость загрузки 40 728 записей в минуту

Скорость записи примерная, +-200 записей.

Все загрузки были в однопоточном режиме.

Окружение:

  • win 10 x64
  • intel i3 4 ядра 3.6 GHz
  • ОЗУ 8 гб
  • Платформа 8.3.23.1688
  • Файловая база

Удивительно, что для CoucheDB или MongoDB нет COM соединения. Если кто подключался к ним через COM, напишите как. Думаю так скорость будет в разы выше.

Если хотите поддержать автора, можете купить файл с исходными данными (файл .txt) и .cf конфигурации с загрузкой. Для остальных - код привел в тексте.

По использованию все просто: выбираете файл, загружаете куда нужно. Не забудьте изменить способ подключения в коде!

Загрузка данных большой файл CoucheDB MSSQL нереляционные базы данных тест происводительности производительность

См. также

SALE! 20%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

26280 22338 руб.

12.06.2017    141519    798    297    

419

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.234.x) и БП 3.0 (3.0.161.x). Правила подходят для версии ПРОФ и КОРП.

35000 31500 руб.

15.12.2021    24021    169    51    

127

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.88.x) и УТ 11.5 (11.5.19.x).

35000 31500 руб.

23.07.2020    51257    228    69    

185

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

53111 47800 руб.

03.12.2020    36590    94    66    

89

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 Сложные периодические расчеты 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Платные (руб)

Правила переноса кадровых и расчетных данных и справочной информации из "1С:УПП1.3" или "1С:КА 1.1" в "1С:ЗУП 3.1 | Разработан в формате КД 2 (правила конвертации данных) | При выгрузке есть фильтр по организациям | Обновляется при выходе новых релизов 1С | Развитие алгоритмов | Расчетные документы переносятся в документ "Перенос данных" | Создаются документы "Начальная штатная расстановка" и "Начальная задолженность по зарплате", переносятся кадровые документы

55778 50200 руб.

29.10.2018    56208    59    105    

61

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

48278 43450 руб.

25.02.2015    171174    303    257    

378

SALE! 15%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Платформа 1C v8.2 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Управление производственным предприятием Россия Платные (руб)

Регулярный обмен, выгрузка, перенос из КА 1.1, УПП 1.3, УТ 10.3 для обмена с любыми конфигурациями, поддерживающими обмен в формате EnterpriseData (КД3) - БП 3.0, ERP, КА 2, УТ 11, Розница 2, УНФ 1.6 и другими. Правила для старых и доработанных конфигураций не требуют синхронного обновления и совместимы с новыми и будущими конфигурациями. Обмен по расписанию, через папку, FTP, почту.

15300 13005 руб.

18.02.2016    186878    589    509    

526

SALE! 10%

Перенос данных 1C Взаиморасчеты Оптовая торговля Логистика, склад и ТМЦ Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Управленческий учет Платные (руб)

Можно проверить до покупки, оставьте заявку! Воспользовались более 268 компаний! Перенос данных из УТ 10.3 в УТ 11 | из УТ 10.3 в КА 2 | из УТ 10.3 в ERP. Предлагаем качественное и проверенное временем решение для перехода с УТ 10.3. Можно перенести начальные остатки, нормативно-справочную информацию и все возможные документы. При выгрузке можно установить отбор по периоду, организациям и складам. При выходе новых релизов конфигураций 1C оперативно выпускаем обновление переноса данных.

55778 50200 руб.

24.04.2015    194980    150    243    

280
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. RocKeR_13 1366 06.10.23 12:53 Сейчас в теме
А зачем по одной записи добавлять в MS SQL, когда есть BULK INSERT? И в случае с 1С почему решили записывать в регистр по одной записи, а не набором? Если попробуете такое сделать из PHP при записи в MySQL, например, то замучаетесь ждать. Был такой опыт: скрипт на PHP загружал XML-ку в небольшую таблицу в MySQL несколько часов как раз вашим методом, добавляя по одной записи. Переделали на загрузку одним INSERT'ом сразу всех строк - загружаться стало около минуты
2. Lemmonbri 142 06.10.23 13:03 Сейчас в теме
(1) Ну мы все же в рамках 1С действуем. Было интересно оценить скорость записи. Можете так же сделать в 1С набором запись, приложить в комменте результаты и код, я помечу как лучший. Интересно будет сравнить на сколько прирост был получен.
3. RocKeR_13 1366 06.10.23 13:06 Сейчас в теме
(2) Так вы можете инструкцию и для SQL расширить и вставлять сразу по несколько строк INSERT'ом)
4. Lemmonbri 142 06.10.23 13:25 Сейчас в теме
(3) Я могу вообще Васю за 3 рубля посадить переносить данные. Вы спросили зачем - я ответил. Меня интересовало сравнение скоростей в одинаковых условиях, везде по 1 строке добавляем. Если вы сможете сделать сравнение с нереляционной базой с множественным добавлением - флаг вам в руки. Зачем мне делать сравнение 1С и SQL только, этого на просторах интернета и так полно.
5. RocKeR_13 1366 06.10.23 13:34 Сейчас в теме
(4) Весь вопрос в том, а зачем тогда нужно такое сравнение? Потому что можете? Тестировать что-то, что ПО позволяет, невзирая на оптимальность - это же нелогично. "Дерганье" MS SQL для записи одной строчки - это практически то же самое, что в цикле на клиенте вызывать сервер. Плюс условия отнюдь не одинаковые: вы во всех случаях файл читаете с помощью 1С. И самое главное: что читателю может дать данное сравнение?
6. Lemmonbri 142 06.10.23 13:40 Сейчас в теме
(5) Предположение было следующее: CoucheDB быстрее работает с данными. Необходимо было сравнить. Для объективного сравнения нужны одинаковые условия. Вы твердите про свой sql, не обращая внимание на главного виновника - нереляционную базу. Меня вообще не волнует скорость записи в sql, я и так знаю что она высокая. Меня волнует то, что CoucheDB запросы поиска в десятки раз быстрее выполняет чем sql. То что она хранит данные, которые SQL не в состоянии хранить. Ещё раз повторяю: меня не интересует сравнение скорости 1С и SQL. "Плюс условия отнюдь не одинаковые: вы во всех случаях файл читаете с помощью 1С" - как раз таки условие одинаковое! Чтение файла во всех случаях занимает одинаковое время, потому что выполняется одинаковым кодом и одинаковой платформой, а значит не влияет на результат. У меня тест загрузки через 1С в базы. На кой черт мне загружать на питоне в sql? Что я потом в 1С с этим буду делать? Смотреть на пустую базу? Не пишите уж бессмысленные комментарии, которые к теме вообще не относятся.
7. RocKeR_13 1366 06.10.23 13:55 Сейчас в теме
(6)
Меня волнует то, что CoucheDB запросы поиска в десятки раз быстрее выполняет чем sql. То что она хранит данные, которые SQL не в состоянии хранить. Ещё раз повторяю: меня не интересует сравнение скорости 1С и SQL.


И где же это у вас в публикации отмечено-то?

Чтение файла во всех случаях занимает одинаковое время, потому что выполняется одинаковым кодом и одинаковой платформой, а значит не влияет на результат. У меня тест загрузки через 1С в базы.


Как вы можете заявлять, что этот факт не влияет на оценку скорости? Приведите доказательство, что время на вызов http-запроса/выполнения команды Execute примерно такое же, что и на метод Запись() менеджера записи. Вы для загрузки в 1С используете "нативные" методы, когда как для остальных - внешние.
Итого:

    в CoucheDB по API скорость загрузки 1932 записей в минуту
    в 1С скорость загрузки 3512 записей в минуту
    в MSSQL скорость загрузки 40 728 записей в минуту


Так и какой вывод-то из этого? Мне, например, в работе не доводилось работать с CoucheDB. Какой я должен сделать вывод из вашей публикации? Что не знаете, как соединяться с ней по COM и что у нее самая низкая запись данных, исходя из текста? Где все ваше описание, которое мне пишите в комментарии? Где обоснование выбора СУБД для тестов?
8. Lemmonbri 142 06.10.23 14:10 Сейчас в теме
(7)
Как вы можете заявлять, что этот факт не влияет на оценку скорости? Приведите доказательство, что время на вызов http-запроса/выполнения команды Execute примерно такое же, что и на метод Запись() менеджера записи.
А при чем тут это? Вы говорите про чтение файла - открытие файла и получение строки данных. А запись данных понятно дело будет разной.

(7)
какой я должен сделать вывод из вашей публикации?
Какой хотите, я вообще никакие выводы не призываю делать.
(7)
что у нее самая низкая запись данных, исходя из текста
В текущем окружении - да.
(7)
Где обоснование выбора СУБД для тестов?
Я вообще ничего не выбирал. Из нереляционных только CoucheDB может адекватно с 1С общаться. Выбор без выбора.
Задачу, которую я ставил, написал ещё выше, не вижу дальше смысла обсуждать. Не нравится статья - ставьте минус и идите дальше.
9. RocKeR_13 1366 06.10.23 14:30 Сейчас в теме
(8)
Я вообще ничего не выбирал. Из нереляционных только CoucheDB может адекватно с 1С общаться. Выбор без выбора.
Задачу, которую я ставил, написал ещё выше, не вижу дальше смысла обсуждать. Не нравится статья - ставьте минус и идите дальше.


Ну ок, получается вы нам выкатили "сферического коня в вакууме" и выводы предлагаете делать самостоятельно? Да что этот минус вам даст-то?) Вы что-то опубликовали - я хочу понять, чем вы руководствовались и зачем вам это нужно было. Это ключевой момент, ибо на основе этого я могу сделать вывод, может ли быть это полезно мне.
10. sandr13 35 07.10.23 09:31 Сейчас в теме
11. user1950534 17.10.23 15:34 Сейчас в теме
Использование ADODB.RecordSet с методами .AddNew и .Update гораздо быстрее, чем команда Insert в SQL

Пользуюсь этими методами уже 20 с лишним лет, ни разу не подводили. В команде Insert при сборке строки будет возникать масса нюансов, тогда как ADODB прекрасно работает с приведением 1Сных данных в SQL и наоборот.

Да и побыстрее будет, чем Ins ert In to
Оставьте свое сообщение