Тест загрузки большого файла

06.10.23

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

Тест скорости загрузки в различные БД (CoucheDB, MSSQL, 1С).

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Конфигурация и исходный файл
.zip 9,65Mb
0
0 Скачать (1 SM) Купить за 1 850 руб.

Недавно ради эксперимента сделал запись большого файла (.txt 433к строк) в разные БД. Делюсь с вами результатами. Код был набросан на скорую руку.

 
 Код загрузки в CoucheDB
 
 Код загрузки в MSSQL
 
 Код загрузки в 1С в регистр сведений

Итого:

  • в CoucheDB по API скорость загрузки 1932 записей в минуту
  • в 1С скорость загрузки 3512 записей в минуту
  • в MSSQL скорость загрузки 40 728 записей в минуту

Скорость записи примерная, +-200 записей.

Все загрузки были в однопоточном режиме.

Окружение:

  • win 10 x64
  • intel i3 4 ядра 3.6 GHz
  • ОЗУ 8 гб
  • Платформа 8.3.23.1688
  • Файловая база

Удивительно, что для CoucheDB или MongoDB нет COM соединения. Если кто подключался к ним через COM, напишите как. Думаю так скорость будет в разы выше.

Если хотите поддержать автора, можете купить файл с исходными данными (файл .txt) и .cf конфигурации с загрузкой. Для остальных - код привел в тексте.

По использованию все просто: выбираете файл, загружаете куда нужно. Не забудьте изменить способ подключения в коде!

Загрузка данных большой файл CoucheDB MSSQL нереляционные базы данных тест происводительности производительность

См. также

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

27660 руб.

12.06.2017    145866    852    299    

440

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.88.x) и УТ 11.5 (11.5.21.x).

35000 руб.

23.07.2020    56329    258    73    

213

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой

55778 50200 руб.

15.04.2019    74368    199    156    

137

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

53111 47800 руб.

03.12.2020    38418    108    70    

102

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.244.x) и БП 3.0 (3.0.172.x). Правила подходят для версии ПРОФ и КОРП.

35000 руб.

15.12.2021    26225    187    56    

143

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Платформа 1C v8.2 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Управление производственным предприятием Россия Платные (руб)

Регулярный обмен, выгрузка, перенос из КА 1.1, УПП 1.3, УТ 10.3 для обмена с любыми конфигурациями, поддерживающими обмен в формате EnterpriseData (КД3) - БП 3.0, ERP, КА 2, УТ 11, Розница 2, УНФ 1.6 и другими. Правила для старых и доработанных конфигураций не требуют синхронного обновления и совместимы с новыми и будущими конфигурациями. Обмен по расписанию, через папку, FTP, почту.

16260 руб.

18.02.2016    189282    616    534    

537

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:ERP Управление предприятием 2.5 и 1С:Комплексную автоматизацию 2.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.244.x), ERP 2.5 (2.5.21.x), КА 2.5 (2.5.21.x).

35000 руб.

24.06.2020    64959    81    28    

94

Загрузка и выгрузка в Excel Логистика, склад и ТМЦ Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Бухгалтер Пользователь Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Эволюция не стоит на месте - новая удобная версия функциональной обработки для Вашего бизнеса! Что же Вы получаете? Удобный и интуитивно понятный интерфейс с 3-мя этапами работы. 2 режима - автоматический и ручной. Чтение XLSX, XLSM, CSV, XML/YML форматов без офиса, на любом сервере! Визуальное связывание колонок файла и реквизитов простым перетаскиванием колонок. Создание или обновление номенклатуры с иерархией, характеристик, доп. реквизитов, упаковок, загрузка практически неограниченного количества картинок на одну номенклатуру (с возможностью загрузки в несколько потоков одновременно), с хранением в томах или в базе. Загрузка номенклатуры поставщиков или поиск по их данным номенклатуры. Загрузка доп. реквизитов в характеристики. Загрузка штрихкодов с генерацией новых. Создание элементов справочников и ПВХ "на лету" для выбранных реквизитов. (Обновление от 26.03.2025, версия 9.10 - 9.16)

18000 руб.

20.11.2015    159854    393    378    

522
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. RocKeR_13 1411 06.10.23 12:53 Сейчас в теме
А зачем по одной записи добавлять в MS SQL, когда есть BULK INSERT? И в случае с 1С почему решили записывать в регистр по одной записи, а не набором? Если попробуете такое сделать из PHP при записи в MySQL, например, то замучаетесь ждать. Был такой опыт: скрипт на PHP загружал XML-ку в небольшую таблицу в MySQL несколько часов как раз вашим методом, добавляя по одной записи. Переделали на загрузку одним INSERT'ом сразу всех строк - загружаться стало около минуты
2. Lemmonbri 154 06.10.23 13:03 Сейчас в теме
(1) Ну мы все же в рамках 1С действуем. Было интересно оценить скорость записи. Можете так же сделать в 1С набором запись, приложить в комменте результаты и код, я помечу как лучший. Интересно будет сравнить на сколько прирост был получен.
3. RocKeR_13 1411 06.10.23 13:06 Сейчас в теме
(2) Так вы можете инструкцию и для SQL расширить и вставлять сразу по несколько строк INSERT'ом)
4. Lemmonbri 154 06.10.23 13:25 Сейчас в теме
(3) Я могу вообще Васю за 3 рубля посадить переносить данные. Вы спросили зачем - я ответил. Меня интересовало сравнение скоростей в одинаковых условиях, везде по 1 строке добавляем. Если вы сможете сделать сравнение с нереляционной базой с множественным добавлением - флаг вам в руки. Зачем мне делать сравнение 1С и SQL только, этого на просторах интернета и так полно.
5. RocKeR_13 1411 06.10.23 13:34 Сейчас в теме
(4) Весь вопрос в том, а зачем тогда нужно такое сравнение? Потому что можете? Тестировать что-то, что ПО позволяет, невзирая на оптимальность - это же нелогично. "Дерганье" MS SQL для записи одной строчки - это практически то же самое, что в цикле на клиенте вызывать сервер. Плюс условия отнюдь не одинаковые: вы во всех случаях файл читаете с помощью 1С. И самое главное: что читателю может дать данное сравнение?
6. Lemmonbri 154 06.10.23 13:40 Сейчас в теме
(5) Предположение было следующее: CoucheDB быстрее работает с данными. Необходимо было сравнить. Для объективного сравнения нужны одинаковые условия. Вы твердите про свой sql, не обращая внимание на главного виновника - нереляционную базу. Меня вообще не волнует скорость записи в sql, я и так знаю что она высокая. Меня волнует то, что CoucheDB запросы поиска в десятки раз быстрее выполняет чем sql. То что она хранит данные, которые SQL не в состоянии хранить. Ещё раз повторяю: меня не интересует сравнение скорости 1С и SQL. "Плюс условия отнюдь не одинаковые: вы во всех случаях файл читаете с помощью 1С" - как раз таки условие одинаковое! Чтение файла во всех случаях занимает одинаковое время, потому что выполняется одинаковым кодом и одинаковой платформой, а значит не влияет на результат. У меня тест загрузки через 1С в базы. На кой черт мне загружать на питоне в sql? Что я потом в 1С с этим буду делать? Смотреть на пустую базу? Не пишите уж бессмысленные комментарии, которые к теме вообще не относятся.
7. RocKeR_13 1411 06.10.23 13:55 Сейчас в теме
(6)
Меня волнует то, что CoucheDB запросы поиска в десятки раз быстрее выполняет чем sql. То что она хранит данные, которые SQL не в состоянии хранить. Ещё раз повторяю: меня не интересует сравнение скорости 1С и SQL.


И где же это у вас в публикации отмечено-то?

Чтение файла во всех случаях занимает одинаковое время, потому что выполняется одинаковым кодом и одинаковой платформой, а значит не влияет на результат. У меня тест загрузки через 1С в базы.


Как вы можете заявлять, что этот факт не влияет на оценку скорости? Приведите доказательство, что время на вызов http-запроса/выполнения команды Execute примерно такое же, что и на метод Запись() менеджера записи. Вы для загрузки в 1С используете "нативные" методы, когда как для остальных - внешние.
Итого:

    в CoucheDB по API скорость загрузки 1932 записей в минуту
    в 1С скорость загрузки 3512 записей в минуту
    в MSSQL скорость загрузки 40 728 записей в минуту


Так и какой вывод-то из этого? Мне, например, в работе не доводилось работать с CoucheDB. Какой я должен сделать вывод из вашей публикации? Что не знаете, как соединяться с ней по COM и что у нее самая низкая запись данных, исходя из текста? Где все ваше описание, которое мне пишите в комментарии? Где обоснование выбора СУБД для тестов?
8. Lemmonbri 154 06.10.23 14:10 Сейчас в теме
(7)
Как вы можете заявлять, что этот факт не влияет на оценку скорости? Приведите доказательство, что время на вызов http-запроса/выполнения команды Execute примерно такое же, что и на метод Запись() менеджера записи.
А при чем тут это? Вы говорите про чтение файла - открытие файла и получение строки данных. А запись данных понятно дело будет разной.

(7)
какой я должен сделать вывод из вашей публикации?
Какой хотите, я вообще никакие выводы не призываю делать.
(7)
что у нее самая низкая запись данных, исходя из текста
В текущем окружении - да.
(7)
Где обоснование выбора СУБД для тестов?
Я вообще ничего не выбирал. Из нереляционных только CoucheDB может адекватно с 1С общаться. Выбор без выбора.
Задачу, которую я ставил, написал ещё выше, не вижу дальше смысла обсуждать. Не нравится статья - ставьте минус и идите дальше.
9. RocKeR_13 1411 06.10.23 14:30 Сейчас в теме
(8)
Я вообще ничего не выбирал. Из нереляционных только CoucheDB может адекватно с 1С общаться. Выбор без выбора.
Задачу, которую я ставил, написал ещё выше, не вижу дальше смысла обсуждать. Не нравится статья - ставьте минус и идите дальше.


Ну ок, получается вы нам выкатили "сферического коня в вакууме" и выводы предлагаете делать самостоятельно? Да что этот минус вам даст-то?) Вы что-то опубликовали - я хочу понять, чем вы руководствовались и зачем вам это нужно было. Это ключевой момент, ибо на основе этого я могу сделать вывод, может ли быть это полезно мне.
10. sandr13 35 07.10.23 09:31 Сейчас в теме
11. user1950534 17.10.23 15:34 Сейчас в теме
Использование ADODB.RecordSet с методами .AddNew и .Update гораздо быстрее, чем команда Insert в SQL

Пользуюсь этими методами уже 20 с лишним лет, ни разу не подводили. В команде Insert при сборке строки будет возникать масса нюансов, тогда как ADODB прекрасно работает с приведением 1Сных данных в SQL и наоборот.

Да и побыстрее будет, чем Ins ert In to
Оставьте свое сообщение