Обмен данными между информационной базой и мобильным клиентом

04.08.14

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

В каком формате передавать данные между информационной базой на сервере и мобильным клиентом.
Добрый день.

Хочу поделиться моими наблюдениями относительно обмена данными между типовой (или не типовой) информационной базой и базой, расположенной на мобильном клиенте. Основной проблемой такого обмена является размер файла. Во-первых,  веб-сервис (а именно он является наиболее удобным способом обмена) имеет ограничения по размеру. Во-вторых, часть взаимодействия клиент-сервер будет осуществляться посредством мобильного интернета (EDGE, 3G, 4G) и поэтому, время на передачу пакета в 20кб и в 2мб будет различно (не в пользу последнего).

В связи с этим, решил провести пару тестов, которые показали бы производительность и результативность нескольких вариантов подготовки пакетов для обмена.
Исходными данными будет массив ссылок на объекты различного типа (в моем примере было примерно 700000 ссылок на Задачи.Задача, Справочник.Номенклатура, Документ.ВнутреннийЗаказ).

Вариант А:

 1. Сериализуем массив, помещаем в xml.
 2. Архивируем xml.
 
Вариант Б:

 1. Помещаем массив в хранилище значений (без сжатия).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Вариант В:

 1. Помещаем массив в хранилище значений (сжатие 9).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Результаты:
 
Вариант А

 Время сериализации (с): 19.675 (сериализуется массив с 700000 элементами, помещается в xml)
 Время архивирования (с): 2.403 (архивируется полученный xml файл)
 Размер стандартный: 121 129,2кб (размер полученного xml)
 Размер архива: 4 423,4кб (размер архива)

Вариант Б
 
 Время получения хранилища (с): 1.467 (в хранилище помещается массив с 700000 элементами, без сжатия)
 Время сериализации (с): 8.175 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 2.449 (архивируется полученный xml файл)
 Размер стандартный: 78 350,95кб (размер полученного xml)
 Размер архива: 6 807,34кб (размер архива)

Вариант В

 Время получения хранилища (сжатого) (с): 6.147 (в хранилище помещается массив с 700000 элементами, сжатие 9)
 Время сериализации (с): 0.562 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 0.546 (архивируется полученный xml файл)
 Размер стандартный: 5 293,02кб (размер полученного xml)
 Размер архива: 3 926,88кб (размер архива)
 
Как видно по результатам теста, оптимальным (в плане производительности и размера полученного файла обмена) является вариант В - т.е. сначала помещаем в хранилище значений с сжатием, потом архивируем (хотя на самом деле выигрыш от архивирования не такой уж и большой, пусть даже при минимальных временных затратах).

Этот пример рассматривает отправку данных с сервера на мобильный клиент. Для отправки данных с мобильного клиента на сервер вариант В думаю будет также оптимальным (с учетом того, что вариант А не подходит в принципе, ибо архивирование в мобильном клиенте сейчас недоступно).

 

Вступайте в нашу телеграмм-группу Инфостарт

обмен xml мобильный клиент мобильное приложение веб-сервис web-сервис сжатие формат обмена планы обмена

См. также

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

27660 руб.

12.06.2017    152575    890    302    

462

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой

55778 50200 руб.

15.04.2019    78850    212    163    

150

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

48278 43450 руб.

25.02.2015    178025    327    275    

396

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

53111 47800 руб.

03.12.2020    41907    119    75    

112

Операции по ВЭД Файловый обмен (TXT, XML, DBF), FTP Программист Бухгалтер 1С v8.3 Бухгалтерский учет 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Бухгалтерский учет Платные (руб)

Федеральная таможенная служба России давно поддерживает унифицированный формат электронных документов для обмена с информационными системами предприятий. xmlns="urn:customs.ru:Information:ExchangeDocuments:". Структура, утвержденная комиссией Таможенного союза. Осталось только сделать загрузку в 1С из этого формата. На выходе - два документа ГТД по импорту и Поступление (акты, накладные) Обработка актуализирована на начало 2025 года

4800 руб.

09.08.2016    88747    331    378    

90

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С v8.3 Оперативный учет 1С:Управление торговлей 10 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.88.x) и УТ 11.5 (11.5.24.x).

38000 34200 руб.

23.07.2020    61488    289    81    

229

Загрузка и выгрузка в Excel Логистика, склад и ТМЦ Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Бухгалтер Пользователь 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Эволюция не стоит на месте - новая удобная версия функциональной обработки для Вашего бизнеса! Что же Вы получаете? Удобный и интуитивно понятный интерфейс с 3-мя этапами работы. 2 режима - автоматический и ручной. Чтение XLSX, XLSM, CSV, XML/YML форматов без офиса, на любом сервере! Визуальное связывание колонок файла и реквизитов простым перетаскиванием колонок. Создание или обновление номенклатуры с иерархией, характеристик, доп. реквизитов, упаковок, загрузка практически неограниченного количества картинок на одну номенклатуру (с возможностью загрузки в несколько потоков одновременно), с хранением в томах или в базе. Загрузка номенклатуры поставщиков или поиск по их данным номенклатуры. Загрузка доп. реквизитов в характеристики. Загрузка штрихкодов с генерацией новых. Создание элементов справочников и ПВХ "на лету" для выбранных реквизитов. (Обновление от 24.09.2025, версия 9.12 - 10.4)

19200 руб.

20.11.2015    167374    417    386    

539

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С v8.3 Сложные периодические расчеты 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Платные (руб)

Правила переноса кадровых и расчетных данных и справочной информации из "1С:УПП1.3" или "1С:КА 1.1" в "1С:ЗУП 3.1 | Разработан в формате КД 2 (правила конвертации данных) | При выгрузке есть фильтр по организациям | Обновляется при выходе новых релизов 1С | Развитие алгоритмов | Расчетные документы переносятся в документ "Перенос данных" | Создаются документы "Начальная штатная расстановка" и "Начальная задолженность по зарплате", переносятся кадровые документы

55778 50200 руб.

29.10.2018    59048    67    121    

67
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. DitriX 2111 04.08.14 18:00 Сейчас в теме
Что есть такое архивирование? Видь сжатие хранилища это тоже архивирование.
Какую степень сжатия на каком этапе использовали?
2. spezc 800 04.08.14 19:16 Сейчас в теме
(1) DitriX, вы правы. Сжатие данных при помещение в хранилище значений и ЗаписьZipФайла используют общий алгоритм сжатия данных "Deflation". Дополнительное использование ЗаписьZipФайла приведено для сравнения - видно, что даже после сжатия в варианте В ЗаписьZipФайла уменьшает размер еще на 20%.

В хранилище значений использовалась максимальная степень сжатия 9. В ЗаписьZipФайла использовалось степень Оптимальная (по умолчанию). Использование в ЗаписьZipФайла максимальной степени сжатия дало увеличения времени сжатия, но фактически не дало выигрыша в размере.
3. DrAku1a 1773 05.08.14 08:40 Сейчас в теме
Подскажите, а какими средствами Вы будете передавать полученный ZIP-файл на мобильное приложение и обратно?
4. spezc 800 05.08.14 17:07 Сейчас в теме
(3) DrAku1a, на самом деле передавать ZIP-файл на мобильное приложение смысла пока нет, ибо там нет средств для распаковки. Соответствено запаковать на мобильном устройстве тоже не получится. Получение ZIP-файла здесь только как пример.

Если же обмен будет проиходить между обычными конфигурациями (есть возможность использовать zip) - то zip-файл можно будет передать в виде двоичных данных.
5. flyer 233 06.08.14 08:50 Сейчас в теме
начиная с версии 8.3.5 мобильной платформы необходимо данные сначала бить на пакеты и только потом их передавать.
6. spezc 800 06.08.14 09:12 Сейчас в теме
(5) flyer, а что вы имеет ввиду под "бить на пакеты"?
7. DitriX 2111 06.08.14 12:58 Сейчас в теме
(6) Вероятно имелся ввиду этот баг:


Передача файлов на веб-сервис
Код ошибки: 10139716
Статус: Исправлена в будущей версии Зарегистрирована: 27.05.2014
Исправлена: "Мобильная платформа", версия 8.3.5

Описание:
На устройстве под управлением ОС Андроид не работает передача больших файлов на веб-сервис.


Она еще не исправлена.
8. spezc 800 06.08.14 12:24 Сейчас в теме
(7) DitriX, я не знал про эту ошибку. Просто в практике встречал что у веб-сервиса встречаются проблемы при попытке пропихнуть через него файлы 50-100мб.

А все-таки, что значить "бить на пакеты"? Какие действия под этим подразумеваются?
9. zelevova 06.08.14 14:09 Сейчас в теме
(5) flyer, а можно про это поподробнее?
10. bydk 06.08.14 11:57 Сейчас в теме
(9) zelevova, приведу фрагмент из Корп версии документооборота, там файлы для обмена делятся на части по 5 мб:
	// Файл с сообщением обмена разделяется на части по 5 Мб для стабилизации передачи на мобильный клиент
	МассивЧастейФайла = РазделитьФайл(ИмяВременногоФайла, 5 * 1024 * 1024);
					
	МассивЧастей = Новый Массив;
	Для Каждого ИмяФайла Из МассивЧастейФайла Цикл
		ДвоичныеДанные = Новый ДвоичныеДанные(ИмяФайла);
		// Каждая часть сообщения максимально сжимается
		МассивЧастей.Добавить(Новый ХранилищеЗначения(ДвоичныеДанные, Новый СжатиеДанных(9) ) );
		УдалитьФайлы(ИмяФайла);
	КонецЦикла;
Показать

ИмяВременногоФайла - это xml файл с данными...
dj_serega; spezc; +2 Ответить
Для отправки сообщения требуется регистрация/авторизация