Обмен данными между информационной базой и мобильным клиентом

04.08.14

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

В каком формате передавать данные между информационной базой на сервере и мобильным клиентом.
Добрый день.

Хочу поделиться моими наблюдениями относительно обмена данными между типовой (или не типовой) информационной базой и базой, расположенной на мобильном клиенте. Основной проблемой такого обмена является размер файла. Во-первых,  веб-сервис (а именно он является наиболее удобным способом обмена) имеет ограничения по размеру. Во-вторых, часть взаимодействия клиент-сервер будет осуществляться посредством мобильного интернета (EDGE, 3G, 4G) и поэтому, время на передачу пакета в 20кб и в 2мб будет различно (не в пользу последнего).

В связи с этим, решил провести пару тестов, которые показали бы производительность и результативность нескольких вариантов подготовки пакетов для обмена.
Исходными данными будет массив ссылок на объекты различного типа (в моем примере было примерно 700000 ссылок на Задачи.Задача, Справочник.Номенклатура, Документ.ВнутреннийЗаказ).

Вариант А:

 1. Сериализуем массив, помещаем в xml.
 2. Архивируем xml.
 
Вариант Б:

 1. Помещаем массив в хранилище значений (без сжатия).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Вариант В:

 1. Помещаем массив в хранилище значений (сжатие 9).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Результаты:
 
Вариант А

 Время сериализации (с): 19.675 (сериализуется массив с 700000 элементами, помещается в xml)
 Время архивирования (с): 2.403 (архивируется полученный xml файл)
 Размер стандартный: 121 129,2кб (размер полученного xml)
 Размер архива: 4 423,4кб (размер архива)

Вариант Б
 
 Время получения хранилища (с): 1.467 (в хранилище помещается массив с 700000 элементами, без сжатия)
 Время сериализации (с): 8.175 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 2.449 (архивируется полученный xml файл)
 Размер стандартный: 78 350,95кб (размер полученного xml)
 Размер архива: 6 807,34кб (размер архива)

Вариант В

 Время получения хранилища (сжатого) (с): 6.147 (в хранилище помещается массив с 700000 элементами, сжатие 9)
 Время сериализации (с): 0.562 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 0.546 (архивируется полученный xml файл)
 Размер стандартный: 5 293,02кб (размер полученного xml)
 Размер архива: 3 926,88кб (размер архива)
 
Как видно по результатам теста, оптимальным (в плане производительности и размера полученного файла обмена) является вариант В - т.е. сначала помещаем в хранилище значений с сжатием, потом архивируем (хотя на самом деле выигрыш от архивирования не такой уж и большой, пусть даже при минимальных временных затратах).

Этот пример рассматривает отправку данных с сервера на мобильный клиент. Для отправки данных с мобильного клиента на сервер вариант В думаю будет также оптимальным (с учетом того, что вариант А не подходит в принципе, ибо архивирование в мобильном клиенте сейчас недоступно).

 

обмен xml мобильный клиент мобильное приложение веб-сервис web-сервис сжатие формат обмена планы обмена

См. также

SALE! 15%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

27660 руб.

12.06.2017    144033    833    297    

432

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.88.x) и УТ 11.5 (11.5.20.x), также подходят для релиза 11.5 (11.5.19.x).

35000 31500 руб.

23.07.2020    54307    239    73    

194

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой

55778 50200 руб.

15.04.2019    73218    193    152    

129

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

53111 47800 руб.

03.12.2020    37644    102    68    

98

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.240.x) и БП 3.0 (3.0.169.x). Правила подходят для версии ПРОФ и КОРП.

35000 31500 руб.

15.12.2021    25226    176    51    

134

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

48278 43450 руб.

25.02.2015    172428    309    259    

385

SALE! 10%

Перенос данных 1C Взаиморасчеты Оптовая торговля Логистика, склад и ТМЦ Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист Платформа 1С v8.3 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Управленческий учет Платные (руб)

Можно проверить до покупки, оставьте заявку! Воспользовались более 268 компаний! Перенос данных из УТ 10.3 в УТ 11 | из УТ 10.3 в КА 2 | из УТ 10.3 в ERP. Предлагаем качественное и проверенное временем решение для перехода с УТ 10.3. Можно перенести начальные остатки, нормативно-справочную информацию и все возможные документы. При выгрузке можно установить отбор по периоду, организациям и складам. При выходе новых релизов конфигураций 1C оперативно выпускаем обновление переноса данных.

55778 50200 руб.

24.04.2015    196341    156    244    

285

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:ERP Управление предприятием 2.5 и 1С:Комплексную автоматизацию 2.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.240.x), ERP 2.5 (2.5.20.x), КА 2.5 (2.5.20.x), также подходят для релиза ERP 2.5 (2.5.19.x), КА 2.5 (2.5.19.x).

35000 31500 руб.

24.06.2020    64371    80    27    

90
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. DitriX 2102 04.08.14 18:00 Сейчас в теме
Что есть такое архивирование? Видь сжатие хранилища это тоже архивирование.
Какую степень сжатия на каком этапе использовали?
2. spezc 794 04.08.14 19:16 Сейчас в теме
(1) DitriX, вы правы. Сжатие данных при помещение в хранилище значений и ЗаписьZipФайла используют общий алгоритм сжатия данных "Deflation". Дополнительное использование ЗаписьZipФайла приведено для сравнения - видно, что даже после сжатия в варианте В ЗаписьZipФайла уменьшает размер еще на 20%.

В хранилище значений использовалась максимальная степень сжатия 9. В ЗаписьZipФайла использовалось степень Оптимальная (по умолчанию). Использование в ЗаписьZipФайла максимальной степени сжатия дало увеличения времени сжатия, но фактически не дало выигрыша в размере.
3. DrAku1a 1751 05.08.14 08:40 Сейчас в теме
Подскажите, а какими средствами Вы будете передавать полученный ZIP-файл на мобильное приложение и обратно?
4. spezc 794 05.08.14 17:07 Сейчас в теме
(3) DrAku1a, на самом деле передавать ZIP-файл на мобильное приложение смысла пока нет, ибо там нет средств для распаковки. Соответствено запаковать на мобильном устройстве тоже не получится. Получение ZIP-файла здесь только как пример.

Если же обмен будет проиходить между обычными конфигурациями (есть возможность использовать zip) - то zip-файл можно будет передать в виде двоичных данных.
5. flyer 233 06.08.14 08:50 Сейчас в теме
начиная с версии 8.3.5 мобильной платформы необходимо данные сначала бить на пакеты и только потом их передавать.
6. spezc 794 06.08.14 09:12 Сейчас в теме
(5) flyer, а что вы имеет ввиду под "бить на пакеты"?
7. DitriX 2102 06.08.14 12:58 Сейчас в теме
(6) Вероятно имелся ввиду этот баг:


Передача файлов на веб-сервис
Код ошибки: 10139716
Статус: Исправлена в будущей версии Зарегистрирована: 27.05.2014
Исправлена: "Мобильная платформа", версия 8.3.5

Описание:
На устройстве под управлением ОС Андроид не работает передача больших файлов на веб-сервис.


Она еще не исправлена.
8. spezc 794 06.08.14 12:24 Сейчас в теме
(7) DitriX, я не знал про эту ошибку. Просто в практике встречал что у веб-сервиса встречаются проблемы при попытке пропихнуть через него файлы 50-100мб.

А все-таки, что значить "бить на пакеты"? Какие действия под этим подразумеваются?
9. zelevova 06.08.14 14:09 Сейчас в теме
(5) flyer, а можно про это поподробнее?
10. bydk 06.08.14 11:57 Сейчас в теме
(9) zelevova, приведу фрагмент из Корп версии документооборота, там файлы для обмена делятся на части по 5 мб:
	// Файл с сообщением обмена разделяется на части по 5 Мб для стабилизации передачи на мобильный клиент
	МассивЧастейФайла = РазделитьФайл(ИмяВременногоФайла, 5 * 1024 * 1024);
					
	МассивЧастей = Новый Массив;
	Для Каждого ИмяФайла Из МассивЧастейФайла Цикл
		ДвоичныеДанные = Новый ДвоичныеДанные(ИмяФайла);
		// Каждая часть сообщения максимально сжимается
		МассивЧастей.Добавить(Новый ХранилищеЗначения(ДвоичныеДанные, Новый СжатиеДанных(9) ) );
		УдалитьФайлы(ИмяФайла);
	КонецЦикла;
Показать

ИмяВременногоФайла - это xml файл с данными...
dj_serega; spezc; +2 Ответить
Оставьте свое сообщение