Обмен данными между информационной базой и мобильным клиентом

04.08.14

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

В каком формате передавать данные между информационной базой на сервере и мобильным клиентом.
Добрый день.

Хочу поделиться моими наблюдениями относительно обмена данными между типовой (или не типовой) информационной базой и базой, расположенной на мобильном клиенте. Основной проблемой такого обмена является размер файла. Во-первых,  веб-сервис (а именно он является наиболее удобным способом обмена) имеет ограничения по размеру. Во-вторых, часть взаимодействия клиент-сервер будет осуществляться посредством мобильного интернета (EDGE, 3G, 4G) и поэтому, время на передачу пакета в 20кб и в 2мб будет различно (не в пользу последнего).

В связи с этим, решил провести пару тестов, которые показали бы производительность и результативность нескольких вариантов подготовки пакетов для обмена.
Исходными данными будет массив ссылок на объекты различного типа (в моем примере было примерно 700000 ссылок на Задачи.Задача, Справочник.Номенклатура, Документ.ВнутреннийЗаказ).

Вариант А:

 1. Сериализуем массив, помещаем в xml.
 2. Архивируем xml.
 
Вариант Б:

 1. Помещаем массив в хранилище значений (без сжатия).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Вариант В:

 1. Помещаем массив в хранилище значений (сжатие 9).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Результаты:
 
Вариант А

 Время сериализации (с): 19.675 (сериализуется массив с 700000 элементами, помещается в xml)
 Время архивирования (с): 2.403 (архивируется полученный xml файл)
 Размер стандартный: 121 129,2кб (размер полученного xml)
 Размер архива: 4 423,4кб (размер архива)

Вариант Б
 
 Время получения хранилища (с): 1.467 (в хранилище помещается массив с 700000 элементами, без сжатия)
 Время сериализации (с): 8.175 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 2.449 (архивируется полученный xml файл)
 Размер стандартный: 78 350,95кб (размер полученного xml)
 Размер архива: 6 807,34кб (размер архива)

Вариант В

 Время получения хранилища (сжатого) (с): 6.147 (в хранилище помещается массив с 700000 элементами, сжатие 9)
 Время сериализации (с): 0.562 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 0.546 (архивируется полученный xml файл)
 Размер стандартный: 5 293,02кб (размер полученного xml)
 Размер архива: 3 926,88кб (размер архива)
 
Как видно по результатам теста, оптимальным (в плане производительности и размера полученного файла обмена) является вариант В - т.е. сначала помещаем в хранилище значений с сжатием, потом архивируем (хотя на самом деле выигрыш от архивирования не такой уж и большой, пусть даже при минимальных временных затратах).

Этот пример рассматривает отправку данных с сервера на мобильный клиент. Для отправки данных с мобильного клиента на сервер вариант В думаю будет также оптимальным (с учетом того, что вариант А не подходит в принципе, ибо архивирование в мобильном клиенте сейчас недоступно).

 

Вступайте в нашу телеграмм-группу Инфостарт

обмен xml мобильный клиент мобильное приложение веб-сервис web-сервис сжатие формат обмена планы обмена

Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

См. также

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

27633 руб.

12.06.2017    160148    963    317    

481

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

50050 руб.

25.02.2015    187833    358    288    

417

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.267.x) и БП 3.0 (3.0.194.x). Правила подходят для версии ПРОФ и КОРП.

42000 37800 руб.

15.12.2021    33848    254    64    

193

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Управление торговлей 10 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.88.x) и УТ 11.5 (11.5.25.x).

42000 37800 руб.

23.07.2020    67819    314    95    

252

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой

58000 руб.

15.04.2019    83749    224    174    

161

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Перенос данных 1C Программист 1С:Предприятие 8 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактическим удержаниям, НДФЛ, вычетам, страховым взносам из базы Парус 10 учреждений (далее Парус) в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (далее 1С) и начать с ней работать с любого месяца года.

84000 руб.

05.10.2022    13287    15    8    

16

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Платные (руб)

Правила переноса кадровых и расчетных данных и справочной информации из "1С:УПП1.3" или "1С:КА 1.1" в "1С:ЗУП 3.1 | Разработан в формате КД 2 (правила конвертации данных) | При выгрузке есть фильтр по организациям | Обновляется при выходе новых релизов 1С | Развитие алгоритмов | Расчетные документы переносятся в документ "Перенос данных" | Создаются документы "Начальная штатная расстановка" и "Начальная задолженность по зарплате", переносятся кадровые документы

58000 руб.

29.10.2018    62566    80    131    

79

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Управление производственным предприятием Россия Платные (руб)

Регулярный обмен, выгрузка, перенос из КА 1.1, УПП 1.3, УТ 10.3 для обмена с любыми конфигурациями, поддерживающими обмен в формате EnterpriseData (КД3) - БП 3.0, ERP, КА 2, УТ 11, Розница 3, УНФ 3 и другими. Правила для старых и доработанных конфигураций не требуют синхронного обновления и совместимы с новыми и будущими конфигурациями. Обмен по расписанию, через папку, FTP, почту.

16531 руб.

18.02.2016    202670    672    543    

562
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. DitriX 2115 04.08.14 18:00 Сейчас в теме
Что есть такое архивирование? Видь сжатие хранилища это тоже архивирование.
Какую степень сжатия на каком этапе использовали?
2. spezc 804 04.08.14 19:16 Сейчас в теме
(1) DitriX, вы правы. Сжатие данных при помещение в хранилище значений и ЗаписьZipФайла используют общий алгоритм сжатия данных "Deflation". Дополнительное использование ЗаписьZipФайла приведено для сравнения - видно, что даже после сжатия в варианте В ЗаписьZipФайла уменьшает размер еще на 20%.

В хранилище значений использовалась максимальная степень сжатия 9. В ЗаписьZipФайла использовалось степень Оптимальная (по умолчанию). Использование в ЗаписьZipФайла максимальной степени сжатия дало увеличения времени сжатия, но фактически не дало выигрыша в размере.
3. DrAku1a 1795 05.08.14 08:40 Сейчас в теме
Подскажите, а какими средствами Вы будете передавать полученный ZIP-файл на мобильное приложение и обратно?
4. spezc 804 05.08.14 17:07 Сейчас в теме
(3) DrAku1a, на самом деле передавать ZIP-файл на мобильное приложение смысла пока нет, ибо там нет средств для распаковки. Соответствено запаковать на мобильном устройстве тоже не получится. Получение ZIP-файла здесь только как пример.

Если же обмен будет проиходить между обычными конфигурациями (есть возможность использовать zip) - то zip-файл можно будет передать в виде двоичных данных.
5. flyer 232 06.08.14 08:50 Сейчас в теме
начиная с версии 8.3.5 мобильной платформы необходимо данные сначала бить на пакеты и только потом их передавать.
6. spezc 804 06.08.14 09:12 Сейчас в теме
(5) flyer, а что вы имеет ввиду под "бить на пакеты"?
7. DitriX 2115 06.08.14 12:58 Сейчас в теме
(6) Вероятно имелся ввиду этот баг:


Передача файлов на веб-сервис
Код ошибки: 10139716
Статус: Исправлена в будущей версии Зарегистрирована: 27.05.2014
Исправлена: "Мобильная платформа", версия 8.3.5

Описание:
На устройстве под управлением ОС Андроид не работает передача больших файлов на веб-сервис.


Она еще не исправлена.
8. spezc 804 06.08.14 12:24 Сейчас в теме
(7) DitriX, я не знал про эту ошибку. Просто в практике встречал что у веб-сервиса встречаются проблемы при попытке пропихнуть через него файлы 50-100мб.

А все-таки, что значить "бить на пакеты"? Какие действия под этим подразумеваются?
9. zelevova 06.08.14 14:09 Сейчас в теме
(5) flyer, а можно про это поподробнее?
10. bydk 06.08.14 11:57 Сейчас в теме
(9) zelevova, приведу фрагмент из Корп версии документооборота, там файлы для обмена делятся на части по 5 мб:
	// Файл с сообщением обмена разделяется на части по 5 Мб для стабилизации передачи на мобильный клиент
	МассивЧастейФайла = РазделитьФайл(ИмяВременногоФайла, 5 * 1024 * 1024);
					
	МассивЧастей = Новый Массив;
	Для Каждого ИмяФайла Из МассивЧастейФайла Цикл
		ДвоичныеДанные = Новый ДвоичныеДанные(ИмяФайла);
		// Каждая часть сообщения максимально сжимается
		МассивЧастей.Добавить(Новый ХранилищеЗначения(ДвоичныеДанные, Новый СжатиеДанных(9) ) );
		УдалитьФайлы(ИмяФайла);
	КонецЦикла;
Показать

ИмяВременногоФайла - это xml файл с данными...
dj_serega; spezc; +2 Ответить
Для отправки сообщения требуется регистрация/авторизация