Обмен данными между информационной базой и мобильным клиентом

04.08.14

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

В каком формате передавать данные между информационной базой на сервере и мобильным клиентом.
Добрый день.

Хочу поделиться моими наблюдениями относительно обмена данными между типовой (или не типовой) информационной базой и базой, расположенной на мобильном клиенте. Основной проблемой такого обмена является размер файла. Во-первых,  веб-сервис (а именно он является наиболее удобным способом обмена) имеет ограничения по размеру. Во-вторых, часть взаимодействия клиент-сервер будет осуществляться посредством мобильного интернета (EDGE, 3G, 4G) и поэтому, время на передачу пакета в 20кб и в 2мб будет различно (не в пользу последнего).

В связи с этим, решил провести пару тестов, которые показали бы производительность и результативность нескольких вариантов подготовки пакетов для обмена.
Исходными данными будет массив ссылок на объекты различного типа (в моем примере было примерно 700000 ссылок на Задачи.Задача, Справочник.Номенклатура, Документ.ВнутреннийЗаказ).

Вариант А:

 1. Сериализуем массив, помещаем в xml.
 2. Архивируем xml.
 
Вариант Б:

 1. Помещаем массив в хранилище значений (без сжатия).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Вариант В:

 1. Помещаем массив в хранилище значений (сжатие 9).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Результаты:
 
Вариант А

 Время сериализации (с): 19.675 (сериализуется массив с 700000 элементами, помещается в xml)
 Время архивирования (с): 2.403 (архивируется полученный xml файл)
 Размер стандартный: 121 129,2кб (размер полученного xml)
 Размер архива: 4 423,4кб (размер архива)

Вариант Б
 
 Время получения хранилища (с): 1.467 (в хранилище помещается массив с 700000 элементами, без сжатия)
 Время сериализации (с): 8.175 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 2.449 (архивируется полученный xml файл)
 Размер стандартный: 78 350,95кб (размер полученного xml)
 Размер архива: 6 807,34кб (размер архива)

Вариант В

 Время получения хранилища (сжатого) (с): 6.147 (в хранилище помещается массив с 700000 элементами, сжатие 9)
 Время сериализации (с): 0.562 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 0.546 (архивируется полученный xml файл)
 Размер стандартный: 5 293,02кб (размер полученного xml)
 Размер архива: 3 926,88кб (размер архива)
 
Как видно по результатам теста, оптимальным (в плане производительности и размера полученного файла обмена) является вариант В - т.е. сначала помещаем в хранилище значений с сжатием, потом архивируем (хотя на самом деле выигрыш от архивирования не такой уж и большой, пусть даже при минимальных временных затратах).

Этот пример рассматривает отправку данных с сервера на мобильный клиент. Для отправки данных с мобильного клиента на сервер вариант В думаю будет также оптимальным (с учетом того, что вариант А не подходит в принципе, ибо архивирование в мобильном клиенте сейчас недоступно).

 

обмен xml мобильный клиент мобильное приложение веб-сервис web-сервис сжатие формат обмена планы обмена

См. также

SALE! 10%

[ED3] Обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

22320 руб.

12.06.2017    129591    661    289    

368

SALE! 10%

Перенос данных из УПП 1.3 / КА 1.1 в БП 3.0

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием Россия Бухгалтерский учет Платные (руб)

Для данного перехода не существует стандартной обработки от компании 1С. Наша разработка позволяет перенести остатки по всем счетам бухгалтерского учета, документы за период и всю нормативно справочную информацию из "1С: Управление производственным предприятием 1.3" / "1С:Комплексная автоматизация 1.1" в программу "1С:Бухгалтерия предприятия 3.0" на выбранную дату начала ведения учета. В обработке имеется фильтр по организациям и множество других параметров выгрузки. Поддерживается несколько сценарией работы: как первичного полного переноса, так и догрузки только новых документов из УПП 1.3 / КА 1.1 в БП 3.0. Обмен проводится либо с помощью правил (тариф "Базовый"), либо с помощью готовых обработок для обмена, которые можно подключить к конфигурациям (тариф "Удобно"). Конфигурации при использовании обмена остаются полностью типовыми. Перенос данных возможен в 1С: Бухгалтерию 3.0 версии ПРОФ, КОРП или базовую.

43889 39500 руб.

25.02.2015    165636    366    231    

354

Загрузка номенклатуры c картинками (несколько потоков одновременно) и сопутствующими данными в базу и любые документы из yml, xls, xlsx, xlsm, ods, ots, csv для УТ 10.3, УТ 11 (все), БП 3, КА 2, ERP 2, УНФ 1.6/3.0, Розница 2

Загрузка и выгрузка в Excel Логистика, склад и ТМЦ Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Эволюция не стоит на месте - новая удобная версия функциональной обработки для Вашего бизнеса! Что же Вы получаете? Удобный и интуитивно понятный интерфейс с 3-мя этапами работы. 2 режима - автоматический и ручной. Чтение XLSX, XLSM, CSV, XML/YML форматов без офиса, на любом сервере! Визуальное связывание колонок файла и реквизитов простым перетаскиванием колонок. Создание или обновление номенклатуры с иерархией, характеристик, доп. реквизитов, упаковок, загрузка практически неограниченного количества картинок на одну номенклатуру (с возможностью загрузки в несколько потоков одновременно), с хранением в томах или в базе. Загрузка номенклатуры поставщиков или поиск по их данным номенклатуры. Загрузка доп. реквизитов в характеристики. Загрузка штрихкодов с генерацией новых. Создание элементов справочников и ПВХ "на лету" для выбранных реквизитов. (Обновление от 14.05.2023, версия 9.4 - 9.8)

5988 руб.

20.11.2015    144210    337    366    

472

SALE! 10%

[ED2] Обмен УПП 1.3, КА 1.1, УТ 10.3 с EnterpriseData (универсальный формат обмена), обработка

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Платформа 1C v8.2 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Управление производственным предприятием Россия Платные (руб)

Регулярный обмен, выгрузка, перенос из КА 1.1, УПП 1.3, УТ 10.3 для обмена с любыми конфигурациями, поддерживающими обмен в формате EnterpriseData (КД3) - БП 3.0, ERP, КА 2, УТ 11, Розница 2, УНФ 1.6 и другими. Правила для старых и доработанных конфигураций не требуют синхронного обновления и совместимы с новыми и будущими конфигурациями. Обмен по расписанию, через папку, FTP, почту.

12600 11340 руб.

18.02.2016    177984    539    507    

497

SALE! 10%

Перенос данных из БП 3.0 в УНФ 3.0 / УНФ 1.6

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Бухгалтерия 3.0 Россия Платные (руб)

Обработка позволяет начать вести учет в программе "1С:Управление нашей фирмой" редакции 3.0 или 1.6, то есть перенести в нее из существующей базы "1С:Бухгалтерия предприятия, ред. 3.0" начальные остатки на выбранную дату, документы за период времени и также всю необходимую справочную информацию. По вашему запросу мы можем бесплатно добавить в правила переноса дополнительные виды объектов (например, новые виды документов). Обработка по переходу на новую программу 1С включает в себя правила конвертации в формате XML, обработку для выгрузки и загрузки данных, а также инструкцию по работе. В стоимость переноса включена техподдержка в течение месяца с момента покупки, а также получение обновлений переноса в течение 4 месяцев.

43889 39500 руб.

10.07.2018    64254    33    111    

40

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С: Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила тестировались на конфигурациях УПП 1.3 (1.3.212.x) и БП 3.0 (3.0.142.x). Правила подходят для версии ПРОФ и КОРП.

25000 руб.

15.12.2021    16946    99    36    

52

SALE! 10%

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос позволяет настроить собственный обмен данными между указанными программами, альтернативный предлагаемому фирмой 1С. Перенос данных осуществляется из 1С:ERP 2 / 1С:КА 2 / 1С:УТ 11 в 1С:БП 3.0. Правила обмена оперативно обновляются при выходе новых релизов программы 1С, так что вы всегда будете иметь самую актуальную версию обработки. Наша компания также предоставляет техническую поддержку по вопросам, возникающим при использовании обработки. Вы можете обратиться к нам через тикеты на Инфостарте, и мы оперативно решим любые вопросы. Мы гарантируем, что наша обработка будет надежным помощником для вашего бизнеса, который упростит и ускорит процесс взаимодействия между программами 1С.

35000 31500 руб.

15.04.2019    64869    160    127    

91

Выгрузка-загрузка любых данных (и измененных) между похожими конфигурациями (ФАЙЛ, HTTP, COM) ЛЮБЫХ баз 1С 8.1-8.3 с обработкой и поиском данных по произвольным полям поиска

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Что же Вы получаете? 2 способа обмена объектами – с ОДИНАКОВОЙ структурой и с ОТЛИЧАЮЩЕЙСЯ! Забудьте о том, что не могли ранее перенести данные между базами, из-за того, что изменилась структура объектов в одной из них с обновлением конфигурации – теперь это в прошлом! Теперь не помеха для обмена изменение состава реквизитов объекта (измерений, ресурсов)/состава табличных частей/реквизитов табличных частей/типов реквизитов! А так же получаете быстрый алгоритм обмена, с возможностью указания уровня выгрузки объектов по ссылкам! 3 способа обмена - ФАЙЛ, HTTP, COM: Система слежения за дублями предопределенных элементов при загрузке; Система поиска связей объектов для выгрузки; Отборы для каждого объекта конфигурации в отдельности; Динамическая замена произвольных ссылок при обмене; Выбор регистров движений для выгрузки. (Обновление от 22.07.2023, версия 8.10 - 10.0)

12000 руб.

28.08.2012    197937    269    277    

616
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. DitriX 2081 04.08.14 18:00 Сейчас в теме
Что есть такое архивирование? Видь сжатие хранилища это тоже архивирование.
Какую степень сжатия на каком этапе использовали?
2. spezc 774 04.08.14 19:16 Сейчас в теме
(1) DitriX, вы правы. Сжатие данных при помещение в хранилище значений и ЗаписьZipФайла используют общий алгоритм сжатия данных "Deflation". Дополнительное использование ЗаписьZipФайла приведено для сравнения - видно, что даже после сжатия в варианте В ЗаписьZipФайла уменьшает размер еще на 20%.

В хранилище значений использовалась максимальная степень сжатия 9. В ЗаписьZipФайла использовалось степень Оптимальная (по умолчанию). Использование в ЗаписьZipФайла максимальной степени сжатия дало увеличения времени сжатия, но фактически не дало выигрыша в размере.
3. DrAku1a 1605 05.08.14 08:40 Сейчас в теме
Подскажите, а какими средствами Вы будете передавать полученный ZIP-файл на мобильное приложение и обратно?
4. spezc 774 05.08.14 17:07 Сейчас в теме
(3) DrAku1a, на самом деле передавать ZIP-файл на мобильное приложение смысла пока нет, ибо там нет средств для распаковки. Соответствено запаковать на мобильном устройстве тоже не получится. Получение ZIP-файла здесь только как пример.

Если же обмен будет проиходить между обычными конфигурациями (есть возможность использовать zip) - то zip-файл можно будет передать в виде двоичных данных.
5. flyer 230 06.08.14 08:50 Сейчас в теме
начиная с версии 8.3.5 мобильной платформы необходимо данные сначала бить на пакеты и только потом их передавать.
6. spezc 774 06.08.14 09:12 Сейчас в теме
(5) flyer, а что вы имеет ввиду под "бить на пакеты"?
7. DitriX 2081 06.08.14 12:58 Сейчас в теме
(6) Вероятно имелся ввиду этот баг:


Передача файлов на веб-сервис
Код ошибки: 10139716
Статус: Исправлена в будущей версии Зарегистрирована: 27.05.2014
Исправлена: "Мобильная платформа", версия 8.3.5

Описание:
На устройстве под управлением ОС Андроид не работает передача больших файлов на веб-сервис.


Она еще не исправлена.
8. spezc 774 06.08.14 12:24 Сейчас в теме
(7) DitriX, я не знал про эту ошибку. Просто в практике встречал что у веб-сервиса встречаются проблемы при попытке пропихнуть через него файлы 50-100мб.

А все-таки, что значить "бить на пакеты"? Какие действия под этим подразумеваются?
9. zelevova 06.08.14 14:09 Сейчас в теме
(5) flyer, а можно про это поподробнее?
10. bydk 06.08.14 11:57 Сейчас в теме
(9) zelevova, приведу фрагмент из Корп версии документооборота, там файлы для обмена делятся на части по 5 мб:
	// Файл с сообщением обмена разделяется на части по 5 Мб для стабилизации передачи на мобильный клиент
	МассивЧастейФайла = РазделитьФайл(ИмяВременногоФайла, 5 * 1024 * 1024);
					
	МассивЧастей = Новый Массив;
	Для Каждого ИмяФайла Из МассивЧастейФайла Цикл
		ДвоичныеДанные = Новый ДвоичныеДанные(ИмяФайла);
		// Каждая часть сообщения максимально сжимается
		МассивЧастей.Добавить(Новый ХранилищеЗначения(ДвоичныеДанные, Новый СжатиеДанных(9) ) );
		УдалитьФайлы(ИмяФайла);
	КонецЦикла;
Показать

ИмяВременногоФайла - это xml файл с данными...
dj_serega; spezc; +2 Ответить
Оставьте свое сообщение