Чтение сжатого gzip, deflate HTTP ответа сервера. Без ВК. Уменьши время загрузки и сократи трафик в 3 раза

08.06.18

В платформе 1С:Предприятие не реализовано штатного механизма декодирования ответа веб серверов, в которых присутствует gzip сжатие. Некоторые использовали WinHttpRequest.5.1 , кто-то писал ВК. Друзья, хватит. Вот вам решение.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование	Скачано	Купить файл	По подписке PRO
Готовая функция .epf 8,52Kb ver:1 210	210	2 500 руб. Купить	1 SM Скачать

Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».

0% комиссии — оплата напрямую исполнителю;
Исполнители любого масштаба — от отдельных специалистов до команд под проект;
Прямой обмен контактами между заказчиком и исполнителем;
Безопасная сделка — при необходимости;
Рейтинги, кейсы и прозрачная система откликов.

Будет работать на платформе 8.3.9 + . Потому что работа с двоичными данными появилась только в них.

Многие искали ответ на этот вопрос, и тут, и на партнерском форуме, тема действительно актуальная, сейчас все работает со сжатием.

Суть метода лежала на поверхности, что такое GZIP - это формат схожих с ZIP , но отличающейся заголовочными блоками.

1) Вставляем заголовок, чтобы сервер понимал, что мы умеем принимать этот формат

Заголовки.Вставить("Accept-Encoding", "gzip");

2) Получаем ответ в виде двоичных данных

3) Вырезаем сжатое тело (Байты с 10 по ДлинаТела - 8)

4) Формируем валидные залоговоки формата ZIP файла и добавляем к нему сжатое тело (Пример формирование валидных ZIP заголовков взят отсюда //infostart.ru/public/618906/, и доработаны)

5) Извлекаем данные с использованием ЧтениеZipФайла

Во вложении готовая функция, можно копировать в проект и использовать.

Если будет советы по оптимизации и улучшению, просьба в личку.

Вступайте в нашу телеграмм-группу Инфостарт

gzip deflate

+91 –

См. также

Интеграция 1С с API Boxberry, СДЭК, Энергия, Почта России, DPD, ПЭК, Grastin, Деловые Линии, КСЕ, Dalli, ЯндексДоставка

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Пользователь 1С:Предприятие 8 1С:Бухгалтерия 2.0 1С:Бухгалтерия 3.0 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Программный продукт "Управление доставками в 1С" позволяет обмениваться с личным кабинетом Boxberry, СДЭК, Энергия, Почта России, DPD, ПЭК, Grastin, Деловые Линии, КСЕ, Dalli, ЯндексДоставка. Упрощает создание заявок и резервирование заказов прямо в интерфейсе 1С

24400 руб.

10.03.2016 76184 321 100

Экспортер — автоматизация выгрузки данных из 1С в Spot2D

WEB-интеграция Разработчик Аналитик 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Оптовая торговля, дистрибуция, логистика ИТ-компания Платные (руб)

Модуль "Экспортер" — это расширение для 1С, предназначенное для автоматизации процессов выгрузки данных. Оно позволяет эффективно извлекать, преобразовывать и передавать данные из систем 1С в интеграционную платформу Spot2D. Подсистема упрощает настройку, снижает количество ручных операций и обеспечивает удобный контроль данных.

17568 руб.

20.12.2024 7798 35 4

Интеграция Альфа Авто 5 и 6 и AUTOCRM + LOGICSTARS

Сайты и интернет-магазины WEB-интеграция Системный администратор Разработчик Пользователь 1С:Предприятие 8 1C:Бухгалтерия 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM / LOGICSTARS. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM / LOGICSTAR разных брендов в одной информационной базе в ручном и автоматическом режиме.

42700 руб.

03.08.2020 25873 42 26

Интеграция Альфа Авто 6 и LSAvto по API (LogicStars) (CHERY, OMODA, JAECOO, EXEED, TENET)

WEB-интеграция Системный администратор Разработчик Пользователь 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена по API между конфигурацией 1С:Альфа-Авто 6 и порталом LogicStar. Позволяет работать с несколькими обменами LogicStars разных брендов (CHERY, OMODA, JAECOO, EXEED, TENET) в одной информационной базе в ручном и автоматическом режиме. Поддерживается выгрузка заказ-нарядов, реализаций товаров и товарных остатков.

20740 руб.

13.05.2025 3101 6 0

Интеграция 1С с OpenCart 2.x, 3x модуль обмена данными

WEB-интеграция Оптовая торговля Розничная торговля Разработчик 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Модуль интеграции 1С с OpenCart 2.x, 3x позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6914 руб.

17.11.2015 135297 477 143

257

Яндекс.Метрика - загрузка статистики в 1С

WEB-интеграция Разработчик Пользователь 1С:Предприятие 8 1C:Бухгалтерия Управленческий учет Платные (руб)

Хорошая основа вашего решения импорта данных статистики Яндекс.Метрики в информационную базу 1С. Получение счетчиков, запрос статистики, получение данных - все в одной обработке.

5094 руб.

21.06.2022 11439 12 0

Выгрузка товаров в VK маркет из 1С

WEB-интеграция Загрузка и выгрузка в Excel Разработчик Пользователь 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Розница 3.0 Розничная и сетевая торговля (FMCG) Россия Платные (руб)

Расширение освободит вас от необходимости вручную обновлять информацию о товарах в группах ВКонтакте. Достаточно задать правила один раз, и система автоматически формирует файлы yml для дальнейшей загрузки в группы в ВК. Вы сможете легко выбирать, какие товары публиковать, создавая гибкие критерии отбора. Например, можно добавить важные для покупателей параметры: цвет, размер или другие характеристики.

12200 руб.

29.08.2025 3782 7 8

Сервисы 1СПАРК Риски и 1С:Контрагент для «старых» конфигураций

WEB-интеграция Аналитик Бухгалтер Пользователь 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Бухгалтерия государственного учреждения Россия Платные (руб)

Доступ в виде подписки к сервисам 1СПАРК Риски и 1С:Контрагент в «старых», но широко используемых конфигурациях.

6100 руб.

30.01.2019 28962 104 6

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. PerlAmutor 162 08.06.18 11:57 Сейчас в теме

(0)

Будет работать на платформе 8.3.9 + . Потому что работа с двоичными данными появилась только в них.

Тема актуальная, т.к. сайт РБК "любит" отдавать курсы валют в Gzip формате, если запрашивать периодом. Никакие переданные ему ключи в заголовках на его поведение не влияют.

К сожалению у меня платформа 8.3.7. Каким-то образом в ней можно извернуться так, чтобы добавить к данным заголовок (может через прямое редактирование base64 строки)?
---
Кажется нашел как можно сделать на старых платформах, благодаря Александру Шпагину, но это работает только с deflate, а по поводу Gzip вопрос остается открытым:

// сжатие решается конструкцией: 
    
    ХЗ = Новый ХранилищеЗначения(НашеЗначениеКотороеНадоСжать, СжатиеДанных(9));
    СтрокаBase64 = СериализаторXDTO.XMLСтрока(ХЗ);
    СжатыеДвоичныеДанные = Base64Значение(СтрокаBase64);


// распаковка: 
    СтрокаBase64 = Base64Строка(СжатыеДвоичныеДанные);
    ХЗ = СериализаторXDTO.XMLЗначение(Тип("ХранилищеЗначения"), СтрокаBase64);
    НашеЗначение = ХЗ.Получить();

Показать

2. Malfarion 258 08.06.18 12:36 Сейчас в теме

(1) Говорят что формат deflate не используется сейчас веб серверами, хотя deflate = gzip без заголовков (чисто сжатые данные), для стандартизации все перешли на gzip.

3. PerlAmutor 162 08.06.18 16:20 Сейчас в теме

(1) К сожалению вариант с ХранилищемЗначения не работает, если на вход поступает Base64 строка с чистыми Deflate данными...

4. oyti 110 08.06.18 17:15 Сейчас в теме

Как раз совсем недавно бился над данным вопросом и временно перешел на обмен без сжатия (что так себе вариант).
Спасибо. Будем тестировать...

5. PerlAmutor 162 09.06.18 12:11 Сейчас в теме

Кстати насчет обновления курсов валют с сайта РБК. Один и тот же запрос валюты может возвращать 10 раз несжатый траффик, а потом ему что-то в голову бьет и начинает возвращать снова в gzip.

6. nbelyaev 843 09.06.18 19:40 Сейчас в теме

автор, спасибо! актуально

7. пользователь 01.08.18 11:05

Сообщение было скрыто модератором.

...

8. GoodZone 13 28.08.18 08:53 Сейчас в теме

Подскажите

ИмяСжатогоФайла="body.json";

это принципиально?

9. Malfarion 258 28.08.18 11:06 Сейчас в теме

(8) На сколько я помню нет.

10. GoodZone 13 29.08.18 09:48 Сейчас в теме

Просто подумал может тег body )), а так проверил все работает на ура. Очень нужная вещь.

11. milanse 41 14.03.19 09:26 Сейчас в теме

Есть задача данные в формате gzip распаковывать из 1С, качнул обработину, в лоб не работает. Данные содержат заголовок gzip. Убрал заголовок, отрезал хвост в соотвествии с форматом, остались только данные deflate результирующий файл 1с не распаковывает. Файл читается 7zip и far, выдает ошибку crc, но данные достает нормально....
Может есть идеи что еще можно подшаманить ?

14. uno-c 276 18.07.19 15:59 Сейчас в теме

(11)

Может есть идеи что еще можно подшаманить ?

Посмотрите описание формата gzip: http://www.zlib.org/rfc-gzip.html Согласно этому описанию, за первыми 10 байтами не обязательно следует deflate. Перед deflate могут присутствовать также имя файла, комментарий и т.д. В случае gzip сжатого тела ответа HTTP они отсутствуют, т.е. за 10 байтами сразу начинается deflate, но для Вашей задачи нужен дальнейший разбор и проверка присутствия комментария, имени файла и проч.

15. milanse 41 18.07.19 19:15 Сейчас в теме

(14) спасибо посмотрю, но пока пришлось решить через ВК.

12. ui69 41 14.06.19 12:17 Сейчас в теме

Автору - спасибо! Работает четко.

13. boogie 493 07.07.19 15:12 Сейчас в теме

Работает прекрасно.

16. Dzenn 936 17.02.20 11:31 Сейчас в теме

Спасибо, добрый человек. Не скачивал пока, но верю, что это то, что доктор прописал

17. nDaDe 29.04.20 21:04 Сейчас в теме

Не подскажите как из WinHttp.WinHttpRequest.5.1 получить двоичные данные чтобы распаковать.

18. Sergafan10 24.05.21 20:28 Сейчас в теме

8.3.16
Не работает. Валится при попытке извлечения:
Неожиданная ошибка в работе архиватора: body.json
Скорее всего что-то со структурой.

19. Malfarion 258 24.05.21 22:43 Сейчас в теме

(18) Вероятнее всего вы ей на вход не gzip подали, а что-то похожее, вы заголовок ответа сервера проверили?

20. Sergafan10 25.05.21 08:08 Сейчас в теме

(19) у меня в Ответ.ПолучитьТелоКакДвоичныеДанные() торчит полноценный gzip-архив, если его Записать() то он открывается и содержимое вполне просматривается

21. Sergafan10 25.05.21 09:26 Сейчас в теме

(19) upd
Там действительно zip-архив! Зато в мануале:

В качестве возвращаемого параметра пользователь получает заархивированный csv-файл.
Файл заархивирован в формате .gzip

Прошу прощения!

22. lnnd 18 21.06.21 09:23 Сейчас в теме

Не работает, выдает ошибку

Прикрепленные файлы:

23. Malfarion 258 21.06.21 12:58 Сейчас в теме

(22) Не работать не может, значит на входе не GZIP

24. kholodarev 8 25.02.22 16:40 Сейчас в теме

Спасибо! То, что надо. Работает

25. KOLYNNN 15.10.22 09:31 Сейчас в теме

Доброе утро.
Подскажите пожалуйста, почему не хочет работать с моими данными. Судя по заголовкам и расшифровке на сайте там json сжатый gzip.
Приложил тело в двоичных данных и строкой, посмотрите пож., замучался уже с ним.
Валиться на этой строчке:
Файл.Извлечь(Файл.Элементы[0], КаталогВременныхФайлов,РежимВосстановленияПутейФайловZIP.НеВосстанавливать);

Прикрепленные файлы:

amocrm
ДвоичныеДанные.txt
ТелоЗапросаСтрока.txt

26. Viktor_Ermakov 419 16.08.23 18:16 Сейчас в теме

смотрите в БП на ОбщегоНазначенияЭДКО.МассивОписанийИДанныхGzipФайла()

27. fixin 4347 01.02.24 19:26 Сейчас в теме

спасибо, с 1 декабря 2023 moysklad стал отдавать данные только в gzip.
Применил функцию успешно, только в концовочке добавил кодировку UTF-8 в явном виде:

    ЧтениеТекста=Новый ЧтениеТекста(КаталогВременныхФайлов+РазделительПутей+"body.json", "UTF-8");
    Текст=ЧтениеТекста.Прочитать();
    ЧтениеТекста.Закрыть();
    УдалитьФайлы(КаталогВременныхФайлов);
    Возврат Текст;

А то возвращалось нечитаемо.

было бы неплохо, что если бы это был не gzip, он просто распаковывал как строку, чтобы не думать, в каких ответах возвращается строка, в каких gzip.

Подробнее в статье: https://geniy1s.ru/izmeneniya-v-api-moj-sklad-v-2024/

28. valchel 20.03.24 14:21 Сейчас в теме

Большое Вам спасибо!
Сэкономили много часов времени.

29. alextom 1 23.08.25 17:19 Сейчас в теме

Чтож, поскольку это первый в поиске по gzip линк, отпишу здесь:

Описание платформы 8.3.26 какой-то. Убираем костыли, не используем больше ЧтениеZIP:

Реализована возможность распаковки архивов следующих форматов: GZIP, RAR, 7-ZIP, XZ, TAR. Возможность упаковки в эти форматы не поддерживается.
Реализованы объекты ЧтениеФайлаАрхива и ЗаписьФайлаАрхива. Реализовано свойство КатегорияОшибки.НеподдерживаемыйФормат.

Объекты ЧтениеZipФайла и ЗаписьZipФайла (и связанные объекты) объявляются устаревшими и не рекомендуются к использованию.

30. Yekki 2 18.12.25 09:24 Сейчас в теме

теперь все есть в базах

ДвоичныеДанныеОтвета = ОтветHTTP.ПолучитьТелоКакДвоичныеДанные();
ДвоичныеДанныеТекста = РаспаковатьФайлGZip(ДвоичныеДанныеОтвета);
ПолучитьСтрокуОтвета = ПолучитьСтрокуИзДвоичныхДанных(ДвоичныеДанныеТекста);