Уменьшаем трафик: HTTP запрос со сжатием GZIP средствами 1С. На примере выгрузки файлов на Яндекс-диск

03.09.18

Интеграция - WEB-интеграция

Обработка демонстрирует отправку тела HTTP запроса со сжатием gzip (метод deflate) средствами платформы 1С. Демонстрация происходит на примере отправки текста или файла на Яндекс.Диск.

Скачать файлы

Наименование Файл Версия Размер
Отправка HTTP запроса с телом сжатым GZIP
.epf 9,01Kb
87
.epf 9,01Kb 87 Скачать

В одной из задач мне требовалось один раз в 10 минут отправлять из 1С на API сайта текстовую (json) информацию в теле POST запроса. При этом объем информации был достаточно значительным, и я решил его сжать распространенным в HTTP форматом gzip. В результате размер передаваемой информации сократился в 10 раз. В предоставленной здесь обработке gzip для примера используется с целью уменьшения трафика при отправке файла из 1С на Яндекс-диск методом PUT. Аналогично можно поступить при работе с Google-диском. Делал на платформе 8.3.9.2233, работоспособность также проверена на 8.3.11.3034.

Для достижения цели проделал следующее:

1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.

Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные. Из логов отправки на скринах ниже видно, что без сжатия размер тела составлял 212013 байт, со сжатием - 23988 байт. На текстовых данных, в т.ч. json и xml, выигрыш довольно значительный.

 

Описание формата zip, структуру служебных заголовков взял здесь: https://www.iana.org/assignments/media-types/application/zip
Заголовки, которые нужно вставить в gzip, здесь: http://www.zlib.org/rfc-gzip.html

Токен Яндекса, встроенный в обработку, истекает 01.09.2019. После этого дня для демонстрации выгрузки на Я.диск используйте свой токен. А так же соответственно свой адрес на Я-диске для просмотра результата выгрузки файла на диск.

gzip http запрос сжатие

См. также

Модуль для обмена "1С:Предприятие 8. УАТ. ПРОФ" с FortMonitor

WEB-интеграция 8.3.8 Конфигурации 1cv8 Автомобили, автосервисы Беларусь Украина Россия Казахстан Управленческий учет Платные (руб)

Расширение предназначено для конфигурации "1С:Предприятие 8. Управление Автотранспортом. ПРОФ". Функционал модуля: 1. Заполнение регистров сведений по подсистеме "Мониторинг", а именно: события по мониторингу, координаты по мониторингу, пробег и расход по мониторингу, текущее местоположение ТС по мониторингу 2. Заполнение путевого листа: пробег по мониторингу, время выезда/заезда, табличная часть ГСМ 3. Отчеты по данным загруженным в регистры сведений. 4. В версии "с функцией автозагрузки данных" предусмотрена автоматическая загрузка данных в фоновом режиме (условия работы данной загрузке читайте в описании товара) Модуль работает без включенной константы по настройкам мониторинга. Модуль формы предоставляется с открытым кодом, общий модуль защищен. Любой заинтересованный пользователь, имеет возможность скачать демо-версию расширения.

600 руб.

25.05.2021    11802    9    4    

8

Интеграция с сервисом vetmanager

WEB-интеграция Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Данная обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.

6000 руб.

02.02.2021    14538    35    43    

19

Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС

Обмен с ГосИС WEB-интеграция Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

2400 руб.

28.04.2016    85342    142    211    

297

Прайс-лист с фотографиями, выгрузкой в Excel с подсчетом суммы заказа, загрузкой заказа в Управление торговлей 11 (Россия) и Управление торговлей для Беларуси 3

Прайсы Загрузка и выгрузка в Excel Оптовая торговля WEB-интеграция Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Прайс-лист для программы 1С: Управление торговлей 11 и Управление торговлей для Беларуси 3, позволяющий: 1) Формировать прайс-лист с фотографиями; 2) Сохранить прайс-лист в Excel с формулами, подсчитывающими количество и сумму заказа; 3) Передать сформированный прайс-лист по каналу ftp на сайт; 4) Сохранить прайс-лист в формате CSV; 5) Загрузить сделанный по прайс-листу заказ обратно в программу.

6000 руб.

04.09.2014    120993    44    105    

53

Sync1C: Синхронизация 1С и OpenCart

WEB-интеграция Оптовая торговля Розничная торговля Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Управленческий учет Платные (руб)

Внешняя обработка для обмена данными с интернет-магазином OpenCart. Позволяет быстро наполнить магазин товарами, затем обновлять цены и добавлять новые товары. Далее можно средствами OpenCart настраивать и дополнять карточки товаров как надо для магазина, при этом связь товаров с 1С не теряется.

3840 руб.

30.03.2018    41981    79    133    

82

Merlion Commander Версия 1.3.9.2 - июль 2022 г. (Интеграция с 1С: УT, редакция 11.4, 1С:Розница 2.3,1С:ERP Управление предприятием 2, УТ 10.3, редакция веб-сервиса MERLION API 3.0 от 18.08.2021)

Оптовая торговля Розничная торговля WEB-интеграция Платформа 1С v8.3 1С:Управление торговлей 11 Россия Платные (руб)

Расширении конфигурации "Управление торговлей, редакция 11" для работы с веб-сервисом Мерлион с помощью Merlion API. Расширение и набор подключаемых дополнительных обработок позволяет без изменения конфигурации получить возможность работы с API крупнейшего российского дистрибьютора http://merlion.com. Логика работы максимально приближена к работе веб-сервиса b2b. Вы сможете создать и исправить заказ, зарезервировать товар прямо из 1С, посмотреть актуальные остатки и цены, импортировать штрихкода EAN13 товаров, загружать заказ c автоматическим созданием номенклатуры в 1С и корректности создания. Можно выбирать характеристики по товарным группам и загружать товар с выбранными характеристиками, загружать изображения товара. Не требуется установки дополнительного ПО для работы с веб-сервисом. Кроссплатформенное решение для ОС Windows и Linux. Весь код модулей открыт и доступен для просмотра и внесения изменений.

8280 руб.

02.05.2017    37434    40    45    

47
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. link.gabauer 4 11.02.21 11:14 Сейчас в теме
Спасибо за решение. То что нужно! Респект
2. Oksana_An 30.04.21 14:58 Сейчас в теме
Добрый день! Выполняю POST запрос в Fiddlere, запрос выполнился без ошибок только когда установила Transformer - GZIP.
Подскажите, пожалуйста, как можно в 1C передать через HTTP тело запроса с использованием GZIP?
4. uno-c 224 02.05.21 16:34 Сейчас в теме
(2) Передать можно так, как написано в статье:
1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.
Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные.
3. Oksana_An 30.04.21 15:00 Сейчас в теме
Тело запроса содержит текстовый файл.
5. Gendelf 07.06.22 10:27 Сейчас в теме
Я правильно понимаю, что без текстового файла не обойтись?
6. uno-c 224 07.06.22 12:35 Сейчас в теме
(5) В статье в Яндекс-Диск я передавал октет-стрим. application/octet-stream: двоичный файл без указания формата (RFC 2046). Текст выбран, чтобы показать существенный выигрыш, который я получил. Когда json передавал (json передавал не в Яндекс), json это тоже текст. А так сжимать и передавать можно любые двоичные данные, но выигрыш в размерах будет разный, в зависимости от содержания двоичных данных.
7. Gendelf 08.06.22 09:00 Сейчас в теме
(6) Не совсем понял. Опишу подробнее, необходимо отправить ответ сервису в gzip (без него ответ json около 1ггб).
Какой порядок действий, что нужно сделать, чтобы сжать строку json.

Нашёл в интернете: Ответ.Заголовки.Вставить("Content-Encoding", "gzip"); - не помогло.
8. uno-c 224 08.06.22 12:17 Сейчас в теме
(7) json - это обычный текст. Т.е нужно сделать примерно то же, что делала обработка из этой публикации, когда на Яндекс сжатые данные передавала. Только заголовок вставить - недостаточно. Нужно, чтобы и тело запроса было не текстом, а гзипом, обработка из этой публикации этим и занималась - из текстового файла делала gzip.
9. SerVer1C 662 05.06.23 09:06 Сейчас в теме
Описание формата zip, структуру служебных заголовков взял здесь:

Может здесь: https://infostart.ru/public/618906/
?
10. uno-c 224 05.06.23 14:09 Сейчас в теме
(9) Предпочитаю первоисточники - спецификации RFC и т.п. А Ваша обработка gzip и не сделает, судя по описанию. Мне нужен был именно gzip, сервер не принимал чистый deflate, несмотря на соответствующий Content-encoding в POST-запросе. Пришлось обе спецификации листать, и https://www.iana.org/assignments/media-types/application/zip и http://www.zlib.org/rfc-gzip.html
11. prohorp 28 16.08.23 10:35 Сейчас в теме
Начал делать обмен 1С с ClickHouse.
По информации в интернете сделал обработку, в которую накидал методы получения и отправки данных(поэтому все так безобразно выглядит).
Команда2НаСервере - это получение данных.
ОтправитьДанныеНаСервере - это отправка сжатого GZIP-ом запроса.
Работа с GZIP была скопирована с другого тоже популярного источника 1С.
Может вариант не идеальный, но рабочий.

&НаКлиенте
Процедура Команда1(Команда)
	Команда1НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда1НаСервере()
	gzip = ПолучитьМодульGZIP();
	стр64 = СтрокаВGZIP(gzip, "Hy"); 
	сообщить(стр64);
	Стр = GZIPВСтроку(gzip, стр64);  
	сообщить(Стр);
КонецПроцедуры  

Функция ПолучитьМодульGZIP() 
	МодульGZIP = Новый Структура;
	МодульGZIP.Вставить("NetObject", новый COMОбъект("NetObjectToIDispatch45"));
	МодульGZIP.Вставить("MemoryStream", МодульGZIP.NetObject.ПолучитьТип("System.IO.MemoryStream"));
	МодульGZIP.Вставить("UTF8", МодульGZIP.NetObject.ПолучитьТип("System.Text.Encoding").UTF8);
	МодульGZIP.Вставить("CompressionMode", МодульGZIP.NetObject.ПолучитьТип("System.IO.Compression.CompressionMode"));
	МодульGZIP.Вставить("Convert", МодульGZIP.NetObject.ПолучитьТип("System.Convert"));
	Возврат МодульGZIP;
КонецФункции

Функция СтрокаВGZIP(gzip, стр)   
	СжатыйПоток = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream); //Поток куда запишутся сжатые данные
	zipStr = gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream", СжатыйПоток, gzip.CompressionMode.Compress);
	МассивДанных= gzip.UTF8.GetBytes(стр);// Получим массив данных используя кодировку  UTF8
	ПотокДляСжатия = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,МассивДанных);  // Создадим поток из массива данных
	ПотокДляСжатия.CopyTo(zipStr);
	zipStr.Flush(); // Сбросим данные в  СжатыйПоток
	zipStr.Close(); // Закроем  GZipStream
	compressed = СжатыйПоток.ToArray(); // Получим массив байт сжатых данных
	Возврат gzip.Convert.ToBase64String(compressed); // Переведем сжатые данные в Base64
КонецФункции  

Функция GZIPВСтроку(gzip, стр64)
	compressed=gzip.Convert.FromBase64String(стр64);
	ПотокСжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,compressed);
	GZipПоток =gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream",ПотокСжатыхДанных, gzip.CompressionMode.Decompress);
	ПотокРазжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream);
	GZipПоток.CopyTo(ПотокРазжатыхДанных);
	Данные=ПотокРазжатыхДанных.ToArray();
	Возврат gzip.UTF8.GetString(Данные);
КонецФункции // ()

&НаКлиенте
Процедура Команда2(Команда)
	Команда2НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда2НаСервере()  
	
	АдресСервера = "10.0.10.140";
	Порт = 8123;
	ТекстЗапроса = "SEL ECT * FROM my_first_table ORDER BY timestamp";
	РесурсНаСервере = "";
	
	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере);
		HTTPЗапрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	
	
КонецПроцедуры

&НаКлиенте
Процедура ОтправитьДанные(Команда)
	ОтправитьДанныеНаСервере();
КонецПроцедуры

&НаСервере
Процедура ОтправитьДанныеНаСервере()

	АдресСервера = "10.0.10.140";
	Порт = 8123;
	gzip = ПолучитьМодульGZIP();
	
	ТекстЗапроса = "INS ERT IN TO my_first_table (user_id, message, timestamp, metric) VALUES (150, 'Здорова Petr fr om gzip',now(),6.6)";
	ТекстЗапросаGZIP = СтрокаВGZIP(gzip, ТекстЗапроса); 
	
	ДД = Base64Значение(ТекстЗапросаGZIP);
	
	РесурсНаСервере = ""; 
   Заголовки = Новый Соответствие;
   Заголовки.Вставить("Content-Encoding", "gzip");	

	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере, Заголовки);
		HTTPЗапрос.УстановитьТелоИзДвоичныхДанных(ДД);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	

КонецПроцедуры
Показать
12. uno-c 224 16.08.23 11:24 Сейчас в теме
(11) Если рабочий - то точно не всегда, COM на линуксе не работает.
Оставьте свое сообщение