Уменьшаем трафик: HTTP запрос со сжатием GZIP средствами 1С. На примере выгрузки файлов на Яндекс-диск

03.09.18

Интеграция - WEB-интеграция

Обработка демонстрирует отправку тела HTTP запроса со сжатием gzip (метод deflate) средствами платформы 1С. Демонстрация происходит на примере отправки текста или файла на Яндекс.Диск.

Скачать файлы

Наименование Файл Версия Размер
Отправка HTTP запроса с телом сжатым GZIP
.epf 9,01Kb
89
.epf 9,01Kb 89 Скачать

В одной из задач мне требовалось один раз в 10 минут отправлять из 1С на API сайта текстовую (json) информацию в теле POST запроса. При этом объем информации был достаточно значительным, и я решил его сжать распространенным в HTTP форматом gzip. В результате размер передаваемой информации сократился в 10 раз. В предоставленной здесь обработке gzip для примера используется с целью уменьшения трафика при отправке файла из 1С на Яндекс-диск методом PUT. Аналогично можно поступить при работе с Google-диском. Делал на платформе 8.3.9.2233, работоспособность также проверена на 8.3.11.3034.

Для достижения цели проделал следующее:

1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.

Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные. Из логов отправки на скринах ниже видно, что без сжатия размер тела составлял 212013 байт, со сжатием - 23988 байт. На текстовых данных, в т.ч. json и xml, выигрыш довольно значительный.

 

Описание формата zip, структуру служебных заголовков взял здесь: https://www.iana.org/assignments/media-types/application/zip
Заголовки, которые нужно вставить в gzip, здесь: http://www.zlib.org/rfc-gzip.html

Токен Яндекса, встроенный в обработку, истекает 01.09.2019. После этого дня для демонстрации выгрузки на Я.диск используйте свой токен. А так же соответственно свой адрес на Я-диске для просмотра результата выгрузки файла на диск.

gzip http запрос сжатие

См. также

Интеграция с сервисом vetmanager

WEB-интеграция Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Данная обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.

12000 руб.

02.02.2021    15208    41    49    

21

Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС

Обмен с ГосИС WEB-интеграция Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

2400 руб.

28.04.2016    86587    154    211    

309

Merlion Commander Версия 1.3.9.2 - июль 2022 г. (Интеграция с 1С: УT, редакция 11.4, 1С:Розница 2.3,1С:ERP Управление предприятием 2, УТ 10.3, редакция веб-сервиса MERLION API 3.0 от 18.08.2021)

Оптовая торговля Розничная торговля WEB-интеграция Платформа 1С v8.3 1С:Управление торговлей 11 Россия Платные (руб)

Расширении конфигурации "Управление торговлей, редакция 11" для работы с веб-сервисом Мерлион с помощью Merlion API. Расширение и набор подключаемых дополнительных обработок позволяет без изменения конфигурации получить возможность работы с API крупнейшего российского дистрибьютора http://merlion.com. Логика работы максимально приближена к работе веб-сервиса b2b. Вы сможете создать и исправить заказ, зарезервировать товар прямо из 1С, посмотреть актуальные остатки и цены, импортировать штрихкода EAN13 товаров, загружать заказ c автоматическим созданием номенклатуры в 1С и корректности создания. Можно выбирать характеристики по товарным группам и загружать товар с выбранными характеристиками, загружать изображения товара. Не требуется установки дополнительного ПО для работы с веб-сервисом. Кроссплатформенное решение для ОС Windows и Linux. Весь код модулей открыт и доступен для просмотра и внесения изменений.

8280 руб.

02.05.2017    38414    42    64    

49
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. link.gabauer 4 11.02.21 11:14 Сейчас в теме
Спасибо за решение. То что нужно! Респект
2. Oksana_An 30.04.21 14:58 Сейчас в теме
Добрый день! Выполняю POST запрос в Fiddlere, запрос выполнился без ошибок только когда установила Transformer - GZIP.
Подскажите, пожалуйста, как можно в 1C передать через HTTP тело запроса с использованием GZIP?
4. uno-c 225 02.05.21 16:34 Сейчас в теме
(2) Передать можно так, как написано в статье:
1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.
Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные.
3. Oksana_An 30.04.21 15:00 Сейчас в теме
Тело запроса содержит текстовый файл.
5. Gendelf 07.06.22 10:27 Сейчас в теме
Я правильно понимаю, что без текстового файла не обойтись?
6. uno-c 225 07.06.22 12:35 Сейчас в теме
(5) В статье в Яндекс-Диск я передавал октет-стрим. application/octet-stream: двоичный файл без указания формата (RFC 2046). Текст выбран, чтобы показать существенный выигрыш, который я получил. Когда json передавал (json передавал не в Яндекс), json это тоже текст. А так сжимать и передавать можно любые двоичные данные, но выигрыш в размерах будет разный, в зависимости от содержания двоичных данных.
7. Gendelf 08.06.22 09:00 Сейчас в теме
(6) Не совсем понял. Опишу подробнее, необходимо отправить ответ сервису в gzip (без него ответ json около 1ггб).
Какой порядок действий, что нужно сделать, чтобы сжать строку json.

Нашёл в интернете: Ответ.Заголовки.Вставить("Content-Encoding", "gzip"); - не помогло.
8. uno-c 225 08.06.22 12:17 Сейчас в теме
(7) json - это обычный текст. Т.е нужно сделать примерно то же, что делала обработка из этой публикации, когда на Яндекс сжатые данные передавала. Только заголовок вставить - недостаточно. Нужно, чтобы и тело запроса было не текстом, а гзипом, обработка из этой публикации этим и занималась - из текстового файла делала gzip.
9. SerVer1C 732 05.06.23 09:06 Сейчас в теме
Описание формата zip, структуру служебных заголовков взял здесь:

Может здесь: https://infostart.ru/public/618906/
?
10. uno-c 225 05.06.23 14:09 Сейчас в теме
(9) Предпочитаю первоисточники - спецификации RFC и т.п. А Ваша обработка gzip и не сделает, судя по описанию. Мне нужен был именно gzip, сервер не принимал чистый deflate, несмотря на соответствующий Content-encoding в POST-запросе. Пришлось обе спецификации листать, и https://www.iana.org/assignments/media-types/application/zip и http://www.zlib.org/rfc-gzip.html
11. prohorp 30 16.08.23 10:35 Сейчас в теме
Начал делать обмен 1С с ClickHouse.
По информации в интернете сделал обработку, в которую накидал методы получения и отправки данных(поэтому все так безобразно выглядит).
Команда2НаСервере - это получение данных.
ОтправитьДанныеНаСервере - это отправка сжатого GZIP-ом запроса.
Работа с GZIP была скопирована с другого тоже популярного источника 1С.
Может вариант не идеальный, но рабочий.

&НаКлиенте
Процедура Команда1(Команда)
	Команда1НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда1НаСервере()
	gzip = ПолучитьМодульGZIP();
	стр64 = СтрокаВGZIP(gzip, "Hy"); 
	сообщить(стр64);
	Стр = GZIPВСтроку(gzip, стр64);  
	сообщить(Стр);
КонецПроцедуры  

Функция ПолучитьМодульGZIP() 
	МодульGZIP = Новый Структура;
	МодульGZIP.Вставить("NetObject", новый COMОбъект("NetObjectToIDispatch45"));
	МодульGZIP.Вставить("MemoryStream", МодульGZIP.NetObject.ПолучитьТип("System.IO.MemoryStream"));
	МодульGZIP.Вставить("UTF8", МодульGZIP.NetObject.ПолучитьТип("System.Text.Encoding").UTF8);
	МодульGZIP.Вставить("CompressionMode", МодульGZIP.NetObject.ПолучитьТип("System.IO.Compression.CompressionMode"));
	МодульGZIP.Вставить("Convert", МодульGZIP.NetObject.ПолучитьТип("System.Convert"));
	Возврат МодульGZIP;
КонецФункции

Функция СтрокаВGZIP(gzip, стр)   
	СжатыйПоток = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream); //Поток куда запишутся сжатые данные
	zipStr = gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream", СжатыйПоток, gzip.CompressionMode.Compress);
	МассивДанных= gzip.UTF8.GetBytes(стр);// Получим массив данных используя кодировку  UTF8
	ПотокДляСжатия = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,МассивДанных);  // Создадим поток из массива данных
	ПотокДляСжатия.CopyTo(zipStr);
	zipStr.Flush(); // Сбросим данные в  СжатыйПоток
	zipStr.Close(); // Закроем  GZipStream
	compressed = СжатыйПоток.ToArray(); // Получим массив байт сжатых данных
	Возврат gzip.Convert.ToBase64String(compressed); // Переведем сжатые данные в Base64
КонецФункции  

Функция GZIPВСтроку(gzip, стр64)
	compressed=gzip.Convert.FromBase64String(стр64);
	ПотокСжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,compressed);
	GZipПоток =gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream",ПотокСжатыхДанных, gzip.CompressionMode.Decompress);
	ПотокРазжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream);
	GZipПоток.CopyTo(ПотокРазжатыхДанных);
	Данные=ПотокРазжатыхДанных.ToArray();
	Возврат gzip.UTF8.GetString(Данные);
КонецФункции // ()

&НаКлиенте
Процедура Команда2(Команда)
	Команда2НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда2НаСервере()  
	
	АдресСервера = "10.0.10.140";
	Порт = 8123;
	ТекстЗапроса = "SEL ECT * FROM my_first_table ORDER BY timestamp";
	РесурсНаСервере = "";
	
	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере);
		HTTPЗапрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	
	
КонецПроцедуры

&НаКлиенте
Процедура ОтправитьДанные(Команда)
	ОтправитьДанныеНаСервере();
КонецПроцедуры

&НаСервере
Процедура ОтправитьДанныеНаСервере()

	АдресСервера = "10.0.10.140";
	Порт = 8123;
	gzip = ПолучитьМодульGZIP();
	
	ТекстЗапроса = "INS ERT IN TO my_first_table (user_id, message, timestamp, metric) VALUES (150, 'Здорова Petr fr om gzip',now(),6.6)";
	ТекстЗапросаGZIP = СтрокаВGZIP(gzip, ТекстЗапроса); 
	
	ДД = Base64Значение(ТекстЗапросаGZIP);
	
	РесурсНаСервере = ""; 
   Заголовки = Новый Соответствие;
   Заголовки.Вставить("Content-Encoding", "gzip");	

	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере, Заголовки);
		HTTPЗапрос.УстановитьТелоИзДвоичныхДанных(ДД);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	

КонецПроцедуры
Показать
12. uno-c 225 16.08.23 11:24 Сейчас в теме
(11) Если рабочий - то точно не всегда, COM на линуксе не работает.
Оставьте свое сообщение