Уменьшаем трафик: HTTP запрос со сжатием GZIP средствами 1С. На примере выгрузки файлов на Яндекс-диск

03.09.18

Интеграция - WEB-интеграция

Обработка демонстрирует отправку тела HTTP запроса со сжатием gzip (метод deflate) средствами платформы 1С. Демонстрация происходит на примере отправки текста или файла на Яндекс.Диск.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
Отправка HTTP запроса с телом сжатым GZIP
.epf 9,01Kb
111 1 850 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

В одной из задач мне требовалось один раз в 10 минут отправлять из 1С на API сайта текстовую (json) информацию в теле POST запроса. При этом объем информации был достаточно значительным, и я решил его сжать распространенным в HTTP форматом gzip. В результате размер передаваемой информации сократился в 10 раз. В предоставленной здесь обработке gzip для примера используется с целью уменьшения трафика при отправке файла из 1С на Яндекс-диск методом PUT. Аналогично можно поступить при работе с Google-диском. Делал на платформе 8.3.9.2233, работоспособность также проверена на 8.3.11.3034.

Для достижения цели проделал следующее:

1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.

Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные. Из логов отправки на скринах ниже видно, что без сжатия размер тела составлял 212013 байт, со сжатием - 23988 байт. На текстовых данных, в т.ч. json и xml, выигрыш довольно значительный.

 

Описание формата zip, структуру служебных заголовков взял здесь: https://www.iana.org/assignments/media-types/application/zip
Заголовки, которые нужно вставить в gzip, здесь: http://www.zlib.org/rfc-gzip.html

Токен Яндекса, встроенный в обработку, истекает 01.09.2019. После этого дня для демонстрации выгрузки на Я.диск используйте свой токен. А так же соответственно свой адрес на Я-диске для просмотра результата выгрузки файла на диск.

Вступайте в нашу телеграмм-группу Инфостарт

gzip http запрос сжатие

См. также

Сайты и интернет-магазины WEB-интеграция Системный администратор Программист Пользователь 1С:Предприятие 8 1C:Бухгалтерия 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM / LOGICSTARS. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM / LOGICSTAR разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020    22937    33    24    

26

WEB-интеграция Программист Бизнес-аналитик 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Оптовая торговля, дистрибуция, логистика ИТ-компания Платные (руб)

Модуль "Экспортер" — это расширение для 1С, предназначенное для автоматизации процессов выгрузки данных. Оно позволяет эффективно извлекать, преобразовывать и передавать данные из систем 1С в интеграционную платформу Spot2D. Подсистема упрощает настройку, снижает количество ручных операций и обеспечивает удобный контроль данных.

17280 руб.

20.12.2024    5031    22    4    

24

WEB-интеграция Программист 1С:Предприятие 8 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Расширение для автоматизации передачи данных между сервисом Vetmanager с 1С: Бухгалтерия 3.0. Решение позволяет загружать документы и справочники из Ветменеджер в 1С:Бухгалтерию, сокращая время на ручной ввод данных и минимизируя ошибки.

24000 руб.

02.02.2021    21602    62    52    

40

WEB-интеграция Загрузка и выгрузка в Excel Программист Пользователь 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Россия Платные (руб)

Расширение освободит вас от необходимости вручную обновлять товары в группах ВКонтакте. Достаточно задать правила один раз, и система автоматически синхронизирует ваш каталог. Вы сможете легко выбирать, какие товары публиковать, создавая гибкие критерии отбора. Например, можно добавить важные для покупателей параметры: цвет, размер или другие характеристики.

12000 руб.

29.08.2025    1390    2    0    

3

Обмен с ГосИС WEB-интеграция Бухгалтер Пользователь 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

5196 руб.

28.04.2016    99631    114    218    

362

WEB-интеграция Анализ продаж Системный администратор Программист Пользователь 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Управленческий учет Платные (руб)

Модуль "Подсистема интеграции AmoCRM с 1С" позволяет обеспечить единое информационное пространство, в котором пользователи могут эффективно управлять клиентской базой, следить за статусами сделок и поддерживать актуальность данных как в AmoCRM, так и в 1С.

60000 руб.

07.05.2019    40712    74    45    

31
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. link.gabauer 5 11.02.21 11:14 Сейчас в теме
Спасибо за решение. То что нужно! Респект
2. Oksana_An 30.04.21 14:58 Сейчас в теме
Добрый день! Выполняю POST запрос в Fiddlere, запрос выполнился без ошибок только когда установила Transformer - GZIP.
Подскажите, пожалуйста, как можно в 1C передать через HTTP тело запроса с использованием GZIP?
4. uno-c 272 02.05.21 16:34 Сейчас в теме
(2) Передать можно так, как написано в статье:
1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.
Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные.
3. Oksana_An 30.04.21 15:00 Сейчас в теме
Тело запроса содержит текстовый файл.
5. Gendelf 07.06.22 10:27 Сейчас в теме
Я правильно понимаю, что без текстового файла не обойтись?
6. uno-c 272 07.06.22 12:35 Сейчас в теме
(5) В статье в Яндекс-Диск я передавал октет-стрим. application/octet-stream: двоичный файл без указания формата (RFC 2046). Текст выбран, чтобы показать существенный выигрыш, который я получил. Когда json передавал (json передавал не в Яндекс), json это тоже текст. А так сжимать и передавать можно любые двоичные данные, но выигрыш в размерах будет разный, в зависимости от содержания двоичных данных.
7. Gendelf 08.06.22 09:00 Сейчас в теме
(6) Не совсем понял. Опишу подробнее, необходимо отправить ответ сервису в gzip (без него ответ json около 1ггб).
Какой порядок действий, что нужно сделать, чтобы сжать строку json.

Нашёл в интернете: Ответ.Заголовки.Вставить("Content-Encoding", "gzip"); - не помогло.
8. uno-c 272 08.06.22 12:17 Сейчас в теме
(7) json - это обычный текст. Т.е нужно сделать примерно то же, что делала обработка из этой публикации, когда на Яндекс сжатые данные передавала. Только заголовок вставить - недостаточно. Нужно, чтобы и тело запроса было не текстом, а гзипом, обработка из этой публикации этим и занималась - из текстового файла делала gzip.
9. SerVer1C 998 05.06.23 09:06 Сейчас в теме
Описание формата zip, структуру служебных заголовков взял здесь:

Может здесь: https://infostart.ru/public/618906/
?
10. uno-c 272 05.06.23 14:09 Сейчас в теме
(9) Предпочитаю первоисточники - спецификации RFC и т.п. А Ваша обработка gzip и не сделает, судя по описанию. Мне нужен был именно gzip, сервер не принимал чистый deflate, несмотря на соответствующий Content-encoding в POST-запросе. Пришлось обе спецификации листать, и https://www.iana.org/assignments/media-types/application/zip и http://www.zlib.org/rfc-gzip.html
11. prohorp 34 16.08.23 10:35 Сейчас в теме
Начал делать обмен 1С с ClickHouse.
По информации в интернете сделал обработку, в которую накидал методы получения и отправки данных(поэтому все так безобразно выглядит).
Команда2НаСервере - это получение данных.
ОтправитьДанныеНаСервере - это отправка сжатого GZIP-ом запроса.
Работа с GZIP была скопирована с другого тоже популярного источника 1С.
Может вариант не идеальный, но рабочий.

&НаКлиенте
Процедура Команда1(Команда)
	Команда1НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда1НаСервере()
	gzip = ПолучитьМодульGZIP();
	стр64 = СтрокаВGZIP(gzip, "Hy"); 
	сообщить(стр64);
	Стр = GZIPВСтроку(gzip, стр64);  
	сообщить(Стр);
КонецПроцедуры  

Функция ПолучитьМодульGZIP() 
	МодульGZIP = Новый Структура;
	МодульGZIP.Вставить("NetObject", новый COMОбъект("NetObjectToIDispatch45"));
	МодульGZIP.Вставить("MemoryStream", МодульGZIP.NetObject.ПолучитьТип("System.IO.MemoryStream"));
	МодульGZIP.Вставить("UTF8", МодульGZIP.NetObject.ПолучитьТип("System.Text.Encoding").UTF8);
	МодульGZIP.Вставить("CompressionMode", МодульGZIP.NetObject.ПолучитьТип("System.IO.Compression.CompressionMode"));
	МодульGZIP.Вставить("Convert", МодульGZIP.NetObject.ПолучитьТип("System.Convert"));
	Возврат МодульGZIP;
КонецФункции

Функция СтрокаВGZIP(gzip, стр)   
	СжатыйПоток = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream); //Поток куда запишутся сжатые данные
	zipStr = gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream", СжатыйПоток, gzip.CompressionMode.Compress);
	МассивДанных= gzip.UTF8.GetBytes(стр);// Получим массив данных используя кодировку  UTF8
	ПотокДляСжатия = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,МассивДанных);  // Создадим поток из массива данных
	ПотокДляСжатия.CopyTo(zipStr);
	zipStr.Flush(); // Сбросим данные в  СжатыйПоток
	zipStr.Close(); // Закроем  GZipStream
	compressed = СжатыйПоток.ToArray(); // Получим массив байт сжатых данных
	Возврат gzip.Convert.ToBase64String(compressed); // Переведем сжатые данные в Base64
КонецФункции  

Функция GZIPВСтроку(gzip, стр64)
	compressed=gzip.Convert.FromBase64String(стр64);
	ПотокСжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,compressed);
	GZipПоток =gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream",ПотокСжатыхДанных, gzip.CompressionMode.Decompress);
	ПотокРазжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream);
	GZipПоток.CopyTo(ПотокРазжатыхДанных);
	Данные=ПотокРазжатыхДанных.ToArray();
	Возврат gzip.UTF8.GetString(Данные);
КонецФункции // ()

&НаКлиенте
Процедура Команда2(Команда)
	Команда2НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда2НаСервере()  
	
	АдресСервера = "10.0.10.140";
	Порт = 8123;
	ТекстЗапроса = "SEL ECT * FROM my_first_table ORDER BY timestamp";
	РесурсНаСервере = "";
	
	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере);
		HTTPЗапрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	
	
КонецПроцедуры

&НаКлиенте
Процедура ОтправитьДанные(Команда)
	ОтправитьДанныеНаСервере();
КонецПроцедуры

&НаСервере
Процедура ОтправитьДанныеНаСервере()

	АдресСервера = "10.0.10.140";
	Порт = 8123;
	gzip = ПолучитьМодульGZIP();
	
	ТекстЗапроса = "INS ERT IN TO my_first_table (user_id, message, timestamp, metric) VALUES (150, 'Здорова Petr fr om gzip',now(),6.6)";
	ТекстЗапросаGZIP = СтрокаВGZIP(gzip, ТекстЗапроса); 
	
	ДД = Base64Значение(ТекстЗапросаGZIP);
	
	РесурсНаСервере = ""; 
   Заголовки = Новый Соответствие;
   Заголовки.Вставить("Content-Encoding", "gzip");	

	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере, Заголовки);
		HTTPЗапрос.УстановитьТелоИзДвоичныхДанных(ДД);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	

КонецПроцедуры
Показать
12. uno-c 272 16.08.23 11:24 Сейчас в теме
(11) Если рабочий - то точно не всегда, COM на линуксе не работает.
Для отправки сообщения требуется регистрация/авторизация