Быстрое чтение составных http сообщений multipart/form-data

26.09.21

Интеграция - WEB-интеграция

Алгоритм быстрого разбора составного http сообщения multipart/form-data.

Хочу поделиться алгоритмом по разбору http сообщений multipart/form-data, который позволяет обрабатывать данные сообщения на порядок быстрее аналогов. Пример аналога можно взять с ИТС (https://its.1c.ru/db/metod8dev/content/5917/hdoc). В данном примере интересует метод 

&НаСервере
Функция ПрочитатьСообщение(заголовки, тело)
        Разделитель = ПолучитьРазделительСоставногоСообщения(заголовки);
        Маркеры = Новый Массив();
        Маркеры.Добавить("==" + Разделитель);
        Маркеры.Добавить("==" + Разделитель + Символы.ПС);
        Маркеры.Добавить("==" + Разделитель + Символы.ВК);
        Маркеры.Добавить("==" + Разделитель + Символы.ВК + Символы.ПС);
        Маркеры.Добавить("==" + Разделитель + "==");               
        Текст = Неопределено;
        Изображение1 = Неопределено;
        Изображение2 = Неопределено;      
        ЧтениеДанных = Новый ЧтениеДанных(Тело);               
        // Переходим к началу первой части
        ЧтениеДанных.ПропуститьДо(Маркеры);
        // Далее в цикле читаем все части
        Пока Истина Цикл
               Часть = чтениеДанных.ПрочитатьДо(Маркеры);
               Если Не Часть.МаркерНайден Тогда
                       // Неправильно сформированное сообщение
                       Прервать;
               КонецЕсли;
               ЧтениеЧасти = Новый ЧтениеДанных(Часть.ОткрытьПотокДляЧтения());
               ЗаголовкиЧасти = ПрочитатьЗаголовки(ЧтениеЧасти);
               ИмяЧасти = ПолучитьИмяСообщения(ЗаголовкиЧасти);
               Если ИмяЧасти = "MessageText" Тогда
                       Текст = чтениеЧасти.ПрочитатьСимволы();
               ИначеЕсли ИмяЧасти = "image1" Тогда
                       Изображение1 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
               ИначеЕсли ИмяЧасти = "image2" Тогда
                       Изображение2 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
               КонецЕсли;                            
               Если Часть.ИндексМаркера = 4 Тогда
                       // Прочитали последнюю часть
                       Прервать;
               КонецЕсли;
        КонецЦикла;

        Возврат Новый Структура("Сообщение,Картинка1,Картинка2", 
                                         Текст, 
                                         Изображение1, 
                                         Изображение2); 
КонецФункции

Данный алгоритм, если кратко, строится на чтении потоков двоичных данных (более подробно можно в самой статье на ИТС). Данный вариант рабочий, но достаточно медленный, на обработку всего сообщения уходит чуть больше 10 секунд.

 

 

В алгоритме же, которым я хочу поделиться, все строится на:

  1. Вместо строковых маркеров используем помещение строк в буферы двоичных данных (реализовано таким образом потому что разделить буфер двоичных данных можно только с помощью других буферов);
  2. Выполнение чтения двоичных данных тела сообщения;
  3. Пропуска до первой части;
  4. Читаем двоичные данные в 1 общий буфер двоичных данных;
  5. Разделяем буфер с помощью маркеров и получаем массив буферов двоичных данных с нужными нам частями;
  6. Выполняем обход массива, при выполнении цикла открываем поток в оперативной памяти;
  7. Далее выполняем чтение потока в оперативной памяти;
  8. Закрываем чтение потока;
  9. Закрываем поток.

Сам алгоритм в коде выглядит следующим образом:

&НаСервере
Функция ПрочитатьСообщение(заголовки, тело)
	
	Разделитель = ПолучитьРазделительСоставногоСообщения(заголовки);
	
	Маркеры = Новый Массив();
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + Символы.ПС));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + Символы.ВК));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + Символы.ВК + Символы.ПС));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + "=="));
		
	текст = Неопределено;
	изображение1 = Неопределено;
	изображение2 = Неопределено;
		
	ЧтениеДанных = Новый ЧтениеДанных(тело);
		
	// Переходим к началу первой части
	ЧтениеДанных.ПропуститьДо(Маркеры);
	
	//Помещаем в общий буфер двоичных данных и разделяем буфер с помощью маркеров
	ОбщийБуферДвоичныхДанных = ЧтениеДанных.ПрочитатьВБуферДвоичныхДанных();
	БуферыДвоичныхДанных = ОбщийБуферДвоичныхДанных.Разделить(Маркеры);
	
	// Далее в цикле читаем все буферы
	Для Каждого Буфер Из БуферыДвоичныхДанных Цикл

		Поток = новый ПотокВПамяти(Буфер);
		ЧтениеЧасти = Новый ЧтениеДанных(Поток);
		ЗаголовкиЧасти = ПрочитатьЗаголовки(ЧтениеЧасти);
		ИмяЧасти = ПолучитьИмяСообщения(заголовкиЧасти);
		
		Если имяЧасти = "MessageText" Тогда
			текст = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();;
		ИначеЕсли имяЧасти = "image1" Тогда
			изображение1 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
		ИначеЕсли имяЧасти = "image2" Тогда
			изображение2 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
		КонецЕсли;				
		
		ЧтениеЧасти.Закрыть();
		Поток.Закрыть();
		
	КонецЦикла;
	
	текст = ПолучитьСтрокуИзДвоичныхДанных(текст);
	
	Возврат Новый Структура("Сообщение,Картинка1,Картинка2", текст, изображение1, изображение2);
	
КонецФункции

Выполнение обработки всего сообщения с помощью данного алгоритма занимает всего сотые секунды:

 

 

В завершении хотелось бы отметить, что при использовании данного алгоритма происходят манипуляции с оперативной памятью, из-за чего при обработке больших файлов может возникнуть дефицит ресурса ОП.

Надеюсь, данный алгоритм сможет упростить работу с составными сообщениями http.

P.S. для работы алгоритма версия платформы должна быть не ниже 8.3.9.

http составное сообщение WEB multipart/form-data

См. также

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020    15980    13    18    

13

Интеграция 1С — Битрикс24. Обмен задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс24. Разработка имеет двухстороннюю синхронизацию 1С и Битрикс24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (8.3.18.1289). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021    17976    9    15    

13

SALE! 10%

Автоматическая загрузка файлов (например, прайс-листов) из электронной почты, FTP, HTTP, их обработка и выгрузка на FTP (на сайт) и для других целей

Прайсы WEB-интеграция Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Автомобили, автосервисы Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Программа с заданным интервалом времени (или по ручной команде) скачивает файлы (например, прайс-листы поставщиков) из различных источников: письма электронной почты, FTP или HTTP-адреса, и сохраняет их в каталог упорядоченной структуры. При этом извлекает файлы из архивов, может переименовывать файлы и менять их формат (csv, xls, txt). Можно настроить выгрузку обработанных файлов на сайт (через FTP-подключение). Программа будет полезна компаниям, у которых есть большое количество поставщиков и/или прайс-листы поставщиков обновляются часто (необязательно прайс-листы, файлы могут быть любого назначения). Собранные таким образом актуальные версии прайс-листов можно выгрузить с помощью программы себе на сайт (или на любой FTP-сервер) или выполнить другие необходимые задачи.

28000 25200 руб.

28.05.2015    84973    26    51    

50

Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС

Обмен с ГосИС WEB-интеграция Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

2400 руб.

28.04.2016    89115    163    216    

320

[Расширение] БОР-Навигатор.Культура

Зарплата Бюджетный учет WEB-интеграция Обмен с ГосИС Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бюджетный учет Платные (руб)

Расширение конфигурации, включающее в себя объекты, необходимые для подготовки и сдачи отчета "Штатная численность" системы "БОР-Навигатор.Культура" в программе "1С:Зарплата и кадры государственного учреждения", редакция 3.1.

8400 руб.

01.02.2019    25901    9    0    

7
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. tormozit 7143 27.09.21 08:28 Сейчас в теме
Похоже на неоптимальную реализацию метода ЧтениеДвоичныхДанных.ПрочитатьДо() в платформе. Думаю имеет смысл указать версию платформы, на которой были сделаны замеры.
2. user1464690 27.09.21 11:19 Сейчас в теме
(1) Проблема не только в методе ЧтениеДвоичныхДанных.ПрочитатьДо(), но еще наблюдается и с ЧтениеДвоичныхДанных.Разделить() (т.е если предварительно разделить чтение данных по маркерам на части и дальше выполнять обход по массиву частей), по времени выполняется столько же как и в примере с ИТС. Замеры делались на версии платформы 8.3.17, на версиях ниже аналогичная картина.
Akcium; Поручик; +2 Ответить
3. portal80 09.11.21 09:45 Сейчас в теме
Просто -напросто бестолковый пример в ИТС выкинуть и уволить написавшего.

Есть корректные решения по чтению составных сообщений?

Или каждый раз самому писать костыли ?
4. bayselonarrend 1197 08.12.22 13:37 Сейчас в теме
Спасибо! Очень хороший метод. Пользовался примером с ИТС до него. Для разбора POST из нескольких текстовых полей и трех файлов, (~10 мб каждый) примеру с ИТС требовалось примерно минута, а этот отрабатывает за 2 секунды всего.
Оставьте свое сообщение