Быстрое чтение составных http сообщений multipart/form-data

26.09.21

Интеграция - WEB-интеграция

Алгоритм быстрого разбора составного http сообщения multipart/form-data.

Хочу поделиться алгоритмом по разбору http сообщений multipart/form-data, который позволяет обрабатывать данные сообщения на порядок быстрее аналогов. Пример аналога можно взять с ИТС (https://its.1c.ru/db/metod8dev/content/5917/hdoc). В данном примере интересует метод 

&НаСервере
Функция ПрочитатьСообщение(заголовки, тело)
        Разделитель = ПолучитьРазделительСоставногоСообщения(заголовки);
        Маркеры = Новый Массив();
        Маркеры.Добавить("==" + Разделитель);
        Маркеры.Добавить("==" + Разделитель + Символы.ПС);
        Маркеры.Добавить("==" + Разделитель + Символы.ВК);
        Маркеры.Добавить("==" + Разделитель + Символы.ВК + Символы.ПС);
        Маркеры.Добавить("==" + Разделитель + "==");               
        Текст = Неопределено;
        Изображение1 = Неопределено;
        Изображение2 = Неопределено;      
        ЧтениеДанных = Новый ЧтениеДанных(Тело);               
        // Переходим к началу первой части
        ЧтениеДанных.ПропуститьДо(Маркеры);
        // Далее в цикле читаем все части
        Пока Истина Цикл
               Часть = чтениеДанных.ПрочитатьДо(Маркеры);
               Если Не Часть.МаркерНайден Тогда
                       // Неправильно сформированное сообщение
                       Прервать;
               КонецЕсли;
               ЧтениеЧасти = Новый ЧтениеДанных(Часть.ОткрытьПотокДляЧтения());
               ЗаголовкиЧасти = ПрочитатьЗаголовки(ЧтениеЧасти);
               ИмяЧасти = ПолучитьИмяСообщения(ЗаголовкиЧасти);
               Если ИмяЧасти = "MessageText" Тогда
                       Текст = чтениеЧасти.ПрочитатьСимволы();
               ИначеЕсли ИмяЧасти = "image1" Тогда
                       Изображение1 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
               ИначеЕсли ИмяЧасти = "image2" Тогда
                       Изображение2 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
               КонецЕсли;                            
               Если Часть.ИндексМаркера = 4 Тогда
                       // Прочитали последнюю часть
                       Прервать;
               КонецЕсли;
        КонецЦикла;

        Возврат Новый Структура("Сообщение,Картинка1,Картинка2", 
                                         Текст, 
                                         Изображение1, 
                                         Изображение2); 
КонецФункции

Данный алгоритм, если кратко, строится на чтении потоков двоичных данных (более подробно можно в самой статье на ИТС). Данный вариант рабочий, но достаточно медленный, на обработку всего сообщения уходит чуть больше 10 секунд.

 

 

В алгоритме же, которым я хочу поделиться, все строится на:

  1. Вместо строковых маркеров используем помещение строк в буферы двоичных данных (реализовано таким образом потому что разделить буфер двоичных данных можно только с помощью других буферов);
  2. Выполнение чтения двоичных данных тела сообщения;
  3. Пропуска до первой части;
  4. Читаем двоичные данные в 1 общий буфер двоичных данных;
  5. Разделяем буфер с помощью маркеров и получаем массив буферов двоичных данных с нужными нам частями;
  6. Выполняем обход массива, при выполнении цикла открываем поток в оперативной памяти;
  7. Далее выполняем чтение потока в оперативной памяти;
  8. Закрываем чтение потока;
  9. Закрываем поток.

Сам алгоритм в коде выглядит следующим образом:

&НаСервере
Функция ПрочитатьСообщение(заголовки, тело)
	
	Разделитель = ПолучитьРазделительСоставногоСообщения(заголовки);
	
	Маркеры = Новый Массив();
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + Символы.ПС));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + Символы.ВК));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + Символы.ВК + Символы.ПС));
	Маркеры.Добавить(ПолучитьБуферДвоичныхДанныхИзСтроки("==" + Разделитель + "=="));
		
	текст = Неопределено;
	изображение1 = Неопределено;
	изображение2 = Неопределено;
		
	ЧтениеДанных = Новый ЧтениеДанных(тело);
		
	// Переходим к началу первой части
	ЧтениеДанных.ПропуститьДо(Маркеры);
	
	//Помещаем в общий буфер двоичных данных и разделяем буфер с помощью маркеров
	ОбщийБуферДвоичныхДанных = ЧтениеДанных.ПрочитатьВБуферДвоичныхДанных();
	БуферыДвоичныхДанных = ОбщийБуферДвоичныхДанных.Разделить(Маркеры);
	
	// Далее в цикле читаем все буферы
	Для Каждого Буфер Из БуферыДвоичныхДанных Цикл

		Поток = новый ПотокВПамяти(Буфер);
		ЧтениеЧасти = Новый ЧтениеДанных(Поток);
		ЗаголовкиЧасти = ПрочитатьЗаголовки(ЧтениеЧасти);
		ИмяЧасти = ПолучитьИмяСообщения(заголовкиЧасти);
		
		Если имяЧасти = "MessageText" Тогда
			текст = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();;
		ИначеЕсли имяЧасти = "image1" Тогда
			изображение1 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
		ИначеЕсли имяЧасти = "image2" Тогда
			изображение2 = ЧтениеЧасти.Прочитать().ПолучитьДвоичныеДанные();
		КонецЕсли;				
		
		ЧтениеЧасти.Закрыть();
		Поток.Закрыть();
		
	КонецЦикла;
	
	текст = ПолучитьСтрокуИзДвоичныхДанных(текст);
	
	Возврат Новый Структура("Сообщение,Картинка1,Картинка2", текст, изображение1, изображение2);
	
КонецФункции

Выполнение обработки всего сообщения с помощью данного алгоритма занимает всего сотые секунды:

 

 

В завершении хотелось бы отметить, что при использовании данного алгоритма происходят манипуляции с оперативной памятью, из-за чего при обработке больших файлов может возникнуть дефицит ресурса ОП.

Надеюсь, данный алгоритм сможет упростить работу с составными сообщениями http.

P.S. для работы алгоритма версия платформы должна быть не ниже 8.3.9.

Вступайте в нашу телеграмм-группу Инфостарт

http составное сообщение WEB multipart/form-data

См. также

Сайты и интернет-магазины WEB-интеграция Системный администратор Программист Пользователь 1С:Предприятие 8 1C:Бухгалтерия 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM / LOGICSTARS. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM / LOGICSTAR разных брендов в одной информационной базе в ручном и автоматическом режиме.

42700 руб.

03.08.2020    23152    33    24    

26

WEB-интеграция Программист Бизнес-аналитик 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Оптовая торговля, дистрибуция, логистика ИТ-компания Платные (руб)

Модуль "Экспортер" — это расширение для 1С, предназначенное для автоматизации процессов выгрузки данных. Оно позволяет эффективно извлекать, преобразовывать и передавать данные из систем 1С в интеграционную платформу Spot2D. Подсистема упрощает настройку, снижает количество ручных операций и обеспечивает удобный контроль данных.

17568 руб.

20.12.2024    5214    22    4    

24

WEB-интеграция Анализ продаж Системный администратор Программист Пользователь 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Управленческий учет Платные (руб)

Модуль "Подсистема интеграции AmoCRM с 1С" позволяет обеспечить единое информационное пространство, в котором пользователи могут эффективно управлять клиентской базой, следить за статусами сделок и поддерживать актуальность данных как в AmoCRM, так и в 1С.

60000 руб.

07.05.2019    41098    75    45    

31

WEB-интеграция Программист 1С:Предприятие 8 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Расширение для автоматизации передачи данных между сервисом Vetmanager с 1С: Бухгалтерия 3.0. Решение позволяет загружать документы и справочники из Ветменеджер в 1С:Бухгалтерию, сокращая время на ручной ввод данных и минимизируя ошибки.

24000 руб.

02.02.2021    21757    62    52    

40

Обмен с ГосИС WEB-интеграция Бухгалтер Пользователь 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

5283 руб.

28.04.2016    99886    116    219    

364

WEB-интеграция Загрузка и выгрузка в Excel Программист Пользователь 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Россия Платные (руб)

Расширение освободит вас от необходимости вручную обновлять товары в группах ВКонтакте. Достаточно задать правила один раз, и система автоматически синхронизирует ваш каталог. Вы сможете легко выбирать, какие товары публиковать, создавая гибкие критерии отбора. Например, можно добавить важные для покупателей параметры: цвет, размер или другие характеристики.

12200 руб.

29.08.2025    1544    2    0    

3
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. tormozit 7332 27.09.21 08:28 Сейчас в теме
Похоже на неоптимальную реализацию метода ЧтениеДвоичныхДанных.ПрочитатьДо() в платформе. Думаю имеет смысл указать версию платформы, на которой были сделаны замеры.
Поручик; brr; +2 Ответить
2. user1464690 27.09.21 11:19 Сейчас в теме
(1) Проблема не только в методе ЧтениеДвоичныхДанных.ПрочитатьДо(), но еще наблюдается и с ЧтениеДвоичныхДанных.Разделить() (т.е если предварительно разделить чтение данных по маркерам на части и дальше выполнять обход по массиву частей), по времени выполняется столько же как и в примере с ИТС. Замеры делались на версии платформы 8.3.17, на версиях ниже аналогичная картина.
Akcium; Поручик; +2 Ответить
3. portal80 09.11.21 09:45 Сейчас в теме
Просто -напросто бестолковый пример в ИТС выкинуть и уволить написавшего.

Есть корректные решения по чтению составных сообщений?

Или каждый раз самому писать костыли ?
Поручик; +1 Ответить
4. bayselonarrend 3008 08.12.22 13:37 Сейчас в теме
Спасибо! Очень хороший метод. Пользовался примером с ИТС до него. Для разбора POST из нескольких текстовых полей и трех файлов, (~10 мб каждый) примеру с ИТС требовалось примерно минута, а этот отрабатывает за 2 секунды всего.
Поручик; +1 Ответить
Для отправки сообщения требуется регистрация/авторизация