Формирование строки большой длины

Публикация № 1225967

Разработка - Практика программирования

большая строка конкатенация

Для опытных программистов в этой статье не будет ничего нового, но, возможно, кому-то статья сэкономит немного времени. Появилась у меня задача пройтись регулярными выражениями по наименованиям справочников. При подготовке строки в которой будут содержаться все наименования объектов справочника с соответствующими им ГУИДами, сразу обнаружил, что не все способы формирования строки одинаково быстро работают.

Сразу приведу пример с наиболее быстрым вариантом:

ИзвлеченныеТексты = Новый Массив;

Для Сч = 1 По Количество Цикл
	ИзвлеченныеТексты.Добавить("Мотороллер не мой.");
КонецЦикла;

Строка = СтрСоединить(ИзвлеченныеТексты, Символы.ПС);

Время выполнения кода в зависимости от количества повторений. В скобках указано время выполнения одной операции:

5 000 - 7 мс. (0.0014)

50 000 - 68 мс. (0.00136)

500 000 - 690 мс. (0.00138)

5 000 000 - 7 000 мс. (0.0014)

Сразу бросается в глаза линейный рост времени выполнения.

 

Почти полностью равный ему по производительности:

Запись = Новый ЗаписьXML;
Запись.УстановитьСтроку(); 
	
Для Сч = 1 По Количество Цикл
	Запись.ЗаписатьБезОбработки("Мотороллер не мой.");
КонецЦикла;
	
Строка = Запись.Закрыть();	

Замеры производительности не привожу так как при заданных условиях результаты идентичные. Разница проявляется при конкатенации больших кусков текста. Тестировал на объединении строк размером примерно с эту статью и повторении в 500 000 раз. Первый способ оказался производительнее примерно на 10%. Остальные способы при таком варианте показали себя заметно хуже.

 

Альтернативный и менее производительный вариант:

Поток = Новый ПотокВПамяти();
ЗаписьТекста = Новый ЗаписьТекста(Поток);	
	
Для Сч = 1 По Количество Цикл
	ЗаписьТекста.ЗаписатьСтроку("Мотороллер не мой.");
КонецЦикла;
	
ЗаписьТекста.Закрыть();
ДД = Поток.ЗакрытьИПолучитьДвоичныеДанные();
Строка = ПолучитьСтрокуИзДвоичныхДанных(ДД);

5 000 - 10 мс. (0.002)

50 000 - 100 мс. (0.002)

500 000 - 1 000 мс. (0.002)

5 000 000 - 10 000 мс. (0.002)

Рост времени выполнения так же линеен, но среднее время операции заметно больше. Данный вариант требует версии платформы не ниже 8.3.10.

 

Следующий вариант использует текстовый документ:

ТД = Новый ТекстовыйДокумент;

Для Сч = 1 По Количество Цикл
	ТД.ДобавитьСтроку("Мотороллер не мой.");
КонецЦикла;

Строка = ТД.ПолучитьТекст();

Так же время выполнения:

5 000 - 100 мс. (0.002)

50 000 - 1 500 мс. (0.03)

500 000 - 70 000 мс. (0.14)

Видно что время выполнения операции возрастает в зависимости от количества операций.

 

Ну и для интереса добавлю выполнение операции с использованием только строковой переменной:

Строка = "";

Для Сч = 1 По Количество Цикл
	Строка = Строка + "Мотороллер не мой." + Символы.ПС;
КонецЦикла;

500 - 2 мс. (0.004)

5 000 - 120 мс. (0.024)

50 000 - 57 000 мс. (1.14)

Заметен огромный рост выполнения одной операции уже на 50 тысячах повторений.

 

Так же рассмотрел интересный вариант из этой статьи:

мДД=Новый Массив;
мДД.Добавить(ПолучитьДвоичныеДанныеИзСтроки("Это"));
рДДДобавка=ПолучитьДвоичныеДанныеИзСтроки(" круто"));
Для й=1 По 100000 Цикл
	мДД.Добавить(рДДДобавка);
КонецЦикла;
а=ПолучитьСтрокуИзДвоичныхДанных(СоединитьДвоичныеДанные(мДД));

Но к сожалению он хорош в случаях когда строка собирается из повторяющихся элементов, так как функция "ПолучитьДвоичныеДанныеИзСтроки" довольно долго выполняется и в цикле её не разместишь.

 

Рассмотрел способ из этой статьи:

Функция ВСтроку(Массив) Экспорт

    Возврат Сред(СтрЗаменить(ЗначениеВСтрокуВнутр(Массив), """}," + Символы.ПС + "{""S"",""", ""), 53 + СтрДлина(Формат(Массив.Количество(), "ЧГ=")), Массив.Количество())

КонецФункции

Он оказался медленнее варианта с потоками: процентов на 7 при конкатенации небольших строк и процентов на 30 при объединении больших кусков текста. Кстати второй способ был взят из комментария указанной статьи.

 

На этом всё. Спасибо за внимание.

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. berezdetsky 586 19.04.20 11:03 Сейчас в теме
Надеюсь в комментариях подскажут вариант кода достаточно быстродейственного для платформы ниже 8.3.10.

https://its.1c.ru/db/v8std#content:782:hdoc

Почему, кстати, 8.3.10? ПотокВПамяти появился вроде бы в 8.3.9.
MADCAT; infina15; Redokov; +3 Ответить
2. MADCAT 12 20.04.20 06:22 Сейчас в теме
(1) , этот вариант даже быстрее, спасибо. Добавлю в публикацию.

А 8.3.10 так как ПолучитьСтрокуИзДвоичныхДанных появилось именно в этом релизе.
3. ImHunter 211 20.04.20 06:28 Сейчас в теме
А что насчет СтрСоединить() ?
4. MADCAT 12 20.04.20 08:38 Сейчас в теме
(3) Совершенно упустил для себя эту функцию. Пусть эта статья будет напоминанием моей невнимательности. Ну и возможно поможет кому то такому же невнимательному.
5. ImHunter 211 20.04.20 08:43 Сейчас в теме
(4) Так протестируйте. Вдруг ваш прием быстрее работает.
8. MADCAT 12 20.04.20 09:41 Сейчас в теме
(5) Протестировал и добавил.
6. PLAstic 270 20.04.20 08:43 Сейчас в теме
7. plotnikov1c 13 20.04.20 09:18 Сейчас в теме
Я часто пользуюсь СтрРазделить(), СтрСоединить().
9. infina15 26.04.20 11:13 Сейчас в теме
Меня всегда ЗаписьXML спасала. А вообще была статья про способы конкатенации и их сравнение: тык.
10. MADCAT 12 27.04.20 11:12 Сейчас в теме
(9) Добавил вариант с "ЗаписьXML". Отличный вариант.
Статья была, но там нет кода, нет варианта СтрСоединить и утверждается что методы "ЗаписьXML" и "ЗначениеВСтрокуВнутр" одинаковые по производительности.
infina15; +1 Ответить
11. infina15 27.04.20 12:18 Сейчас в теме
(10)
утверждается что методы "ЗаписьXML" и "ЗначениеВСтрокуВнутр" одинаковые по производительности

Они одинаковые в пределах погрешности. Нельзя сравнивать производительность методов на динамических структурах, так как при каждом тесте они могут располагаться в очень разных участках памяти и от этого к частям этих структур будет разное время доступа. Суть всех этих статей: показать разность между стандартной конкатенацией (оператор +) и конкатенацией через объекты (ЗаписьXML, СтрСоединить и т.д.). Первый способ перезаписывает каждую итерацию строку в памяти полностью, остальные прописывают части строки в разных областях памяти, а потом при получении результата собирают все кусочки воедино. Если бы объекты выделяли огромный последовательный кусок памяти под данные (строку) и складывали бы туда эти данные последовательно - можно было бы говорить о сравнении методов. Но т.к. выделять большие объемы памяти под неопределенные размеры объектов - моветон, то используется схема указателей (ссылок), с дальнейшим сбором в единый контейнер (результат).
12. MADCAT 12 27.04.20 13:17 Сейчас в теме
(11) Неужели распределение в памяти единственный фактор влияющий на время выполнения процедуры? Тогда почему разные способы решения одной и той же задачи показывают примерно одинаковое соотношение времени выполнения на разных ПК? Мне просто очень везёт что время выполнения стабильно отличается в 3 раза?
13. infina15 27.04.20 14:53 Сейчас в теме
(12) Да, видимо очень везет. Сервер тестовый, не нагруженный ничем? Потому что обычно даже самый простой запрос будет выполняться за разное время, +- несколько мс. А вообще да, способ расположения данных в памяти очень влияет на производительность. Существуют измерители скорости доступа к памяти, в которых обязательно имеются показатели последовательного чтения и случайного доступа. Последовательное чтение будет выполняться в разы быстрее случайного чтения. Это физика. Головка диска или указатель твердой памяти в случае последовательного чтения идет по конкретным координатам ОТ и ДО. В случае случайного чтения "прыгание" по диску/памяти происходит много раз, чем и вызывает снижение производительности.

Другими словами: копирование одного большого файла в 10ГБ (последовательное чтение) будет гораздо быстрее нежели копирование 100к файлов по 100КБ (ну примерно, прошу не придираться).
Оставьте свое сообщение

См. также

Serverless (Faas) в 1С. Создание и вызов Yandex Cloud Functions Промо

Универсальные функции Практика программирования v8 Бесплатно (free)

"Я не могу просто взять и скопировать код с гитхаба", "у нас 1С микросервисами окружена", "возможностей мало" - частые фразы 1С разработчиков. которым не хватает возможностей платформы в современном мире. Faas, конечно, история не новая, но нас сдерживало 152ФЗ и задержки по пингам. Для того, чтобы действительно использовать в 1С код, к примеру, на Python, надо было приложить усилия. Теперь всё намного проще - берём и используем.

28.12.2020    4476    comol    22    

Базовые вещи БСП, которые облегчат жизнь программисту 1С

Практика программирования БСП (Библиотека стандартных подсистем) v8 1cv8.cf Россия Бесплатно (free)

В данной публикации я опишу полезные процедуры и функции модуля общего назначения библиотеки стандартных подсистем, обязательные к использованию любым программистом 1С.

30.08.2020    11072    quazare    33    

Форма выбора (подбор) в управляемых формах

Практика программирования v8 v8::УФ 1cv8.cf Россия Бесплатно (free)

Разбор небольших примеров того, как правильно открывать форму выбора (подбора) в управляемых формах, не прибегая к модальным окнам.

08.05.2020    36370    user5300    16    

Программная работа с настройками СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Нюансы программной работы с настройками системы компоновки данных в отчетах и динамических списках. Обзор всех видов настроек компоновки. Что в каких случаях правильно применять. В качестве примера рассмотрена работа с отборами и группировками.

27.01.2020    39551    ids79    26    

Использование программных перечислений, ч.1: строковые константы Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Часто ли у вас возникает необходимость в коде выполнять сравнение на строку?

10.12.2016    38481    unichkin    74    

[СКД] Программное создание схемы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Сделаем отчет на СКД полностью программно, без использования макета "схема компоновки данных".

15.01.2020    30728    John_d    22    

Последовательности событий при проведении документа 1С. Шпаргалка + про формы + про расширения

Практика программирования v8 Россия Бесплатно (free)

Собрал информацию о событиях/подписках/расширениях в одном месте.

30.12.2019    23399    kuzyara    38    

30 задач. Странных и не очень

Практика программирования v8 Бесплатно (free)

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    18915    YPermitin    60    

Вспомогательные инструкции в коде 1С Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    32099    tormozit    104    

Как передать IP адрес, который вызвал HTTP запрос в 1C (для веб-сервера Apache)

Практика программирования v8 Бесплатно (free)

Столкнулся с задачей получения IP адреса, который вызывает http сервис 1С. Итак, решение:

22.11.2019    9884    Sibars    19    

Полезные процедуры и функции для программиста

Практика программирования Универсальные функции v8 1cv8.cf Россия Бесплатно (free)

Все мы пишем программный код и часто используем процедуры, облегчающие его написание. Ниже приведена выборка таких полезных процедур и функций.

07.10.2019    33274    HostHost    41    

ЧтениеДанных и ЗаписьДанных. Работа со строками

Практика программирования v8 Бесплатно (free)

Использование потоков и двоичных данных для работы со строками.

04.10.2019    10199    Yashazz    11    

Оформление и рефакторинг сложных логических выражений Промо

Практика программирования v8 Россия Бесплатно (free)

В сложных логических выражениях нередко самому автору спустя какое-то время тяжело разобраться, не говоря уже о других программистах. Предлагаемая методика позволяет повысить наглядность таких выражений путем оформления в виде И-ИЛИ дерева и одновременно выполнять их рефакторинг.

20.09.2012    79353    tormozit    131    

Таблица значений. Нюансы

Практика программирования v8 Бесплатно (free)

Обзор некоторых аспектов использования общеизвестного инструмента 1С.

01.10.2019    40420    Yashazz    50    

О программе Postman для тестирования API и для чего она нужна 1С-нику

Практика программирования Программное обеспечение (software) v8 Бесплатно (free)

Для чего нужна программа Postman для тестирования API и какая от него польза для 1С-программиста.

24.09.2019    14685    budidich    28    

[Шпаргалка] Программное создание элементов формы

Практика программирования Работа с интерфейсом v8 1cv8.cf Бесплатно (free)

Программное создание практически всех популярных элементов формы.

06.09.2019    67906    rpgshnik    68    

Запись значения в поле ввода/формы со срабатыванием события ПриИзменении Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Иногда возникает необходимость после записи значения в какое либо поле ввода/формы вызвать для него обработчик события ПриИзменении, а о вызове самого события приходится только мечтать. В этой статье приводится программный способ вызова этого события.

11.07.2007    50112    tormozit    48    

Агрегатные функции СКД, о которых мало кто знает

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    58561    ids79    55    

Регистры бухгалтерии. Общая информация

Практика программирования Математика и алгоритмы v8 v8::БУ БУ Бесплатно (free)

Общая информация о внутреннем устройстве регистров бухгалтерии.

05.09.2019    33380    YPermitin    24    

Три костыля. Сказ про фокусы в коде

Практика программирования v8 Бесплатно (free)

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    27096    YPermitin    80    

Как сделать из &НаКлиентеНаСервереБезКонтекста почти &НаКлиентеНаСервере Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Как сделать метод формы, доступный на клиенте и на сервере одновременно, и сохранить при этом удобство разработки

10.09.2017    46814    tormozit    74    

Отслеживание выполнения фонового задания

Практика программирования Универсальные функции Разработка v8 1cv8.cf Бесплатно (free)

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    35637    ids79    16    

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    107739    ids79    63    

Фоновое выполнение кода в 1С - это просто

Практика программирования v8 1cv8.cf Бесплатно (free)

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    44253    avalakh    26    

Выгрузка документа по условию Промо

Практика программирования Разработка v8 Бесплатно (free)

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    16437    m-rv    2    

Разбираемся с параметрами редактирования СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Связь по типу, Параметры выбора, Связи параметров выбора

31.07.2019    29407    json    15    

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    76557    ids79    14    

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ

Инструментарий разработчика Практика программирования v8 v8::СКД Бесплатно (free)

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    40048    ids79    27    

Как прикрутить ГУИД к регистру сведений Промо

Практика программирования Перенос данных из 1C8 в 1C8 Разработка v8 Бесплатно (free)

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    20979    m-rv    17    

Регистры сведений. За кулисами

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    28444    YPermitin    14    

"Меньше копипаста!", или как Вася универсальную процедуру писал

Практика программирования Разработка v8 v8::СКД 1cv8.cf Бесплатно (free)

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    20418    SeiOkami    50    

Работа с настройками системы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Варианты отчетов, работа с настройками вариантов: структура группировок, поля отчета, отборы, сортировка, условное оформление, другие настройки, настройки отображения диаграмм.

02.07.2019    59705    ids79    17    

Как сделать запрос на изменение данных Промо

Практика программирования v8 v8::Запросы 1cv8.cf Бесплатно (free)

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    32358    m-rv    21    

Создание отчетов с помощью СКД - основные понятия и элементы

Практика программирования Математика и алгоритмы v8 v8::СКД Бесплатно (free)

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    60672    ids79    26    

Многопоточное ускорение однопользовательских нагрузок в 1С + Microsoft SQL Server 2017

Практика программирования Производительность и оптимизация (HighLoad) v8 v8::Запросы Бесплатно (free)

Взаимодействие с Microsoft SQL Server нередко вызывает трудности у 1С-ников, а потому интересны любые моменты, связанные с его использованием. О своем опыте работы с новым SQL Server 2017 участникам конференции Infostart-2018 рассказал директор ООО «Аналитика софт» Дмитрий Дудин.

11.06.2019    27069    dmurk    146    

Регистры накопления. Виртуальные таблицы. Часть №2: "Остатки" и "Остатки и обороты"

Практика программирования v8 1cv8.cf Бесплатно (free)

Описание работы платформы 1С:Предприятие 8.2 с виртуальными таблицами регистров накопления "Остатки" и "Остатки и обороты". Анализ SQL-запрос при работе с виртуальными таблицами

22.05.2019    31958    YPermitin    7    

Метод формирования движений в типовых регистрах нетиповыми регистраторами Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    28865    itriot11    34    

Регистры накопления. Структура хранения в базе данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    49916    YPermitin    30    

О расширениях замолвите слово...

Практика программирования Разработка v8 Бесплатно (free)

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    37949    ellavs    126    

Git-репозитории для 1С-кода (опыт использования при небольших проектах)

Практика программирования v8 Бесплатно (free)

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    28660    ellavs    90    

Использование классов .Net в 1С для новичков Промо

Практика программирования Разработка внешних компонент Универсальные функции v7.7 v8 Бесплатно (free)

Руководство для новичков. Написав статью http://infostart.ru/public/238584/, я понял, что многие не понимают того, что написано. Поэтому в этой статье постараюсь более подробно остановиться на азах и без кода на вражеском языке (C#)

27.01.2016    78447    Serginio    113    

Трюки с внешними источниками данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    34588    YPermitin    53    

Ошибки при работе с хранилищем конфигурации и способы их решения

Практика программирования v8 Бесплатно (free)

В статье собраны наиболее распространенные ошибки при работе с хранилищем конфигурации и способы их обхода и решения.

01.03.2019    48821    Смешной 1С    31    

Разработка и сценарное тестирование с Vanessa-ADD. Отчетность Allure. Автоматизация запуска сценариев

Практика программирования Vanessa Automation v8 Россия Бесплатно (free)

Формируем отчетность о результатах выполнения сценариев. Автоматизируем запуск.

26.02.2019    24224    Vladimir Litvinenko    28    

Автоматические и управляемые блокировки применительно к типовым конфигурациям 1С Промо

Математика и алгоритмы Практика программирования v8 v8::blocking 1cv8.cf Бесплатно (free)

Основные принципы работы с режимами автоматических и управляемых блокировок в 1С Предприятие 8. Теория и применение в типовых конфигурациях: БП, УТ, ЕРП

10.11.2018    37474    ids79    40    

Возможности типовых шаблонов ограничения доступа на уровне записей (RLS)

Практика программирования БСП (Библиотека стандартных подсистем) Роли и права v8 v8::Права Бесплатно (free)

Краткий обзор применения типовых шаблонов ограничения доступа на уровне записей в конфигурациях, созданных на базе БСП: #ПоЗначениям, #ПоНаборамЗначений, #ПоЗначениямРасширенный, #ПоЗначениямИНаборамРасширенный

03.02.2019    46582    ids79    11    

Тестер: частые вопросы Промо

Практика программирования v8 Бесплатно (free)

Ошибкам бой - тесты норма жизни!

25.07.2018    30168    grumagargler    31