Таблица значений. Нюансы

Публикация № 1128903

Разработка - Инструментарий разработчика

178
Обзор некоторых аспектов использования общеизвестного инструмента 1С.

Общие сведения

Таблица значений (далее ТЗ) - универсальная коллекция, наиболее близко моделирующая "классическую" таблицу базы данных. Она имеет колонки различных типов, в т.ч. неопределённого "произвольного" типа, и строки с содержимым; свойства и методы для работы с колонками и строками. Всё это, надеюсь, общеизвестно, изложено в десятках статей и есть в СП. ТЗ можно заполнять произвольным кодом, из наборов регистров, или по результатам работы запроса, построителя запроса, процессора СКД, загружать из табличных частей, заполнять массивами. В ТЗ есть выгрузка журнала регистрации и результатов поиска ссылок. ТЗ можно использовать для заполнения таб.частей, наборов регистров, как источник данных в запросах, построителях запросов, построителях отчётов и наборах данных СКД. ТЗ является входным аргументом и результатом специальных функций СКД, в т.ч. расширяющих возможности встроенного языка 1С.

ТЗ работает в COM-обмене, где поддерживает те же методы (включая и индексацию на стороне базы-провайдера), за малыми исключениями допускается русскоязычная нотация в свойствах и методах.

ТЗ сериализуется в XDTO. Наряду с деревом значений, ТЗ не существует на тонком и веб-клиенте, хотя сериализуется для обмена с сервером; в толстом клиенте может являться реквизитом формы "в естественном виде" и с интерфейсной ипостасью, а также с модальным окном просмотра/выбора, в тонком клиенте существует на сервере, а на клиенте отображается специальной коллекцией. Также может являться реквизитом (в т.ч. явно указанного типа), например, у отчётов и обработок. ТЗ удобно просматривается отладчиком. За уникальными исключениями, чтение и запись ТЗ всегда монопольны, что устраняет все проблемы конкурентного доступа.


Размещение

ТЗ всегда существует в сеансовых данных. Сеансовыми данными рулит менеджер кластера, и если в нём несколько серверов, то сеансовые данные располагаются равномерно по всем серверам (если, конечно, не указаны требования функциональности). ТЗ может быть сформирована одномоментно, некоей выгрузкой, или расти постепенно, но платформа обрабатывает ТЗ всегда одинаково - блоки по 64 МБ (больше бывает только при помещении во временное хранилище согласно мнению rmngr'а о производительности) выделяемые менеджером кластера, пишутся в конец файла сеансовых данных. Как и другие коллекции, ТЗ сначала размещается в памяти rphost, потом бинарным потоком передаётся rmngr'у. В отличие от других сеансовых данных, чей срок жизни считается по открытой форме, или по серверным вызовам, данные ТЗ считаются актуальными до конца сеанса или существования указателя на таблицу (имени переменной, реквизита экземпляра отчёта/обработки). Если ТЗ заняла более четверти объёма файла, то выделение блоков происходит с учётом прочих актуальных сведений в файлах, каждые 5 сек. делается актуализация и сборка мусора. Если ТЗ невелика, то актуальные сеансовые данные копируются в новые файлы, а сборка мусора идёт потом.

Сеансовые данные обычно располагаются в папке \1cv8\srvinfo\reg_1541\snccntx, дописанной специфическим UID, и лежат там в файлах вида snccntx.000057F1.dat (по сути это noSQL key-value storage). Конкурентный доступ к ним в норме невозможен (если только не задвоились процессы rmngr в памяти и не смотрят на одну и ту же папку реестра кластера). Таким образом, для работы с ТЗ не важен сервер СУБД и она сама, а важна скорость дисковой подсистемы ПК, где лежат сеансовые файлы, и мощность процессора, обрабатывающего их. Особенно это стоит учитывать при совмещении серверов СУБД и приложения. Также, очевидно, поведение ТЗ на разных СУБД и в файловом варианте идентично и в логическом, и в физическом чтении. При этом существует несколько ситуаций, определяемых платформой согласно объёму данных, когда индексы ТЗ размещаются в ОЗУ сервера приложений на время их перестроения.


Типизация

ТЗ, как и другие универсальные коллекции, может содержать простые и ссылочные типы, другие коллекции, com-объекты, системные перечисления, указания на экземпляры объектов, модули, служебные переменные и т.д. Для этого достаточно не объявлять тип колонки, а оставить на откуп платформе - описание типов такой колонки пусто, а квалификаторы определены по умолчанию (длина 0, точность 0, любые длина и знак, любые части даты), и это не мешает заносить туда простые типы, вроде бы противоречащие квалификаторам. При явном указании типа ТЗ контролирует это: если знаков дробной части недостаточно для числа, то округляет (причём 0.5 округляет всегда до 1); если не влезает строка - обрезает; если объявлена фиксированная строка и реальная длина меньше, то дописывает пробелами; сообразно обрезает дату/время - словом, всё ожидаемо. Если тип колонки строковый, то возможны дополнительные свободы преобразования (так, ЗаполнитьЗначения, где указано значение другого типа для внесения в строковую колонку, отработает, внеся строковое представление значения; аналогично работает ЗагрузитьКолонку). "Никакое" значение имеет тип "Неопределено", при работе с запросами и внешними источниками может содержаться и Null (как наряду с другими типами, так и в качестве единственного типа, и наполнения, колонки). Изменить тип колонки ТЗ невозможно (даже для произвольного), нельзя изменять и свойства квалификаторов.

При передаче ТЗ в параметр запроса и в конструктор описания источника данных для построителя запроса/отчёта чёткая типизация обязательна. Для источника набора данных СКД это не требуется (поля набора не будут никак типизированы), но по опыту желательно. В ранних релизах 8.3 произвольный тип колонки в коллекции на клиенте не поддерживался, в толстом клиенте при конфигурировании его нельзя сделать и поныне (но можно создать и отобразить программно).

События, касающиеся ТЗ, отслеживаются в технологическом журнале только косвенно - это, конечно, "ALL", а также "MEM" (увеличение объёма памяти под серверные процессы); на 8.2.16-19 иногда наблюдался "LEAKS", связанный с ТЗ. Русскоязычные упоминания ТЗ в logcfg в ряде случаев могут вызывать ошибку и логи тихо перестают писаться.


Строка таблицы значений

Элемент таблицы - строка ТЗ - самостоятельный объект языка, и по сути она же - первичный внешний ключ. Ссылка на строку ТЗ и массив ссылок, найденный поиском, всегда содержит активные ссылки на строки; изменение данных в них сказывается на ТЗ; строка может храниться в той же ТЗ, в переменной и любом соответствующем реквизите формы или объекта. При удалении строки и очистке ТЗ такая переменная по-прежнему имеет тип "СтрокаТаблицыЗначений", но операция со значениями её колонок вызывает ошибку чтения, а с ней самой в рамках ТЗ вызывает ошибки, свидетельствующие об индексовой, "ключевой" сути строки - "индекс за границами диапазона". Тип свой такая переменная (и массив таких переменных) сохранит, даже если сама ТЗ уничтожена, осталась в покинутом контексте или явно очищена, что может стать причиной утечек памяти. Аналогичный эффект наблюдается при свёртке - если некая строка сохранена в переменной, но исчезла в результате свёртки, её тип остаётся, но работа с ней невозможна. Никакую ссылочную целостность 1С для ТЗ не проверяет.

Явные номера строк в ТЗ можно организовать либо добавлением соответствующей колонки и заполнением в цикле, либо запросом, либо использованием служебного поля СКД "НомерПоПорядку". Также, номера образуются при выгрузке из табличной части - при этом появляется колонка с именем "НомерСтроки", заголовком "N", типом "Число" с пустым квалификатором, нумерация в ней идёт не с 0, а с 1. Неявная нумерация строк организована платформой - важно, что это не доступный в языке первичный ключ, а внутреннее служебное поле.
 

Изменение содержимого

Добавление данных выполняется только построчно. Метод "ЗагрузитьКолонку" заполняет уже имеющиеся строки, начиная с нулевой, столько, сколько есть (если массив больше по размеру, остальное пропадёт), т.е. если строк нет, не добавляет их. Метод "ЗаполнитьЗначения" также оперирует имеющимися строками. Если надо вставлять блоки данных, разумно использовать метод, предложенный Гилёвым: http://www.gilev.ru/%d0%bf%d1%80%d0%be%d1%81%d1%82%d0%be%d0%b9-%d1%82%d1%80%d1%8e%d0%ba-%d0%b4%d0%bb%d1%8f-%d0%b1%d1%8b%d1%81%d1%82%d1%80%d0%be%d0%b3%d0%be-%d0%be%d0%b1%d1%8a%d0%b5%d0%b4%d0%b8%d0%bd%d0%b5%d0%bd%d0%b8/

К сожалению, ТЗ в 8.Х не обладает возможностями "вырезки" кусков с указанием начального и конечного номеров строк, как было в 7.7, но это можно смоделировать в запросе или СКД, пронумеровав строки и наложив условие на них. На эту тему, как и на тему сравнения ТЗ, на ИС достаточно публикаций.

Удаление данных выполняется построчно либо очисткой. Уничтожение ТЗ происходит при присвоении имени переменной ТЗ нового значения или при покидании контекста существования.


Индексация

ТЗ имеет возможность индексации с целью ускорения поиска. Индексов может быть много, они добавляются и удаляются средствами языка; индекс может содержать несколько колонок в произвольном порядке, индекс как элемент коллекции имеет строковое представление по именам колонок, входящих в него. Перечисление колонок в добавлении индекса не связано с их порядком в таблице. Изменение состава индекса невозможно. Разные индексы могут касаться одних и тех же колонок. Пример:

тз.Индексы.Добавить("Кол1,Кол2,Кол3"); // 1-й индекс, покрывающий все колонки
тз.Индексы.Добавить("Кол2"); // 2-й индекс, работающий с одной колонкой
тз.Индексы.Добавить("Кол3,Кол1"); // 3-й индекс, по 2 колонкам в обратном порядке

Индексы используются при поиске методами "Найти" и "НайтиСтроки", причём для "НайтиСтроки" критически важно точное совпадение порядка колонок в конструкторе структуры отбора с порядком в индексе, поэтому рекомендуется явный конструктор "Структура("Поле1,Поле2",знч1,знч2)". При таком поиске идёт перебор ключей структуры, неприменимые индексы и индексы с лишними элементами отбрасываются, и если платформа находит подходящий индекс, то задействует его. Пример:

тз.Индексы.Добавить("Кол1,Кол2"); // единственный индекс ТЗ
тз.НайтиСтроки(Новый Структура("Кол1,Кол2",знч1,знч2)); // индексный быстрый поиск
тз.НайтиСтроки(Новый Структура("Кол2,Кол1",знч2,знч1)); // безындексный медленный поиск
тз.Найти(знч1,"Кол1"); // безындексный медленный поиск
тз.Найти(знч2,"Кол2"); // безындексный медленный поиск
тз.НайтиСтроки(Новый Структура("Кол1,Кол2,Кол3",знч1,знч2,знч3)); // безындексный медленный поиск

У индексов примерно с 8.2.16 нет ограничения на количество полей, длину ключа (900 байтов, 16 колонок), т.к. применяется хэш по ключу полей, что несколько медленнее привычных индексов СУБД. Ни о какой статистике, оценке фрагментированности и прочая для ТЗ речи не идёт, а выбор полей для индексации (согласно их содержимому, селективности итд) целиком на разработчике.

Построение/перестроение индексов выполняется сервером приложения, даёт пик по занятости процессора и активности диска, незначительно по % использования памяти. Файлы подкачки не используются. При индексном поиске идёт обращение к диску (% активности серьёзно колеблется), виртуальная держится стабильно. При безындексном вся нагрузка ложится на процессор. Поиск по индексированным и неиндексированным полям вместе, либо поиск по нескольким полям, порядок и состав которых не имеют точного совпадения ни у одного из индексов, в плане нагрузки на оборудование всегда является безындексным.


Зависимость индексов от изменений ТЗ

Изменение может касаться состава колонок. При удалении колонки индекс по ней остаётся (с пустым значением, неработоспособный), если индекс был по нескольким колонкам и часть их удалена, весь индекс также остаётся и также неработоспособный; при очистке всех колонок индексы остаются; это тоже утечка памяти. При переименовании колонки индекс по ней остаётся работоспособным, его представление меняется автоматически.

Изменение может касаться состава строк. Наиболее ресурсозатратно добавление/вставка строк в индексированную таблицу, это сильно загружает процессор и на 60-70% медленнее добавления в неиндексированную. Чем больше есть индексов, тем больше также загружен диск. Падение скорости при перестроении индексов для каждого добавления строки нелинейно, связь между характером и порядком индексов и содержимым строк не прослеживается. Рекомендуется сначала добавлять строки, потом строить индекс. Пример:

тз=НекаяИсходнаяТаблица.Скопировать(,"Кол1");
// индексировать до добавления - нерационально
Для й=1 По N Цикл
тз.Добавить().Кол1=й;
КонецЦикла;
тз.Индексы.Добавить("Кол1"); // после добавления разово строим индекс

Если индексы уже есть, разумнее их удалить и создать заново, если добавляется более 1/4 от прежнего объёма ТЗ.

Перестроение индексов происходит при изменении содержимого конкретных ячеек, причём присвоение значения - это сразу перестроение, и это ещё одна причина использовать ЗаполнитьЗначенияСвойств - при её применении индексы перестраиваются, когда процедура отработала по всем колонкам строки. Методы ЗаполнитьЗначения и ЗагрузитьКолонку вызывают разовое перестроение индексов по завершении своего выполнения, и тоже выполняются на 30-35% медленнее, чем при работе с неиндексированной ТЗ.

Изменение может касаться сразу и колонок, и строк - это метод Свернуть(). При любой свёртке, даже если колонки индекса остаются в качестве группировочных (а равно и суммируемых), все индексы удаляются автоматически.

Вплоть до 8.3.8 включительно при изменении значения в колонке, не входящей ни в какой индекс, всё равно происходило перестроение индексов; потом это исправили.

При уничтожении, полной перезагрузке или переинициализации ТЗ все индексы удаляются автоматически.


Особенности индексов

Ни индексный, не безындексный поиск не кэшируются, поэтому скорость их повторного выполнения примерно равна скорости первоначального.

Поведение построения индексов и поиска для колонок, имеющих несколько типов, зависит от этих типов (несмотря на хэширование); так, для простых типов отличие от работы с однотипной колонкой минимально, если есть ссылочные типы и системные значения/системные перечисления - в среднем на 5% дольше. Если наполнение состоит из ссылок на формы и модули, скорость даже выше на 2-3%, чем для простых типов. Для наполнения из сложных коллекций прямой зависимости не выявлено.

Строки неограниченной длины индексируются в общем порядке и поиск правильно находит фрагменты любого размера; скорость индексации и поиска не отличается от таковой по иным простым типам. Хранилища значений индексируются и ищутся аналогично, прямой зависимости от объёмов не выявлено.

Сортировка индексированной таблицы в релизах до 8.3.9 медленнее на 10-15%, чем неиндексированной, даже если делается по неиндексированным полям; в новых релизах - медленнее на 2-5%.

При использовании ЗначениеВСтрокуВнутр и ЗначениеВФайл, и обратно, при сериализации через СериализаторXDTO, индексы сохраняются и работоспособны, время выполнения этих действий практически не зависит от наличия и характера индексов.

При передаче по ссылке, т.е. "ТЗ2=ТЗ1", при ТЗ2=ТЗ1.Скопировать() и Скопировать(,""), индексы сохраняются и работоспособны. Но при любом прямом указании колонок, в т.ч. если копируются все индексированные колонки, сами индексы не копируются. При указании любых отборов на строки индексы не копируются. Копирование индексированной ТЗ в среднем на 10-20% дольше копирования неиндексированной, в зависимости от её объёма и характера индексов.

При передаче ТЗ в процедуру/функцию и присвоении реквизиту соответствующего типа, при возвращении функцией - индексы сохраняются и работоспособны, единожды сделанные индексы везде "сопровождают" ТЗ. Важно, что директива "ЗНАЧ" в объявлении аргументов игнорируется: индексы, добавленные/изменённые для ТЗ внутри процедуры/функции, продолжают существовать и работать по её завершении, вне её контекста. Изменения ТЗ и индексы никак не связаны с принудительно объявляемыми транзакциями.

Явное удаление ненужных индексов или очистка всех индексов означает немедленный вызов сборщика мусора сеансовых данных.


При подготовке обзора использована информация с партнёрских сайтов, сайт http://www.gilev.ru и материалы видеоуроков В.Богачёва. Эксперименты по производительности ставились на Win Server 12 R2 Стандарт х64, Intel Xeon 2.6 GHz, 16 Гб ОЗУ, и аналогичной ОС, 2.0 GHz, 44 Гб ОЗУ. Использовались платформы релизов 8.3.6.2237, 8.3.10.2561 и 8.3.15.1565. Наблюдения велись с помощью замеров конфигуратора, и Perfomance Monitor по показателям: "% загруженности процессора _Total", "% использования физ.диска _Total", "% использования файла подкачки", "% использования выделенной памяти" и ещё нескольким второстепенным. По другим ОС ничего сказать, к сожалению, не могу. Во всех случаях речь идёт о сервере приложений, в ряде случаев совмещённом с клиентским. Рассматривалась работа на клиенте в обычных формах и на сервере в тонком клиенте.

 

Кроме //infostart.ru/public/19720/ подходящих публикаций на ИС не нашёл; если есть - извиняюсь за баян. Картинок нету ввиду криворукости, моей и браузера, стоящей каждый раз мне и модераторам кучу нервов.

Успеха, интересной и приятной работы всем нам)

178

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. CheBurator 3400 01.10.19 23:35 Сейчас в теме
"Русскоязычные упоминания ТЗ в logcfg... " - вот это не понял
tormozit; jONES1979; +2 Ответить
2. Yashazz 2860 02.10.19 00:04 Сейчас в теме
(1) Мне известен случай, когда речь шла о ТЗ в реквизите обработки, и пока не перевели всё на латиницу, лог просто отказывался писаться, ошибок не выдавал. Ясно дело, что, кроме значений параметров, кириллице там делать нечего, но русскоязычные имена колонок почему-то вызывали проблему, релиз 8.3.7; точнее уже сейчас не вспомню. Извини за расплывчатый ответ, ловили утечку оперативы; дело было в 15-м году и подзабылось, только сам факт мучений помню.
jONES1979; +1 Ответить
24. tormozit 5598 04.10.19 13:32 Сейчас в теме
(2) Думаю стоит разъяснить этот момент в статье. Иначе он будет многим непонятен.
3. JohnConnor 34 02.10.19 04:51 Сейчас в теме
4. pavlov_dv 02.10.19 05:36 Сейчас в теме
Хорошая статья!
Все кратко, информативно, только по существу и никакой воды.
Jeka44; YPermitin; +2 Ответить
5. ZloyProger 6 02.10.19 08:54 Сейчас в теме
Автору безусловный плюс, всё четко, по существу. Только хотел поворчать по поводу трюка с копированием тз - его в своих "минимализмах" выложил Сергей (ildarovich) (минимализмы 1, минимализмы 2, минимализмы 3) где ещё много интересных трюков с ТЗ приведено. Хотя судя по оформлению - скопировано чуть менее, чем полностью, возможно он же и постил у Гилёва)
Yashazz; wowik; +2 Ответить
7. Yashazz 2860 02.10.19 10:00 Сейчас в теме
(5) Охотно верю, Ильдарович могуч, Гилёв вполне мог у него перепостить. Спасибо за ссылку, обыскался эту публикацию.
6. Поручик 4331 02.10.19 08:56 Сейчас в теме
Это Яков Коган. Можно сразу в Избранное, а прочитать потом. Хотя пробежался и узнал кое-что новое.
e.kogan; wowik; +2 Ответить
8. Yashazz 2860 02.10.19 10:01 Сейчас в теме
(6) ой да ладно, захвалишь) Спасибо)
9. Yashazz 2860 02.10.19 13:21 Сейчас в теме
Кстати, вот чего не сравнивал и не знаю - скорость работы НайтиСтроки у ТЗ и у коллекции данных управляемой формы. Интересно бы выяснить, кто быстрее. А ещё сравнить с поиском по таб.частям обработок, например, они ж тоже не скульные.
10. the1 388 02.10.19 19:49 Сейчас в теме
Это монументально, однозначно в закладки!
11. PerlAmutor 45 02.10.19 21:18 Сейчас в теме
Кстати немного не справедливо, что ТЗ в 1С и SQL сервер умеют хранить несколько наборов индексов "Кол1, Кол2, Кол3" и "Кол1, Кол3" и "Кол2, Кол3", а временные таблицы в запросах 1С так проиндексировать нельзя, т.е. либо первое, либо второе, либо третье, но не одновременно 3 индекса. Плюс ТЗ может содержать типы, которые не дают строить временную таблицу из ТЗ, а также использовать ТЗ в качестве реквизита формы и использовать поиск по полю, пока не построишь на основе ТЗ - новую ТЗ без этих "запрещенных" типов, что приводит к дополнительным накладным расходам. Ровно как и не хватает метода Найти с предварительным отбором по полям и только до первой найденной строки, чтобы избежать полного сканирования ТЗ, например, если знаешь, что комбинация значений в 3-х колонках - уникальна (как измерение).
12. e.kogan 1849 02.10.19 23:07 Сейчас в теме
"При использовании ЗначениеВСтрокуВнутр и ЗначениеВФайл, и обратно, при сериализации через СериализаторXDTO, индексы сохраняются и работоспособны, время выполнения этих действий практически не зависит от наличия и характера индексов."

Между сеансами и базами?
А размер строки/файла как меняется?
13. Yashazz 2860 03.10.19 01:17 Сейчас в теме
(12) Между базами не пробовал, а между сеансами, если не страдает ссылочная целостность, то да, сохраняется. Там достаточно своеобразно, если речь о "строке внутр": в саму строку добавляется нечто вроде указателя на индекс, описания, что проиндексировано (это буквально десяток-другой символов, из них значащих совсем мало), и различие в строках минимально. А сам индекс при этом уходит в пользовательские сохраняемые настройки (туда же, куда размеры форм, сохранённые значения и запомненные позиции, итд), т.е. по идее если пользователю жёстко почистить кэши, то индексы погибнут. Насчёт "ЗначениеВФайл" последний раз пользовался этим для ТЗ на 8.3.6, там было аналогичное строке поведение. Т.е. индексы сериализуются неявно и потом восстанавливаются в сеансовые данные при загрузке из.

Но вообще этот вопрос заслуживает актуализации, особенно в части файлов. Желающие могут поэкспериментировать)
14. e.kogan 1849 03.10.19 01:20 Сейчас в теме
(13) Хм. А что происходит при восстановлении такой индексированной таблицы, если кэш чистили? Индексы реиндексируются или тихо отрубаются? Ну и между базами тоже интересно. У неё же есть этот указатель, то есть понимание, что индекс должен быть, у системы есть...
15. Yashazz 2860 03.10.19 01:21 Сейчас в теме
(14) А вот не знаю, не встречал на практике. Исходя из теории, должны стать "мёртвыми душами", как если бы колонку грохнули.
25. tormozit 5598 04.10.19 13:35 Сейчас в теме
(12) При сериализации сохраняются только метаданные индексов (описание их структуры), а не сами индексы. При десериализации ТЗ все индексы строятся заново. В статье стоило бы это четко обозначить.
16. Yashazz 2860 03.10.19 01:24 Сейчас в теме
Вообще, не следует всё-таки превращать ТЗ в постоянное хранилище постоянных данных, и надеяться, что единожды построенный индекс будет живучим. Всё-таки для другого она, и накладные расходы на индексацию не столь ужасны.
17. vano-ekt 526 03.10.19 09:34 Сейчас в теме
18. Brawler 449 04.10.19 08:10 Сейчас в теме
Просьба пояснить такой момент с индексами.

тз.Индексы.Добавить("Кол1");
тз.Индексы.Добавить("Кол2");
тз.НайтиСтроки(Новый Структура("Кол1,Кол2",знч1,знч2));


Индексный или без индексный поиск будет?
19. Yashazz 2860 04.10.19 09:46 Сейчас в теме
(18) Нет, будет безындексный. Не существует индекса, включающего "Кол1,Кол2" в таком порядке.
20. Brawler 449 04.10.19 09:59 Сейчас в теме
(19) Тогда странно как при таком варианте у меня скорость поиска в 60 раз увеличилась, когда я сидел рефакторингом выгрузки на сайт занимался недели две назад.
22. Yashazz 2860 04.10.19 10:32 Сейчас в теме
(20) Интересно. Какой релиз?
23. Brawler 449 04.10.19 11:16 Сейчас в теме
26. Yashazz 2860 04.10.19 14:43 Сейчас в теме
(23) Поставил ряд экспериментов, оборудование то же, что указано в статье; релиз 15.1565, ситуация следующая: безындексный поиск, видимо, как-то стал кэшироваться, или флюктуации загрузки оборудования влияют, но каждый следующий вызов на 100 тысяч поисков примерно на 5-10 секунд быстрее. Но только если вызывать в пределах 15-20 минут (возможно, это именно 20-ти минутный интервал существования некоторых кэшей). Поиск с двумя одиночными индексами по "кол1" и "кол2" показывает тот же результат, что без них. А вот поиск по "Кол1,Кол2" мгновенный, как и ожидалось. Поэтому, объяснить ускорение в 60 раз использованием индекса явно нельзя, тут что-то другое повлияло.
27. Brawler 449 04.10.19 15:34 Сейчас в теме
(26) Склонен думать, что при поиске могут использоваться подходящие индексы да и все, к примеру когда отдельные индексы Кол1 и Кол2, а поиск идет по Связке "Кол1,Кол2", то просто берется первое Кол1, и по индексу ищется, а Кол2, вероятно уже нет.
28. Yashazz 2860 04.10.19 16:28 Сейчас в теме
(27) Т.е. частичное использование? Слабо верится, при классике индексного поиска по N полей же нужно дерево, откуда оно возьмётся? Ну нашлось множество по "кол1", а дальше ведь его сканировать... Не знаю, не знаю. Возможно, ещё играет роль наполнение таблицы, отсортированность... По ситуации смотреть надо.
33. Brawler 449 04.10.19 18:14 Сейчас в теме
(28) Добрался только до кода, который оптимизировал, признаю несколько надурил всех, самая ресурсоемкая таблица, по части поиска, была проиндексирована только по одному полю.
От сортировок я наоборот избавился везде, где это явно не было нужно,. по минут 5+ выиграл.
В целом же я ускорил выгрузку с 3-х+ часов до менее 4-х минут)))

Индексы рулят, но тулить их везде не стоит, это и расход памяти и вычислительных ресурсов!
21. dimensh 04.10.19 10:03 Сейчас в теме
Давно хотел с этим вопросом разобраться, спс, очень детально.
29. acanta 67 04.10.19 16:32 Сейчас в теме
Если таблица отсортирована по кол1,кол2, влияет ли наличие /отсутствие соответствующего индекса?
30. Yashazz 2860 04.10.19 16:40 Сейчас в теме
(29) Влияет на что? Индексированная таблица сортируется медленнее, чем неиндексированная; иногда сильно медленнее.
31. acanta 67 04.10.19 16:42 Сейчас в теме
(30) я про необходимость добавления индексов в заранее отсортированную таблицу значений (или полученную выгрузкой из запроса с нужной сортировкой) для команды НайтиСтроки.
Я использовала запрос в цикле с фильтром по кол1.
Это ошибка?
32. Yashazz 2860 04.10.19 17:10 Сейчас в теме
(31) можно сюда или в личку кусок кода? Так навскидку трудно ответить.
34. AneJIbcuH 7 09.10.19 05:02 Сейчас в теме
Подскажите тоже по индексам, если делаем

тз.Индексы.Добавить("Кол1,Кол2");

А потом: тз.Найти(знч1,"Кол1");

Будет безиндексный поиск? (вроде так в статье). А для индексного в данном случае строго необходимо тз.Индексы.Добавить("Кол1"); ?
35. Yashazz 2860 09.10.19 21:15 Сейчас в теме
(34) Да, именно. Будет искать без использования индекса. И да, надо добавить одноколоночный, чтоб искало по нему.
Оставьте свое сообщение

См. также

Агрегатные функции СКД, о которых мало кто знает 322

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    10404    ids79    42       

Отслеживание выполнения фонового задания 134

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Универсальные функции Разработка

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    8578    ids79    14       

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив 245

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    10828    ids79    24       

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ 136

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Инструментарий разработчика Практика программирования Разработка

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    8967    ids79    24       

"Меньше копипаста!", или как Вася универсальную процедуру писал 170

Статья Программист Стажер Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования Разработка

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    6316    SeiOkami    48       

Создание отчетов с помощью СКД - основные понятия и элементы 199

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Практика программирования Математика и алгоритмы

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    17878    ids79    17       

Многопоточное ускорение однопользовательских нагрузок в 1С + Microsoft SQL Server 2017 176

Статья Программист Нет файла v8 v8::Запросы Бесплатно (free) Практика программирования Разработка

Взаимодействие с Microsoft SQL Server нередко вызывает трудности у 1С-ников, а потому интересны любые моменты, связанные с его использованием. О своем опыте работы с новым SQL Server 2017 участникам конференции Infostart-2018 рассказал директор ООО «Аналитика софт» Дмитрий Дудин.

11.06.2019    11662    dmurk    134       

Регистры накопления. Структура хранения в базе данных 174

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    17411    YPermitin    27       

Выполнение внешней обработки в фоновом задании 147

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Подробное описание подхода к созданию длительной операции на основе внешней обработки. Реализация протестирована на 1С 8.3.12.1714 (x64).

11.05.2019    10020    Eret1k    22       

Выгрузка документа по условию 5

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Разработка

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    4905    m-rv    2       

Как прикрутить ГУИД к регистру сведений 23

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Перенос данных из 1C8 в 1C8 Разработка

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    7481    m-rv    16       

О расширениях замолвите слово... 192

Статья Программист Стажер Нет файла v8 Бесплатно (free) Практика программирования Разработка

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    16521    ellavs    122       

Git-репозитории для 1С-кода (опыт использования при небольших проектах) 200

Статья Программист Стажер Нет файла v8 Windows Бесплатно (free) Практика программирования Разработка

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    12858    ellavs    83       

Трюки с внешними источниками данных 164

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    12970    YPermitin    52       

Возможности типовых шаблонов ограничения доступа на уровне записей (RLS) 163

Статья Программист Нет файла v8 v8::Права Бесплатно (free) Практика программирования БСП (Библиотека стандартных подсистем) Роли и права

Краткий обзор применения типовых шаблонов ограничения доступа на уровне записей в конфигурациях, созданных на базе БСП: #ПоЗначениям, #ПоНаборамЗначений, #ПоЗначениямРасширенный, #ПоЗначениямИНаборамРасширенный

03.02.2019    15719    ids79    9       

Git + 1С. Часть 2. Реализация Git workflow в 1С-разработке по шагам 128

Статья Системный администратор Программист Нет файла v8 1cv8.cf Бесплатно (free) Инструментарий разработчика Управление проектом

В этой части мы рассмотрим наиболее распространённую схему workflow при групповой разработке с использованием Git. Как приступить к доработке по поставленной задаче; исправить ошибку, обнаруженную на этапе тестирования; отправить свой код на слияние в предстоящий релиз; и т.д. Постараемся охватить большинство задач, составляющих основной цикл разработки

28.01.2019    9862    stas_ganiev    18       

EnterpriseData – часть 2. Процесс выгрузки данных 127

Статья Программист Нет файла v8 v8::УФ Россия Бесплатно (free) Практика программирования Обмен через XML

Основные этапы выгрузки данных через ED, обработчики событий выгрузки, правила обработки данных, правила конвертации объектов, конвертация свойств первого и второго этапов, процедуры БСП, используемые при выгрузке данных, структура «КомпонентыОбмена».

26.12.2018    12821    ids79    27       

Новый подход к обмену данными EnterpriseData 203

Статья Программист Нет файла v8 v8::УФ Россия Бесплатно (free) Практика программирования Обмен через XML

Хочу предложить Вашему вниманию цикл статей, посвященных обмену данными через универсальный формат (EnterpriseData или ED).

14.12.2018    21654    ids79    72       

[8.3] Анализ планов запросов (Управляемая консоль отчетов) 131

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Консоль запросов

Новый инструмент! Позволяет удобно работать с планами запросов, анализ планов в файловой базе.

19.11.2018    14078    Evg-Lylyk    6       

Программное заполнение пользовательских параметров и отборов СКД 135

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Публикация представляет из себя краткие примеры того, как можно заполнять параметры СКД программно так, чтобы все параметры и отборы были доступны в быстрых настройках и в обычных (типовых) настройках параметров и отборов СКД.

13.11.2018    19987    Unk92    18       

Автоматические и управляемые блокировки применительно к типовым конфигурациям 1С 126

Статья Программист Нет файла v8 v8::blocking 1cv8.cf Бесплатно (free) Математика и алгоритмы Практика программирования

Основные принципы работы с режимами автоматических и управляемых блокировок в 1С Предприятие 8. Теория и применение в типовых конфигурациях: БП, УТ, ЕРП

10.11.2018    21001    ids79    40       

Git + 1С. Часть 1. Как подключиться к команде разработки и начать использовать Git 269

Статья Системный администратор Программист Нет файла v8 1cv8.cf Бесплатно (free) Инструментарий разработчика Управление проектом

Первая статья из цикла инструкций по работе с Git в 1С-разработке. Рассмотрим, как настроить рабочее место, как получить свою "копию" проекта для разработки и приступить к полезным действиям. Все примеры будут изложены в рамках трёх практических кейсов: 1. Моя команда дорабатывает типовую конфигурацию, использует приватный репозиторий на BitBucket, в котором версионируются внешние отчеты/обработки, расширения конфигураций и правила обмена; 2. Я участвую в стартап-команде, которая разрабатывает свою конфигурацию с использованием Git и GitLab; 3. Я принимаю участие в развитии OpenSource-продукта на GitHub как заинтересованный разработчик (контрибьютор).

18.10.2018    33960    stas_ganiev    72       

Вспомогательные инструкции в коде 1С 104

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    20591    tormozit    100       

Произвольный код в фоновом режиме 165

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования

Задача: реализовать выполнение произвольного кода в фоновом режиме без изменения конфигурации, т.е. во внешней обработке.

03.09.2018    14712    nikita0832    41       

Основные понятия и механизмы оптимизации клиент-серверного взаимодействия в 1C 144

Статья Программист Нет файла v8 Россия Бесплатно (free) Математика и алгоритмы Практика программирования

У многих начинающих 1С программистов часто возникают вопросы про клиент-серверное взаимодействие в 1С и чтобы разобраться в непростых механизмах платформы, необходимо понять, что же такое контекст, для чего предназначены директивы компиляции, что представляют собой контекстные/внеконтекстные вызовы и как наиболее оптимально описывать прикладные задачи в модулях управляемых форм.

23.08.2018    21467    Rain88    42       

Практика применения инструментов продвинутого разработчика 1С 155

Статья Программист Нет файла v8 Бесплатно (free) Инструментарий разработчика

Статья адресована разработчикам. Будет чуть-чуть теории, будут воспоминания, и потом пойдет практика.

23.07.2018    19660    artbear    22       

Повышаем эффективность разработки правил обмена 124

Статья Программист Нет файла v8 КД ОС Бесплатно (free) Практика программирования Перенос данных из 1C8 в 1C8

Как повысить скорость и качество разработки правил обмена? Как вести групповую разработку правил обмена? Как облегчить сопровождение правил обмена после передачи в эксплуатацию? Об этом и многом другом вы можете узнать из этой статьи.

25.06.2018    19400    olegtymko    47       

Введение в механизм представлений в ЗУП ред. 3 153

Статья Программист Нет файла v8 v8::СПР ЗУП3.x Бесплатно (free) Практика программирования

В нашей организации на первом же телефонном собеседовании на должность разработчика по ЗУП ред. 3 вас обязательно спросят о том, что такое "Представления".

04.06.2018    24543    xrrg    82       

Как сделать запрос на изменение данных 75

Статья Программист Нет файла v8 v8::Запросы 1cv8.cf Бесплатно (free) Практика программирования

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    21296    m-rv    21       

Строим графы средствами 1С (без GraphViz) 42

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Множество статей на Инфостарте описывают, как работать с компонентой GraphViz, чтобы построить ориентированный граф. Но практически нет материалов, как работать с такими графами средствами 1С. Сегодня я расскажу, как красиво строить графы с минимальным пересечением. Нам этот метод пригодился для отрисовки алгоритмов в БИТ.Финансе, т.к. типовой механизм не устраивал. Еще это может быть полезно для визуализации различных зависимостей: расчета себестоимости, графы аффилированности компаний и т.д. Надеюсь, эта статья поможет сделать мир 1С красивее и гармоничней:) Итак, поехали...

23.05.2018    17073    slozhenikin_com    19       

Распределение расходов пропорционально продажам 9

Статья Программист Пользователь Нет файла v8 v8::ОУ УТ10 УУ Финансовый учет и бюджетирование (FRP) Учет доходов и расходов Бесплатно (free) Практика программирования

Финансовая модель. Распределение административных расходов по подразделениям пропорционально продажам за месяц. Дополнительные реквизиты против бизнес-процессов!

13.05.2018    11420    Rustig    9       

Минимализмы 3 353

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Универсальные функции

Очередная серия "минимализмов" [http://infostart.ru/public/306536/, https://infostart.ru/public/460935/]. Также, как и в предыдущих статьях, здесь приведена подборка коротких оригинальных авторских решений некоторых задач. Ранее эти решения были разбросаны по моим комментариям к чужим публикациям.

19.02.2018    35780    ildarovich    44       

Этюды по программированию. Взаимодействие с Microsoft Word 109

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Часто приходится заниматься созданием сложных документов Word с таблицами, вложенными фрагментами, хитрым оформлением и прочими радостями жизни. Это - попытка как-то структурировать полученный опыт, чтобы не приходилось перерывать ворох старых обработок в поисках крупиц истины. Надеюсь, эта статья будет полезна и Вам.

11.12.2017    25942    milkers    23       

Метод формирования движений в типовых регистрах нетиповыми регистраторами 31

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    21391    itriot11    34       

1С: Конвертация данных 3. Инструкции и примеры. EnterpriseData (универсальный формат обмена) 724

Статья Программист Нет файла v8 КД Бесплатно (free) Перенос данных из 1C8 в 1C8 Практика программирования Обмен через XML

Что такое КД3? Как начать использовать? Полезные дополнения к документации. Что нужно исправить в типовых обработках и конфигурации. Как изменить правила обмена не снимая конфигурацию с поддержки. Как отлаживать правила обмена?

19.11.2017    138332    MaxS    251       

Заполнение данных по ИНН контрагента с помощью альтернативного сервиса огрн.онлайн 131

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Код для заполнения данных по ИНН контрагента из ЕГРЮЛ с сайта огрн.онлайн.

01.11.2017    22803    slava_1c    49       

Программные перечисления, ч.2: приемы кэширования при разработке 67

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Все знают, что такое кэш, и зачем он нужен. Но в 1С разработчик обычно использует кэширование только на уровне конфигурации, а в какой-нибудь обработке скорее ломает голову над запросом - как получить все данные за один заход... Хочется рассказать о том, как можно добиться хороших результатов с стратегией "разделяй и властвуй".

30.10.2017    21158    unichkin    18       

Разбираемся с настройками компоновки данных 159

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Краткая шпаргалка по программной работе с настройками СКД

29.10.2017    24150    json    9       

Легкий способ обновления измененной конфигурации 41

Статья Системный администратор Программист Нет файла v8 Бесплатно (free) Инструментарий разработчика

Легкий способ обновления измененной конфигурации. Сервис подготовки расширения конфигурации

25.10.2017    18593    avk72    63       

Работа с Excel 289

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Загрузка и выгрузка в Excel

Собрал различные полезности для работы с Excel из 1С. Иногда приходится форматировать документ Excel программно из 1С. Так вот, чтобы не искать постоянно на просторах интернета как сделать левое выравнивание в ячейке Excel из 1С и т.п. решил опубликовать это...

23.10.2017    24972    arakelyan    39       

Добавление команд печати в конфигурациях на БСП 2.4.3 (в частности, в самописных документах в Бухгалтерии 3.0 после релиза 3.0.52.35) 143

Статья Программист Нет файла v8 v8::БУ БП3.0 Россия Бесплатно (free) Печатные формы документов Практика программирования БСП (Библиотека стандартных подсистем)

В статье https://infostart.ru/public/237013/ пользователя nick max рассматривался список действий для подключения команд печати в Бухгалтерии 3.0, работающей на БСП 2.3.6. В новом релизе Бухгалтерии 3.0.52.35 от 15.09.2017г. стала использоваться БСП 2.4.3, из-за чего произошли изменения в процедурах общих модулей, связанных с механизмом печати, и в процедурах их вызова в формах документов и в формах списков. Рассмотрим их.

18.09.2017    47052    bugtester    43       

Отказ от работы с временными файлами при работе с двоичными данными или Потоки как простая замена ADODB.Stream и временным файлам 127

Статья Программист Нет файла v8 Россия Бесплатно (free) Практика программирования

В платформе начиная с версии 3.8.9 (как я понял по документации) появился расширенный функционал средств работы с двоичными данными. Если раньше простой и очевидный способ преобразования данных строился на использовании временных файлов, то теперь благодаря новым средствам можно уйти от их использования.

12.09.2017    18342    vardeg    31       

Как сделать из &НаКлиентеНаСервереБезКонтекста почти &НаКлиентеНаСервере 125

Статья Программист Нет файла v8 1cv8.cf Россия Бесплатно (free) Практика программирования

Как сделать метод формы, доступный на клиенте и на сервере одновременно, и сохранить при этом удобство разработки

10.09.2017    34321    tormozit    72       

Ускоряем 1С: модули с повторным использованием возвращаемых значений 136

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

По роду своей деятельности, мне часто приходится обсуждать с программистами детали реализации той или иной функциональности. Очень часто, разговаривая даже с квалифицированными специалистами я сталкиваюсь с незнанием сути платформенной функциональности Повторного использования возвращаемых значений общих модулей. В данной статье я постараюсь дать краткий обзор и основные особенности этой функциональности.

04.09.2017    43283    m-rv    60       

Как просто запомнить алгоритм программного вывода в СКД 205

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Практика программирования

Порой нужно быстро вывести на экран таблицу значений, используя СКД \ получить данные отчета в таблицу значений.. Несмотря на очевидность алгоритма - раньше мне проще было загуглить программный вывод, благо эта инфа есть везде. Но постепенно понял как его можно быстро вспомнить, и лишний раз ничего не искать. Конечно эта статья не для Гуру :) Но я думаю - что любой неопытный в СКД программист сделает для себя небольшое открытие...

01.09.2017    41595    unichkin    15