Для чего НЕ нужны индексы

Публикация № 444987

Администрирование - Администрирование данных 1С - Статистика базы данных

MS SQL SQL Индекс Селективность Индексирование

Индекс лишним не бывает? Чем больше индексов, тем лучше? А не проиндексировать ли это измерение на всякий случай?
Если подобные вопросы иногда возникают в вашей голове, то эту статью прочитать было бы весьма полезно.

Итак, традиционное мнение, что "Индекс это хорошо, а блокировка это плохо", часто бывает неверным до противоположности.
Картинка выше, которую я выбрал для заголовка статьи, очень часто напоминает многие базы 1С, которые неожиданно начинают "быстро расти"и "тормозить".
Но прежде чем перейти к сути, придётся немного покопаться в теории.

Что такое индексы, для чего они нужны, какие они бывают?

    Далее будет немного теории, объясняемой простым языком. Если все эти вопросы вам давно известны и вы считаете, что нет необходимости в таком примитивном объяснении, то вы, наверное, слишком редко заглядывали в доработки конфигураций, да что и говорить, в типовые конфигурации 3-4 летней давности, в любом случае, этот раздел всегда можно пропустить.

Итак, как работает индекс? Наверное, все в детстве играли в игру "угадай число"? Кто-то загадал число от 1 до 50, а вам его нужно угадать за наименьшее число вопросов.
Как вы будете его угадывать? Перебором: "Это 1? Это 2? Это 3?". Скорее всего, вы будете задавать вопросы вида: "Оно больше 25?". И только когда вариантов останется около 2-3, вы будете перебирать возможные.
Т.е. поступите примерно так, как показано на картинке:




В ВУЗ-е мы уже узнаём, что подобные структуры называются графами, вернее, даже разновидностью графа - деревьями. Бывают ещё более вырожденные разновидности деревьев, так называемые B-деревья.
Собственно, они и лежат в основе большей части индексов.

Хотя, конечно, не большей. Индексы делятся на два типа: кластерные и не кластерные.
Конечно, можно вспомнить, что есть битовые индексы, функциональные индексы, XML индексы.
Но принципиальным отличаем будем считать физическую организацию и принцип работы.

Кластерный индекс - это по сути дела не индекс, а определенным образом организованная таблица. В Oracle его, к примеру, вообще называют Index Organized Table или IOT.

Некластерный индекс - это отдельная структура, как правило, вида B-дерева, которая создаётся дополнительно к основной таблице.

Если вы сейчас думаете, что эти два вида индексов придумали ИТ специалисты, то вы сильно ошибаетесь.

Вот так выглядит кластерный индекс, который появился ещё до появления компьютера:


А как-то вот так, соответственно, некластерный:





Данная аналогия оказывается на удивление полной.
Каким образом вам бы удобнее было искать? Сразу выбрать страницу, начиная с той буквы, которая указана на срезанных полях,
или сначала заглянуть в предметный указатель, потом узнать там номер страницы и уже искать нужную страницу по номеру?
Конечно, первый способ куда удобнее. Но вот только не очень он гибкий... обычно на полях ставят только буквы.
Нельзя написать целое слово или несколько слов, в то время как в предметном указателе их можно организовать как угодно.

Кроме того, предметный указатель по сути ссылается на номера страниц книги, на которых расположена нужная информация.
Сами номера страниц являются при этом по сути кластерным индексом.


Теперь давайте посмотрим уже более детально, применительно к MS SQL Server:

В MS SQL существуют 2 физических операции Index Seek и Index Scan. Index Seek - это хорошо, Index Scan - плохо.
Index seek означает просмотр индекса в порядке упорядочивания, либо по B-Дереву, Index Scan - обычная операция просмотра всех
записей таблицы, аналогичная всем известной Table Scan. Чаще всего данная операция присутствует в случае "неполного покрытия" индекса,
Если в индексе, к примеру, есть поле "Контрагент, Номенклатура" а отобрать записи надо по "контрагенту, номенклатуре и заказу покупателя".
В этом случае в плане запроса MS SQL можно будет увидеть что-то вида:




Т.е. сначала по индексу были выбраны записи, соответствующие покрытию, а остаток записей был получен полным последовательным просмотром таблицы.



А если мы сделаем у таблицы не кластерный индекс, то в итоге увидим примерно следующую картину:



Тут есть ещё одна интересная операция - RID Lookup, занимающая целых 50% времени - столько же, сколько поиск по индексу.

Собственно, дополнительная операция трубуется из-за того, что некластерный индекс не производит выборку по самой физической таблице, следовательно, требуется ещё сам поиск нужной физической страницы, чтобы считать сами данные.

Но в данном случае есть ещё одна специфика - это слово "Heap", указанное в скобках операции. Но о нём далее.


Чем плохи индексы?

1) Накладные затраты при записи данных


Очевидно, что для поддержаиня какой-либо дополнительной структуры данных, либо определенной организации данных, требуется совершать дополнительные действия.
Действий не так много, накладные затраты на них небольшие. Но плохо то, что эти затраты и действия возникают при записи данных. А запись данных происходит в транзакции.
Хуже если в транзакции происходит и запись и чтение данных (контроль остатков). В этом случае индекс должен быть всегда в актуальном состоянии.

Затраты на запись или чтение в транзакции намного "дороже" внетранзакционных издержек. Дело в том, что запись может вестись строго последовательно, и время на фиксацию изменений в БД сократить достаточно сложно. Более мощное оборудование тут не всегда помогает.

Внетранзакционное же чтение данных может вполне успешно выполняться параллельно, при этом в случае увеления количества запросов на чтение данных, к примеру, вследствие роста количества пользователей, то они вполне могут решиться наращиванием аппаратных ресурсов.


2) Накладные затраты на обслуживание индексов 

При интенсивной записи данных в таблицу данные индексов к ней не всегда распологаются на той странице, на которой должны. Появляются "пропуски", физическая структура индексов становится неэффективной. Поэтому иногда бывает необходимо производить дефрагментацию индексов. Производительность запросов к СУБД во время дефрагментации, соответственно, падает. Есть ещё процесс полного перестроения индексов - но в современных версиях MS SQL необходимости выполнения данной операции по регламенту нет.

3) Влияние индексов на размер базы
Не самое страшное последствие, но так или иначе если база весит 150-200 ГБ, то об этом надо уже задуматься. Для средней OLTP базы размер индексов, как правило, превышает объём самой базы.
Не верите? Вполне можете воспользоваться какой-либо обработкой вроде этой: //infostart.ru/public/19463/ и посмотреть, сколько же в вашей базе места занимают индексы.

4) Затраты на создание и поддержание актуальной статистики
Статистику в базе нужно регулярно обновлять при интенсивных операциях вставки и обновления. Это занимает вычислительные ресурсы, хоть и не влияет непосредственно на процесс.
Неактуальная статистика может привести к проблемам производительности системы.

Но это не значит, что индексы - это плохо, без них СУБД были бы бесполезны. Плохи индексы, которые не используются.



Как оптимизатор выбирает, какой индекс ему использовать? (статистика, плотность, селективность, кардинальность)

Итак, про то, что "статистика должна быть" и "её нужно обновлять", слышали, наверное, все.
Многие даже знают, что нужно обновлять статистику, наизусть помнят запрос:

EXEC sp_MSForEachTable 'UPDATE STATISTICS ? WITH FULLSCAN;'

Главное - не забыть, что хитрый MS SQL кэширует планы запроса, котьорые он уже раз посчитал. Даже если статистика изменится,
для того, чтобы что-то заработало по-другому, надо бы выполнить:

DBCC FREEPROCCACHE

Но гораздо реже люди заморачиваются с тем, чтобы посмотреть статистику БД. Давайте попробуем это сделать на тестовой таблице:

Сделаем в БД простейшую таблицу следующего вида:



Потом выполним:

DBCC SHOW_STATISTICS('TAB', NAME)



Оказывается, сколько всего сохраняется для такой маленькой таблицы. Интересен ещё тот факт, что вы же не выполняли никакого кода по созданию статистики.
Если статистика для таблицы не отключена, то она создаётся сама. И это тоже ложится на накладные расходы.

Сейчас нам интересен в этой таблице столбец Density - Плотность записей. Плотность рассчитывается как


Плотность = Число дубликатов в колонке / Общее число записей в таблице

И является одним из самых выжных статистических показателей данных в таблице. Очевидно, что чем меньше плотность записей, тем эффективнее можно будет воспользоваться индексом.
А при плотности 0.5, как в приведённом примере, индекс в принципе вообще не нужен. Чем ниже в таблице значение Density, тем более правильно спроектирована данная таблица.
Для СУБД лучше всего таблицы с уникальными записями. Обратите внимание на столбец All density - его значение уже 0.25. Это означает, что в таблице есть ещ одна колонка. Для MS SQL этот показатель важен, когда вы пишете "СГРУППИРОВАТЬ ПО".

Но плотности записей оптимизатору недостаточно. Основная задача оптимизатора - "догадаться", сколько строк вернёт запрос.
Допустим, у нас в базе куча складов по всем регионам - небольшие торговые точки + виртуальные склады. И есть один центральный склад.
Плотность по складу будет достаточно неплохая. Но вот число строк по центральному складу, которое вернёт запрос, и по региональному будет различаться в тысячи раз.

Для этого есть показатель селективности:

Селективность=число строк удовлетворяющих предикату/всего строк в таблице

Предикат - определенное условие.
Из картинки выше селективность определяется в третьей таблице. Там указан "ключ" - RANDE_HI_KEY и соответственно количество строк ему соответствующее... и количество значений, ему соответствующее в таблице.

Ну, и остался последний показатель статистики:

Кардинальность - это и есть предположительное число строк, которое вернёт запрос

В каждом элементе плана запроса этот показатель присутствует.
Если навести на элемент плана запроса курсор, то его можно увидеть во всплывающей подсказке примерно так:




Итак, если итоговый запрос возвращает половину таблицы или около того, то индекс тут совсем не нужен.
Вспомним УТ 10.2, 10.1, даже 10.3, по-моему... В каждом документе был индекс по полю "Организация". В последних версиях его нет. Как думаете, почему?

Индекс также бесполезен, если оптимизатор MS SQL решает, что итоговый запрос вернёт половину таблицы или вроде того.
Почему MS SQL так может решить, вроде разобрались.


Теперь самое время разобраться, какие индексы есть в 1С:

Всё просто. Все объекты 1С делятся на ссылочные (у которых есть ссылка и, соответственно, GUID) и табличные (регистры).
У всех таблиц 1С есть кластерный индекс.
У ссылочных кластерный индекс создаётся по ссылке (GUID) - это самая быстрая выборка, которая только может быть.
У табличных кластерный индекс создаётся по всем изменениям. Что тоже предельно логично. И, конечно, этот индекс уникальный.

А как же затраты на запись? Зачем создавать кластерный индекс везде?
Дело тут в том, что так работает MS SQL. В стандартной таблице просто должен быть кластерный индекс.
Без него выборка из этой таблицы будет приводить к тому, что операция поиска записи по индексу (как было на картинке выше) будет занимать непростительно много времени.
В MS SQL таблицы без кластерного индекса называеют Heap Table - куча. Что примерно соответствует их физической организации.
Тем не менее, такие таблицы могут быть важны. Если у вас 99% операций в этой таблице - запись, а для анализа этих данных вы, к примеру, применяете отдельное OLAP решение.
Поэтому возможность убирать кластерные индексы из таблиц очень бы не помешала разработчикам 1С.


Когда вы ставите у какого либо реквизита, ресурса или измерения объекта 1С признак "индексировать" - создаётся дополнительный или обновляется существующий не кластерный индекс для этой таблицы.

Включая реквизиты объекта в критерий отбора, вы также создаёте по ним отдельный индекс.


Это лишь общие правила, по которым платформа создаёт индексы на уровне СУБД. В каких-то деталях они могут отличаться, тем более в разных версиях платформы.

К счастью, 1С не пожадничали и дали нам инструмент, чтобы структуру БД просматривать - я про фукнкцию "ПолучитьСтруктуруХранения()".
Умельцы этой функцией воспользовались и сделали для неё неплохой интерфейс, которым можно вопспользоваться, чтобы точно посмотреть, какие же есть индексы у таблицы:

//infostart.ru/public/147147/ 


Зачем я всё это прочитал?

Что делать простому разработчику 1С?


Простой разработчик в отличие от оптимизатора MS SQL может заранее предсказать, какие будут данные в запросе, какие будут предикаты и какие нужны индексы.
Что же нужно делать, чтобы ваши запросы выполнялись быстро и при этом при записи данных в БД это не приводило к перезаписи нескольких десятков бесполезных индексов.

1) Делайте индексы, покрывающие предикаты, если данный запрос планируется к использованию достаточно часто.
    Но не забудьте, что уже существуют кластерные индексы.

2) Если находится индекс, уже покрывающий предикат в запросе, не создавайте нового индекса.

3) Если индекс покрывает почти всё условие запроса - оцените число записей, которое придётся перебрать СУБД при
    данной выборке, если оно невелико (менее нескольких тысяч) - не создавайте нового индекса

4) Определите селективность и/или плотность записей в выборке так, как их определит в данном случае оптимизатор.
     Если в итоговой выборке получится много записей по отношению к общему числу записей в таблице - не создавайте индекса, он лишний

5) Когда пишете запрос, думайте о том, как его будет анализировать оптимизатор, сможет ли он корректно посчитать ориентировочное число строк, возвращаемое каждой частью запроса.

6) В конце концов проверьте план полученного запроса, если он вам действительно важен, особенно если данный запрос нужно выполнять в транзакции.

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. tormozit 5826 17.01.16 10:23 Сейчас в теме
Опечатка "выжных"->"важных"
2. gislink 37 17.01.16 11:15 Сейчас в теме
Почитал с удовольствием. Есть еще программисты, способные просто и доступно разъяснять непростые для понимания вещи. Большое спасибо.
Yasasha; Veetavas; purgin; assanoff; Бубузяка; fishca; +6 Ответить
3. tormozit 5826 17.01.16 12:13 Сейчас в теме
Хорошо бы еще про использование в индексах полей типа Булево рассказать.
4. baton_pk 401 17.01.16 12:28 Сейчас в теме
У всех таблиц 1С есть кластерный индекс.

А как же регистры расчёта?
Vladimir_Konyrev; Yashazz; comol; AlX0id; +4 Ответить
8. comol 4331 17.01.16 22:33 Сейчас в теме
(4) baton_pk, Честно забыл про них, пока пусть так повесит, сам просвещусь какие там индексы и поправлю :)
13. Irwin 342 18.01.16 14:29 Сейчас в теме
(4) baton_pk, не только регистры расчета. Если регистр сведений периодический (кроме по подчинению регистратору) и у него нет измерений, то кластерный индекс также не создается. Платформа 8.3.7
14. baton_pk 401 18.01.16 15:51 Сейчас в теме
(13) Irwin,
8.3.7 я ещё не смотрел, но ИТС пишет следующее:

Периодический регистр сведений

Индекс: [ОРРХ | ОРНР1 +] Период + [Измерение1 + ...] (Кластерный)
Условие и описание: Всегда.


PS. Или имелся ввиду НЕпериодический?
19. Irwin 342 18.01.16 16:53 Сейчас в теме
(14) baton_pk, как раз периодический, но без измерений (исключая периодичность по позиции регистратора).
15. comol 4331 18.01.16 16:03 Сейчас в теме
(13) Irwin, (14) baton_pk, Для этого я написал
Это лишь общие правила, по которым платформа создаёт индексы на уровне СУБД. В каких-то деталях они могут отличаться, тем более в разных версиях платформы.
5. AlX0id 17.01.16 14:03 Сейчас в теме
В MS SQL существуют 2 физических операции Index Seek и Index Scan. Index Seek - это хорошо, Index Scan - плохо.
Index seek означает просмотр индекса в порядке упорядочивания, либо по B-Дереву, Index Scan - обычная операция просмотра всех
записей таблицы, аналогичная всем известной Table Scan. Чаще всего данная операция присутствует в случае "неполного покрытия" индекса,
Если в индексе, к примеру, есть поле "Контрагент, Номенклатура" а отобрать записи надо по "контрагенту, номенклатуре и заказу покупателя". 

Это ваще что?
Зачем умные ребята из микрософт понаделали "хороших" и "плохих" операторов? Почему не сделали только хороших?
Индекс скан будет использоваться в случае "неполного покрытия"?? О_О
9. comol 4331 17.01.16 22:35 Сейчас в теме
(5) AlX0id,
Зачем умные ребята из микрософт понаделали "хороших" и "плохих" операторов

Ну ребята то сделали только хорошие операторы... Будь воля MS SQL он бы всегда делал только Index Seek. Но вот прикладные разработчики 1С регулярно вынуждают его пользоваться index scan :)
6. Painted 32 17.01.16 16:50 Сейчас в теме
А еще индекс не нужен для маленьких таблиц. Интересно вот с какого размера индекс начинает себя оправдывать?
10. comol 4331 17.01.16 22:35 Сейчас в теме
(6) Painted,
Интересно вот с какого размера индекс начинает себя оправдывать
Опытным путём 2000 было в MS SQL... по крайней мере в 2008 так.
7. ivanov660 2147 17.01.16 19:17 Сейчас в теме
Вспомним УТ 10.2, 10.1, даже 10.3, по-моему... В каждом документе был индекс по полю "Организация". В последних версиях его нет. Как думаете, почему?

Как на счет включения в базе ограничения по RSL с ограничением по полю организация? Как написано в методике от 1С: при выполнении запросов в которых происходит соединение, условие и т.п. по полям, то соответствующие поля должны быть проиндексированы. Так в итоге индексы должны быть?
11. comol 4331 17.01.16 22:41 Сейчас в теме
(7) ivanov660,
включения в базе ограничения по RSL с ограничением по полю организация
RLS конечно :). Тут всё зависеть будет опять же от селективности... условия соединения. 1С в методике "не лезли в дебри" а написали как будет верно в общем случае. Если у вас в базе 10-ок организаций SQL соединит эти таблицы вложенными циклами, и просмотрев всю таблицу и будет полностью прав, следовательно индекс там не сдался. Но это не отменяет того что RLS вам внесёт полный хаус в запросы к БД и что в итоге получится надо смотреть только в профайлере :)
12. Yashazz 3269 18.01.16 14:13 Сейчас в теме
Ну что, книжку Филиппова пополам с методичкой с "1С-Эксперта" более-менее пересказал в общих чертах, молодец.
...интересно, долго ещё на Инфостарте будет пользоваться такой популярностью завуалированный плагиат?
qwinter; starik-2005; +2 3 Ответить
16. comol 4331 18.01.16 16:15 Сейчас в теме
(12) Yashazz,
завуалированный плагиат

Источники не книжка Филиппова, в которой эти вопросы незаслуженно упущены.

Был такой сайт - SQLCMD... там человек оочень подробно объяснял селективность, плотность, кардинальность. Сейчас сайт закрыли, у меня только архив остался.
В русскоязычном варианте аналогов не видел.

Оcновной англоязячный источник: Inside the SQL Server Query Optimizer - Benjamin Nevarez
И Grant Fritchey, SQL Server Query Perfomance Tuning

+ личный опыт конечно.

Вы видимо из статьи прочитали только начало (теорию) и конец (краткие рекоммендации), которые есть везде, но лишними не будут.
d4rkmesa; mytg; mvxyz; Krio2; fzt; fancy; charushkin; tormozit; +8 Ответить
18. Sergey.Noskov 1145 18.01.16 16:50 Сейчас в теме
(16)
Был такой сайт - SQLCMD... там человек оочень подробно объяснял селективность, плотность, кардинальность. Сейчас сайт закрыли, у меня только архив остался.
В русскоязычном варианте аналогов не видел.

В текстовом формате действительно информации мало. На techdays есть видео доклад "О самой частой причине выбора нестабильного/неэффективного плана запроса, или Оценка Кардинальности: что это такое, и как с ней бороться" в двух частях от Алексея Эксаревского про кардинальность, оценку стоимости запроса и все что с этим связано. Много, местами скучновато но подробно и с примерами.
20. comol 4331 18.01.16 17:41 Сейчас в теме
21. baton_pk 401 18.01.16 17:58 Сейчас в теме
(20)

беглый гуглёж дал вот это:
http://www.oszone.net/17922/
http://www.oszone.net/17920/

Там можно скачать видео и презентацию. Сам не смотрел ещё.

Кстати, советую ещё Pro SQL Server Internals - чтиво очень хорошо проясняет картину мира.
22. tormozit 5826 18.01.16 18:05 Сейчас в теме
(21) Качество плохое. Я тоже не нашел выше качества. Видимо это оригинал =(
23. comol 4331 18.01.16 18:57 Сейчас в теме
(22) tormozit, (21) baton_pk, (18) Sergey.Noskov,
Как Сергей писал загуглил на teachdays.
Оригинал наверное тут:
https://www.techdays.ru/videos/4309.html
https://www.techdays.ru/videos/4310.html

И ещё до кучи: https://www.techdays.ru/videos/4303.html

Ещё наверное полезно было бы SQLCMD архив выложить. Сайт закрыт, поэтому наверное ни чьи (с) я не нарушу.

Плюсаните пост, пусть вверх всплывёт, глядишь кто-нибудь ещё прочитает и станет больше суммарных знаний в мире 1С :)
А архивчик со статьями только в самом посте внизу подцепился :(
Прикрепленные файлы:
_sql_cmd.rar
EVKash; ajax_new; mega; mvxyz; nvv1970; alex3067; SirStefan; agro23; Danil.Potapov; WizaXxX; oleg21592; TreeDogNight; Arrigo; gaglo; ikekoval; zzz14; Sergey.Noskov; AlX0id; Bronislav; ivanov660; _Z1; tormozit; +22 Ответить
24. _Z1 38 18.01.16 22:13 Сейчас в теме
(23) Спасибо за архив.
Жалко только что нет комментариев к статьям.
в комментариях тоже были очень ценные сведения.

По статье в чем то Вы не совсем правы. ( но обсуждение этого на мой взгляд принесет
вреда больше чем пользы - тем более это Ваша статья - Ваше виденье ms sql )
26. Sergey.Noskov 1145 19.01.16 13:39 Сейчас в теме
(23) да, это те самые ссылки, качества лучше не нашел, но это не принципиальный момент.
По индексам так же есть отличный доклад Дмитрия Короткевича https://www.techdays.ru/videos/4303.html новичкам в разработке (особенно уверенным что чем больше индексов тем лучше) смотреть обязательно.
27. comol 4331 19.01.16 19:08 Сейчас в теме
(26) Sergey.Noskov, Пасиб. Включил в "заплюсованый" пост. Судя по всему соберём инфу в комментах и включу в основную статью :)
17. Sergey.Noskov 1145 18.01.16 16:19 Сейчас в теме
(12) Yashazz, базовые знания из области архитектуры СУБД вы считаете плагиатом методичек?
25. ivanov660 2147 18.01.16 23:10 Сейчас в теме
Архивчик сайта занятный, только что-то устарело с 2013 года, жалко нет обновления.
28. Gilev.Vyacheslav 1851 19.01.16 23:17 Сейчас в теме
(0)
3) Если индекс покрывает почти всё условие запроса - оцените число записей, которое придётся перебрать СУБД при
данной выборке, если оно невелико (менее нескольких тысяч) - не создавайте нового индекса

садись, два, приходи к нам на курсы, расскажем про дедлоки
mitia.mackarevich; +1 Ответить
32. comol 4331 20.01.16 11:06 Сейчас в теме
(28) Gilev.Vyacheslav,
расскажем про дедлоки
А заодно прочитаем про версионник? :)
35. baton_pk 401 20.01.16 11:17 Сейчас в теме
(32)
А заодно прочитаем про версионник? :)

Заодно вспомним, что не все сидят на 8.3 с отключенным режимом совместимости.
36. comol 4331 20.01.16 11:24 Сейчас в теме
(35) baton_pk, Ну я ещё до 8.3 писал что нужно бы включать: http://infostart.ru/public/91879/ и 8.3 тут не причём, если не полениться то можно сделать "жизнь чуть более приятной".
37. baton_pk 401 20.01.16 11:32 Сейчас в теме
(36)
людям, которые не понимают такой элементарщины в индексах, лучше не пытаться
сделать "жизнь чуть более приятной".


чревато волной статей "как я гордо восстанавливал базу после своих кривых рук"
Gilev.Vyacheslav; +1 Ответить
61. Gilev.Vyacheslav 1851 21.01.16 20:49 Сейчас в теме
(32) не пори чушь, на запись версионник не поможет
63. comol 4331 21.01.16 22:43 Сейчас в теме
(61) Gilev.Vyacheslav, Оу
придётся перебрать СУБД при
данной выборке
речь то про чтение оказывается ;)
67. Gilev.Vyacheslav 1851 22.01.16 09:22 Сейчас в теме
(63) покажи мне базу данных, в которую данные не пишутся, а как у тебя записи в таблице возникают, селектом? или рассказываешь про удобную часть, а неудобная за рамками статьи?
68. comol 4331 22.01.16 13:01 Сейчас в теме
(67) Gilev.Vyacheslav, Ну ты же изначально писал про дедлоки... которые возникают потому что при переборе записей они блокируются...
Так вот, в версионнике такая блокировка не приводит к дедлоку.

У меня в режиме версионирования дедлоки только при обменах возникают... Но с ними разделаться получилось только отказавшись от обменов :)
69. Gilev.Vyacheslav 1851 22.01.16 16:10 Сейчас в теме
(68) я изначально писал что глупость рекомендовать "не создавать индексы", провоцируя захват избыточных данных
если в каком-то режиме не будет дедлоков, то вылезет таймаут/отсутвие версии или прочая "неприятность".

Не надо писать "не создавайте индексов если мало записей", не вводи в заблуждение людей.
70. comol 4331 24.01.16 14:47 Сейчас в теме
(69) Gilev.Vyacheslav,
таймаут/отсутвие версии или прочая "неприятность"
ну на практике у меня таких "неприятностей" не возникало, когда лишние индексы посносил.

Не надо писать "не создавайте индексов если мало записей"
по-моему это дискуссионный вопрос... а не "истина в последней инстанции".
Потому как
приоритеты задач тоже имеют значение

29. Andreynikus 1334 20.01.16 00:18 Сейчас в теме
Спасибо, хорошая статья, но есть несколько замечаний.
1. Вы написали
«Index Scan - обычная операция просмотра всех
записей таблицы, аналогичная всем известной Table Scan. Чаще всего данная операция присутствует в случае "неполного покрытия" индекса»


Здесь сразу несколько заблуждений.
1.1. Очень часто разработчики путают понятия покрывающего индекса и индекса подходящего под условия. Покрывающий индекс – это индекс который содержит в себе все поля возвращаемые в запросе, т.е. поля из раздела ВЫБРАТЬ. А индекс не подходящий под условия это как раз то, что вы описали.
1.2. Операция Scan всегда означает полный (а не частичный) просмотр всей таблицы или индекса, единственное исключение это когда в запросе есть ключевые слова ВЫБРАТЬ ПЕРВЫЕ тогда скан будет не всей таблицы/индекса, а только первых записей. Частичный скан в плане запроса будет выглядеть как оператор Seek но с условием Where, в графическом плане появится раздел Predicate.
2. По поводу чистки кэша после обновления статистики, сейчас SQL Server достаточно умный что бы самостоятельно перекомпилировать планы для тех таблиц, по которым было обновление статистики, не нужно этого делать еще раз.
3. У временных таблиц по умолчанию нет индексов. У регистра расчета нет кластерного индекса, но это все мелочи и можно посмотреть через вышеуказанную обработку.
4. Я бы дополнил статью разбором ситуаций, когда индекс есть но не может быть использован из-за неоптимально написанного запроса.
Danil.Potapov; m.s.moiseev; oleg21592; temsan; Yashazz; gadjik; tormozit; Vladimir_Konyrev; Gilev.Vyacheslav; +9 1 Ответить
33. comol 4331 20.01.16 11:14 Сейчас в теме
(29) Andreynikus, 1.1 ну по контексту понятно наверное... неполное покрытие условий индекса имелось ввиду
1.2 так и написано вроде...
2 Тестил на 2012 - нифига он этого не делал. В SQLCMD человек тестил на 2008 - не делал. Поэтому ваше утверждение что "сейчас MS SQL достаточно умный"... можно трактовать как "кому достаточно, а кому не достаточно". 2014 ещё дааалеко не у всех, и просто не проверял.
3 Ну конечно ориентировочно. Про регистры рассчетов забыл и уже указали
4 Этих ситуаций разбор это ещё на статью... притом не одну... Даже вон люди курсы отдельные придумали. Моя цель была чуть углубиться в работу оптимизитора... чтобы такие ситуации люди смогли разбирать сами...

38. Andreynikus 1334 20.01.16 11:35 Сейчас в теме
(33)
2. А как вы тестили перекомпиляцию если не серкрет? На моих тестах все перекомпилирутся, главное что бы план был не тривиальный. Тем более что в документации MS SQL написано что после обновления планы будут перекомпилироваться https://msdn.microsoft.com/ru-ru/library/ms190397(v=sql.120).aspx а документации Microsoft в отличии от документации 1С в большинстве случаев можно верить :)

4. Насчет отдельных курсов на эту тему, можете ссылку кинуть?
39. comol 4331 20.01.16 14:07 Сейчас в теме
(38) Andreynikus,
На моих тестах все перекомпилирутся
Да ладно? :))) Создайте табличку, создаёте руками левую статистику, создаёте индекс и вызываете предполагаемый план выполнения. ИМХО если бы при каждом запросе к СУБД MS SQL пересчитывал статистику и перекомпилировал планы выполнения запросов вы бы наслаждались песочными часиками большую часть времени своей работы. Более детально в (23) архивчик скачайте и там есть эта тема подробно. SQL 2012/2008 работает точно так.

Про курсы это к Гилёву он там уже выше что-то предлагал в этом роде :)
40. Andreynikus 1334 20.01.16 14:24 Сейчас в теме
(39)
Зачем смотреть предполагаемый план? Смотреть надо на фактический, они ведь могут отличаться.
Можете мне скинуть тот скрипт где создается такая таблица, меняется статистика а главное выполняется тот самый запрос? Или скажите точно где можно скачать этот пример.
Я еще раз повторю, если план запроса тривиальный, тогда естественно ничего перекомпилироваться не будет, в этом нет смысла.

ИМХО если бы при каждом запросе к СУБД MS SQL пересчитывал статистику и перекомпилировал планы выполнения запросов вы бы наслаждались песочными часиками большую часть времени своей работы.


Естественно СУБД не будет пересчитывать статистику при каждом выполнении запроса об этом никто и не говорит. Читайте пожалуйста внимательнее, план будет перекомпилироваться только если по таблице была обновлена статистика. То что перекомпиляция будет только один раз кажется на столько очевидным, что не требует уточнений.
45. comol 4331 20.01.16 15:22 Сейчас в теме
(40) Andreynikus,
план будет перекомпилироваться только если по таблице была обновлена статистика
Почти угадали. Только, к сожалению, не всё так просто....
Но дело в том что статистика сама не всегда обновится тогда когда нужно...

Или скажите точно где можно скачать этот пример
написал же - в (23) 2-я статья. Я тоже не всегда людям доверяю, поэтому всё смотрел и проверял сам, можете тоже проверить и убедиться, тем более полезно будет :).

если план запроса тривиальный, тогда естественно ничего перекомпилироваться не буде
вооо. Вы не пути истинном. А теперь осталось определить что понимается под "тривиальный". В плане может быть только 2 операции, но при этом если он не перекомпилится то вся база "станет ....ом" :)


51. Andreynikus 1334 20.01.16 19:49 Сейчас в теме
(45)
Почти угадали. Только, к сожалению, не всё так просто....
Но дело в том что статистика сама не всегда обновится тогда когда нужно...


Гадают цыганки, я это просто знаю :)
Давайте не будем увиливать от темы, я говорю про перекомпиляцию плана, а не про то что статистика не всегда обновляется когда это необходимо, это все таки разные вещи. Тем более не считаете же вы что люди пишущие документацию MS SQL будут нас дезинформировать?

Пример посмотрел, как я и ожидал увидел там тот же план исполнения, операторы плана никак не изменились ни до не после чистки кэша, стоимость плана та же, изменилось только предполагаемое число строк.

База встанет если люди по вашему совету будут использовать чистку процедурного кэша всего сервера в рабочее время, такого делать ни в коем случае нельзя. Если уж так приспичило чистить процедурный кэш, можно это делать хотя бы для одной базы, а не для всего сервера.
HystriX; Gilev.Vyacheslav; +2 Ответить
53. comol 4331 20.01.16 23:20 Сейчас в теме
(51) Andreynikus,
не считаете же вы что люди пишущие документацию MS SQL будут нас дезинформировать
Нет конечно ни в коем случае, всё чистая правда, как и в документации к 1С :))))).
изменилось только предполагаемое число строк
сущие мелочи в принципе... оно никак на план не влияет, и вообще SQL накой то фиг их считает, тратит лишнее время :)
такого делать ни в коем случае нельзя
конечно конечно... ни в коем случае нельзя... и статистику обновлять нельзя... оно всё само сделает, и вообще руками лучше не лезть - убъёт :). Не очищайте процедурный кэш, попробуйте на рабочем сервере пару дней... и ещё в базе в которой постоянно изменения, таблицы чистятся, запросы новые поялвяются.
Это лучшая рекоммендация в принципе... так к вам больше обращений будет ;). Которые очень легко решаются :)



59. Andreynikus 1334 21.01.16 13:27 Сейчас в теме
(53)
Я вижу вы любите путать теплое с мягким, либо просто сами не понимаете о чем говорите. Дальнейший диалог считаю бессмысленным.

P.S. Ни одна из приведенных ссылок не отвечает полностью на вопрос, почему индекс не используется даже когда он существует, везде только обрывки информации, что только подтверждает сказанное выше.
60. comol 4331 21.01.16 16:17 Сейчас в теме
(59) Andreynikus,
не отвечает полностью на вопрос, почему индекс не используется даже когда он существует
Вы всё ещё верите в существовании полного и всеобъемлющего ответа на этот вопрос? А в Деда Мороза или Санта Клауса тоже? :))))

Дальнейший диалог считаю бессмысленным

+100500
41. Andreynikus 1334 20.01.16 14:29 Сейчас в теме
(39)
Про курсы это к Гилёву он там уже выше что-то предлагал в этом роде :)


Есть такая поговорка: слышу звон да не знаю где он :)

Есть курсы по оптимизации 1С, которые кстати я и веду :)
Но тема индексов там лишь одна из многих тем. Отдельных курсов только про индексы, как вы написали, я не встречал, хотя с удовольствием бы на них сходил.
Gilev.Vyacheslav; +1 Ответить
46. comol 4331 20.01.16 15:25 Сейчас в теме
(41) Andreynikus,
Есть курсы по оптимизации 1С, которые кстати я и веду :)
О_о....
Ну уж тогда вам известно что
разбором ситуаций, когда индекс есть но не может быть использован из-за неоптимально написанного запроса

настолько избитая тема, что про неё ещё не рассказал только ленивый...
52. Andreynikus 1334 20.01.16 19:57 Сейчас в теме
(46)
Не соглашусь с вам, информации в контексте 1С на этот счет крайне мало, да не в контексте 1С тоже не особо то много. Большая часть русскоязычных статей сводится к описанию того что является и что не является SARG аргументом, в лучшем случае еще селективность упомянут. Но ведь в этой теме есть еще много чего интересного.
54. comol 4331 20.01.16 23:48 Сейчас в теме
(52) Andreynikus, Ой ну не смешите. Учимся пользоваться поиском. Только по инфостарту:

http://infostart.ru/public/81694/
http://infostart.ru/public/378766/
http://infostart.ru/public/128175/
http://infostart.ru/public/308762/
http://infostart.ru/public/98628/
http://infostart.ru/public/374023/
http://infostart.ru/public/184361/
http://infostart.ru/public/374023/
http://infostart.ru/public/256292/

Отбалды в принципе, но прочитайте, ознакомьтесь - приобщитесь :)
life-wayfarer; +1 Ответить
43. Sergey.Noskov 1145 20.01.16 14:51 Сейчас в теме
(29) Andreynikus,
1.2. ...когда в запросе есть ключевые слова ВЫБРАТЬ ПЕРВЫЕ тогда скан будет не всей таблицы/индекса, а только первых записей. Частичный скан в плане запроса будет выглядеть как оператор Seek но с условием Where, в графическом плане появится раздел Predicate.

т.е. операция сканирования индекса, если в запросе указано ПЕРВЫЕ, в плане запроса будет отображаться как операция Seek (поиск)?

44. Andreynikus 1334 20.01.16 15:10 Сейчас в теме
(43) Sergey.Noskov,
Это 2 разных предложения про две разные вещи.
Если указано ВЫБРАТЬ ПЕРВЫЕ тогда будет операция Scan но это не означает что будет скан всей таблицы/индекса, будет просто чтение нескольких первых записей.

Частичный скан это другая история никак не связанная с ВЫБРАТЬ ПЕРВЫЕ. Частичный скан - это когда часть данных ищется по индексу, а часть сканируется.
89. Painted 32 10.02.17 16:11 Сейчас в теме
(29)
У регистра расчета нет кластерного индекса

В таком случае, логично создать его вручную. Чем это может быть чревато? Ну, кроме нарушения соглашения 1С, конечно.
90. starik-2005 2177 11.02.17 21:02 Сейчас в теме
(89) "Кластерный индекс" - это абстракция, описывающая положение элементов таблицы при вставке. Создание кластерного индекса для таблицы расчетов по всей видимости бессмысленная затея. Как таковой "кластерный индекс" нигде не хранится - хранится только его описание.
91. Painted 32 12.02.17 12:29 Сейчас в теме
(90) "Кластерный индекс" - это физическое сортировка записей регистра. Поэтому работа с ним быстрее, чем с некластерным индексом. Я так это понял.
Если у регистра есть индексы, почему бы не выяснить, какой индекс используется чаще и отсортировать таблицу в соответствии с этим индексом, то есть сделать его "кластерным"?
30. Mortiferus 333 20.01.16 08:31 Сейчас в теме
я вроде человек с высшим образованием (физик), а ничегошеньки не понял и, главное, ничего полезного не почерпнул. А где же конкретные примеры, как надо и как не надо использовать эти самые индексы? Может я такой "тугой", а все остальные такие "вумные", но для меня статья - "полный ноль". Даже те небольшие бесплатные видеоуроки с курсов 1С дали на порядок больше информации. Простите уж...
SkyHunter; +1 Ответить
31. fzt 20.01.16 09:21 Сейчас в теме
(30) Mortiferus, окай. Вот тебе одна из полезняшек:
Данные любой таблицы в MsSQL будут кластеризованы (грубо говоря идти в том-же порядке на жестком диске) по одному из индексов. Зная какой это индекс, можно заставить летать то, что летать не может. можно переработать запросы, существенно сократив время их выполнения. Как-раз для случая, когда вернется 50% таблицы, логично данные таблицы сложить по порядку на диске, в котором ожидается их чтение. Таким образом чтение станет последовательным как для данных, так и для индекса. Физика HDD?

Разумеется при использовании SSD положением данных на диске можно пренебречь. Но не другими благами кластеризации. Вообще жаль что вам не интересно. Проблема в том, что разработчики и доработчики конфигураций активно и бездумно добавляют индексы реквизитам объектов. Статья о них и скорее для них.
55. Irwin 342 21.01.16 12:12 Сейчас в теме
(31) fzt, немного не так. То, что записи в таблице отсортированы, не значит, что они так и хранятся.
Физически записи в кластерном индексе отсортированы только в пределах страницы. Сами страницы отсортированы логически – горизонтальными ссылками между страницами, но располагаться на диске могут как угодно. Поэтому никакого последовательного чтения не будет.
baton_pk; +1 Ответить
56. baton_pk 401 21.01.16 12:17 Сейчас в теме
(55) Irwin,
отсортированы только в пределах страницы

более того, даже сами записи не отсортированы, а лишь хранится отдельно в конце страницы список с необходимым порядком записей.
66. fzt 22.01.16 08:08 Сейчас в теме
(56)(57)(58) все это действительно нужно вываливать на неофита?
57. AlX0id 21.01.16 12:50 Сейчас в теме
(55) Irwin,
Тем не менее, операция дефрагментации индексов будет пытаться их привести к такому порядку. Так что иногда все-таки может быть и последовательное чтение %)

(56) baton_pk,
А это с точки зрения головки HDD должно быть пофиг - читается всегда страница целиком.
baton_pk; +1 Ответить
58. baton_pk 401 21.01.16 13:23 Сейчас в теме
(57) AlX0id,
с точки зрения головки HDD должно быть пофиг

Это да, я просто внёс теоретическое уточнение :)
34. comol 4331 20.01.16 11:17 Сейчас в теме
(30) Mortiferus,
а ничегошеньки не понял
Я старался, и у меня не получилось видимо :(. Почитайте Дейта попробуйте http://www.ozon.ru/context/detail/id/2309312/ потом вернитесь к статье.
ничего полезного не почерпнул
Ну последнюю часть прочитайте.
42. baton_pk 401 20.01.16 14:49 Сейчас в теме
Кажется, мы теряем правильное направление.

Раз сюда начали слетаться гуру, может, кто-нибудь подробнее расскажет нам про статистику?

Про то, что статистика строится по одному столбцу; про то, когда и как создаётся автоматическая статистика, про 200 шагов (почему их 200?); про автоматическое обновление статистики, автоматическое асинхронное обновление статистики - про это вообще некоторые такую бредятину несут иногда.
47. comol 4331 20.01.16 15:27 Сейчас в теме
(42) baton_pk, (23) SQLCMD 2-я статья... но там уже явно "не для всех"...
48. baton_pk 401 20.01.16 15:43 Сейчас в теме
(47) так я и хотел бы увидеть объяснение "для всех", как в этой статье про индексы.
А не ссылку на статью, где лично я для себя нового ничего не открыл при беглом просмотре.
Gilev.Vyacheslav; +1 Ответить
49. comol 4331 20.01.16 16:49 Сейчас в теме
(48) baton_pk,
где лично я для себя нового ничего не открыл при беглом просмотре
О_о... Я раза 4 читал и каждый раз открывал что-то новое... ну наверное ты просто глубоко очень разбираешься в деталях работы оптимизатора MS SQL... Про статистику конечно ещё есть что написать... Но тут наверное "простой 1С-ник" вряд ли на что-то сможет повлиять. Подумаю вообщем...
50. baton_pk 401 20.01.16 18:01 Сейчас в теме
(49)
наверное ты просто глубоко очень разбираешься

ну если только как-то так
62. Gilev.Vyacheslav 1851 21.01.16 21:04 Сейчас в теме
касаемо статьи в целом - почему не надо создавать индекс на каждый столбец и без этой статьи понятно - разумеется, индексы отлично себя показывают, пока вы выполняете запросы на выборку данных оператором SELECT, но как только начинается частый вызов операторов INSERT, UPDATE и DELETE, так пейзаж очень быстро меняется
но даже тут не все однозначно:
приоритеты задач тоже имеют значение - если мне нужно загрузить массив данных быстро в ущерб коллективной работе - я могу удалить хоть все индексы, если мне важнее коллективная параллельная работа, я наоборот пожертвую скоростью одного потока в пользу параллельности...
starik-2005; comol; +2 Ответить
64. comol 4331 21.01.16 22:58 Сейчас в теме
(62) Gilev.Vyacheslav,
и без этой статьи понятно
но даже тут не все однозначно
Поэтому продолжаю верить что лишний раз обратить внимание на эти проблемы необходимо :)
65. fzt 22.01.16 07:47 Сейчас в теме
71. Dach 295 03.02.16 12:04 Сейчас в теме
Прочитал. И комментарии тоже. Остались вопросы.

Давайте на конкретных примерах, прямо, чтобы вообще всем было понятно.

Например, самая распространенная ситуация сейчас: платформа 8.3, MS SQL, режим работы ReadCommitedSnapshot. Конфигурация на УФ, работа в тонком клиенте, управляемые блокировки. Сервер СУБД нормально настроен: статистика, шринк, реиндекс и все остальное. Если контора "побохаче", то для tempdb куплен промышленный ssd.

1. Есть большой регистр накопления, 5-7 измерений к примеру, несколько ресурсов, несколько реквизитов. Все измерения ссылочные. В регистр осуществляется частая параллельная запись по не пересекающимся (в абсолютном большинстве случаев) наборам данных, также часто идет чтение с помощью отчетов и контроля остатков при проведении документов. Чтение возможно с отборами как по всем измерениям, так и по некоторым. В основном читаются итоги регистра, но в отдельных тяжелых отчетах, которые формируются не чаще нескольких раз в месяц - читается и физическая таблица, также с отборами по ну например 4 измерениям. Скорость записи в регистр является более приоритетна, чем чтение. Объем новых данных ежедневно - 5-7 тыс строк.

Как настроим индексы? Мне интересно, как будем рассуждать.

2. То же самое, что п. 1, только абсолютное большинство наборов записываемых данных могут пересекаться по отдельным измерениям. Как рассуждаем в этой ситуации?

3. То же самое, что в п. 1, только теперь чтение приоритетнее записи, запись к примеру делается фоновым режимом, в ночное время. Чтение же должно выполняться быстро. Часто читается физическая таблица регистра.

4. Регистр сведений, непериодический. Несколько измерений (2-3), один ресурс. Частая запись и частое чтение. Объем новых данных ежедневно - 100-200 строк. Чтение приоритетнее записи. На период чтения пересекающихся наборов данных из одного потока, все остальные потоки должны курить в сторонке. На запись тоже самое.

5. То же самое, что п. 4, только никто курить не должен, все читают и не мешают друг другу. На запись также.

Может несколько сумбурно, но просьба прокомментировать ход мыслей
72. starik-2005 2177 07.02.16 13:47 Сейчас в теме
(71) Dach, да, все любят рассуждать про индексы, кто-то даже любит рассуждать про оптимизацию. Но никто особо не касается проблемы проектирования на примерах из математики вычислений, которые делает программа СУБД, чтобы возвратить результат. А это и есть самый важный момент.

Собственно, программа СУБД пытается оптимизировать запрос с целью совершить минимальное количество чтений из файла данных. ОТ этого и надо отталкиваться. Если у поля есть индекс, то поиск первой записи, удовлетворяющей условиям отбора по данной колонке, происходит в среднем за log2(N)/2 чтений индекса, если индекс представляет из B-TREE (двоичное дерево) и его подвиды (+/*). Это как найти нужную страницу в книге, перелистывая ее вперед/назад, или как угадывание возраста по больше/меньше. Также существуют индексы на основе хеш-функций, но с ними отдельный момент:
[quote]Важное свойство хеш-таблиц состоит в том, что, при некоторых разумных допущениях, все три операции (поиск, вставка, удаление элементов) в среднем выполняются за время O(1). Но при этом не гарантируется, что время выполнения отдельной операции мало́. Это связано с тем, что при достижении некоторого значения коэффициента заполнения необходимо осуществлять перестройку индекса хеш-таблицы: увеличить значение размера массива H и заново добавить в пустую хеш-таблицу все пары.[/quote] - wiki.

Помимо этого, также нужно понимать, что индексы помогают очень быстро найти нужный элемент, но при этом влияют на время вставки (если это не достигший "вырождения" хеш-индекс). Всех больше влияет на это кластерный индекс, ибо по нему сортируются элементы в файле базы данных (разумеется там закладывается резерв и элементы часто вставляются с пропусками для будущих инсёртов). Отсюда простая мораль: если у вас есть регистр с контрагентом, соглашением и суммой, то при в среднем одном договоре у одного контрагента особого смысла в индексе по договору нет, если Вы в запросах не будете присоединять эту таблицу именно по договору без контрагента. Но т.к. 1С все-равно построит индекс по всем измерениям, то повлиять на это без удаления индекса средствами не 1С Вы особо не сможете.

Таким образом могу сказать, что все должно идти из архитектуры решения целиком. Грохаете индекс по договору - соединяйтесь по контрагенту и договору всегда вместе. Нужны данные только по договору - делайте индекс на договоры. Отбираете по четырем полям - проиндексируйте одно основное, остальные найдутся рядом. Если скорость отбора приоритетна перед записью и уникальность данных всех полей достаточно высокая - проиндексируйте все. Но если для двух первых полей третье и четвертое - это два-три варианта, то смысла добавлять их в индекс особого нет.
73. Gilev.Vyacheslav 1851 08.02.16 11:59 Сейчас в теме
(72) starik-2005, мы пошли другим путем - оцениваем эффективность созданного индекса http://www.gilev.ru/sqlsize/
74. Dach 295 08.02.16 15:05 Сейчас в теме
(73) Вячеслав, а среди Ваших сервисов есть нагрузочное тестирование - массовая параллельная запись в таблицы и чтение из них же?

До сих пор я сам пишу себе такие тесты. Есть мысль сделать универсальную обработку, но может уже есть что-то подобное?
76. Gilev.Vyacheslav 1851 11.02.16 10:59 Сейчас в теме
(74) Dach, да, 2й шаг теста tpc (G1C) тест на массовую запись
75. _Z1 38 08.02.16 21:23 Сейчас в теме
(72) Почему только вставка меняет индекс.
Индекс меняется (точнее может ) меняться и при изменении записей
и точно меняется при удалении записей.




Если скорость отбора приоритетна перед записью и уникальность данных всех полей достаточно высокая - проиндексируйте все.

Вот это точно неправильный совет для любой таблицы - потому что это не всегда поможет
и потому что увеличивается время на построение плана запроса.
77. starik-2005 2177 11.02.16 21:47 Сейчас в теме
(75) _Z1, он строится не каждый раз, потом хранится в процедурном кеше.
78. _Z1 38 12.02.16 13:38 Сейчас в теме
(77) Как часто будет компилироваться план запроса Вы можете только предполагать
но никак не влиять на это ( исключение из этого можно задать опцию всегда перекомпилировать план )

В любом случая Ваш совет на каждое поле таблицы создавать свой индекс - неправильный.
79. starik-2005 2177 12.02.16 17:51 Сейчас в теме
(78) _Z1, это был не совет, а один из вариантов. Внимательно прочитайте написанное мной.
80. Yashazz 3269 25.02.16 17:41 Сейчас в теме
Перечитал публикацию ещё раз, внимательно. Ничего нового. В значительной степени это компиляция давно известных статей (например, с sql.ru) и упомянутых мной методических материалов. Единственная польза - инициирован довольно профессиональный срач, в комментах накиданы полезные сведения. А в самой статье всё "по верхам" и много неточностей.
81. comol 4331 29.02.16 13:05 Сейчас в теме
(80) Yashazz,
это компиляция давно известных статей (например, с sql.ru)
Ну ладно теперь уже хоть не с книжки Филиппова плагиат у меня :)))) Ещё пару раз перечитаешь и глядишь поймёшь что первоисточники более фундаментальны :).

Ничего нового

На научные изыскания в области баз данных или разработку новых решений СУБД я не претендую :)))

всё "по верхам" и много неточностей

Не думаю что дальше "вглубь" имеет смысл..Если мне на собеседовании хотя бы каждый второй разработчик 1С без запинки расскажет чем отличается кластерный индекс от некластерного то можно будет копать и глубже.
Что касается неточностей - я не думаю что косяк с регистрами рассчета настолько принципиален...
82. Yashazz 3269 29.02.16 13:32 Сейчас в теме
(81) ну вредничаю я. Мне примерно полгода назад долго объясняли старшие товарищи, что писать такие статьи на ИС значит жёстко баянить, я и не стал... А теперь вредничаю)
83. comol 4331 29.02.16 14:30 Сейчас в теме
(82) Yashazz, я тоже иногда так делаю тссс ;)
92. nvv1970 30.10.17 23:54 Сейчас в теме
(82) ну вот старшие товарищи не правы. И вы тоже, потому что послушались их.
Младшим товарищам нужно черпать знания. И чем больше источников будет - тем лучше! Пусть это будут перепосты, баяны. Пусть. Но информация будет доступна. Если гуру постесняется поделиться правильной информацией, то информационная пустота быстро заполнится псевдоэкспертами.
Пусть будет больше источников! А уж отличать правильную информацию от бреда мы научимся.
ПС: не курсами одними нам учиться)))))
84. starik-2005 2177 29.02.16 17:37 Сейчас в теме
(81) что, обычные 1С-ники действительно этого не знают? Чъорд! Но я у Вам на собеседование не пойду. Чувствую, скоро меня собеседовать заставят.
85. qwinter 623 03.03.16 09:30 Сейчас в теме
(84) starik-2005, обычный 1С-ник = бывший консультант = бывший продавец))) Откуда им это знать?
86. HAMMER_59 206 27.09.16 08:43 Сейчас в теме
"Как вы будете его угадывать? Перебором: "Это 1? Это 2? Это 3?". Скорее всего, вы будете задавать вопросы вида: "Оно больше 25?". И только когда вариантов останется около 2-3, вы будете перебирать возможные. "
У такого метода есть название - метод дихотомии.

Прочитал пока бегло, возможно, не заметил. Нет описания как строятся деревья, в частности при относительно быстром алгоритме скорее всего будет получатся несбалансированное дерево. Именно для этого, в частности, и нужна реиндексация.


87. Danil.Potapov 438 02.02.17 23:54 Сейчас в теме
"Все, что Вы всегда хотели знать об индексах, но боялись спросить"
ссылки выше ведут на видео минимального качества, на youtube его выложили в отличном качестве
часть 1
https://www.youtube.com/watch?v=cW-2D2YiBjY
часть 2
https://www.youtube.com/watch?v=L1nweCOFZdk
часть 3
https://www.youtube.com/watch?v=Hcjqp2RHZRc
life-wayfarer; Fragster; +2 Ответить
88. Danil.Potapov 438 02.02.17 23:55 Сейчас в теме
на самом канале много SQL классики, вчера даже Вячеслава Гилева выложили в 720p.
https://www.youtube.com/channel/UCE0_rcbKAtw51y0b6K6tgGg/videos
Fragster; +1 Ответить
93. kuzyara 1030 01.12.17 07:49 Сейчас в теме
Чтобы всё было в одной теме, прикрепил документацию по индексам в 1С.
Прикрепленные файлы:
its_1c_ru_db_content_metod8dev_src_admins_i8101590_htm___151.pdf
94. uncle_Vasya 21.01.20 14:45 Сейчас в теме
Когда вы ставите у какого либо реквизита, ресурса или измерения объекта 1С признак "индексировать" - создаётся дополнительный или обновляется существующий не кластерный индекс для этой таблицы.

Если просто "индексировать" - то индекс обычный.
Вот если "индексировать с доп.упорядочиванием" - тогда будет кластерный.
Оставьте свое сообщение

См. также

3 онлайн-курса по 1С-программированию: обмен данными, расчетные задачи и бухгалтерские задачи с 12 мая по 8 июля 2020 г. Промо

Практика программирования v8 Бесплатно (free)

Пакет из 3-х курсов по 1С-программированию. Основная цель - сформировать у слушателей практические навыки, связанные с реализацией задач обмена для прикладных решений, работающих на платформе “1С:Предприятие”, а также с разработкой прикладных решений, предназначенных для автоматизации расчета заработной платы и задач бухгалтерского учета.

22.04.2020    4709    23    Infostart    2    

Программная работа с настройками СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Нюансы программной работы с настройками системы компоновки данных в отчетах и динамических списках. Обзор всех видов настроек компоновки. Что в каких случаях правильно применять. В качестве примера рассмотрена работа с отборами и группировками.

27.01.2020    19360    0    ids79    26    

[СКД] Программное создание схемы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Сделаем отчет на СКД полностью программно, без использования макета "схема компоновки данных".

15.01.2020    18673    0    John_d    22    

Последовательности событий. Шпаргалка

Практика программирования v8 Россия Бесплатно (free)

Собрал информацию о событиях/подписках/расширениях в одном месте.

30.12.2019    13566    0    kuzyara    33    

Использование программных перечислений, ч.1: строковые константы Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Часто ли у вас возникает необходимость в коде выполнять сравнение на строку?

10.12.2016    35547    0    unichkin    45    

30 задач. Странных и не очень

Практика программирования v8 Бесплатно (free)

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    14687    0    YPermitin    72    

Самые распространенные заблуждения об индексах в мире 1С

Администрирование данных 1С Администрирование СУБД Бесплатно (free)

"Магия" индексов привела к множеству заблуждений об их работе. Попробуем развеять некоторые из них в контексте 1С.

28.11.2019    18448    0    YPermitin    44    

Как передать IP адрес, который вызвал HTTP запрос в 1C (для веб-сервера Apache)

Практика программирования v8 Бесплатно (free)

Столкнулся с задачей получения IP адреса, который вызывает http сервис 1С. Итак, решение:

22.11.2019    6880    0    Sibars    19    

Вспомогательные инструкции в коде 1С Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    28022    0    tormozit    100    

Таблица значений. Нюансы

Практика программирования v8 Бесплатно (free)

Обзор некоторых аспектов использования общеизвестного инструмента 1С.

01.10.2019    28348    0    Yashazz    45    

[Шпаргалка] Программное создание элементов формы

Практика программирования Работа с интерфейсом v8 1cv8.cf Бесплатно (free)

Программное создание практически всех популярных элементов формы.

06.09.2019    39975    0    rpgshnik    62    

Агрегатные функции СКД, о которых мало кто знает

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    42157    0    ids79    54    

Отчет по размерам таблиц в базе данных как одно из средств анализа проблем Промо

Статистика базы данных v8 1cv8.cf Бесплатно (free)

Зачастую, когда пользователи обращаются с жалобами на производительность, бывает полезно посмотреть на отчет по размерам таблиц базы данных. Он может отчетливо показать ряд распространенных проблем, устранение которых даст существенный эффект. Приведенная информация вряд ли покажется чем-то новым для опытных специалистов.

21.07.2015    32865    0    Aleksey.Bochkov    15    

Регистры бухгалтерии. Общая информация

Практика программирования Математика и алгоритмы v8 v8::БУ БУ Бесплатно (free)

Общая информация о внутреннем устройстве регистров бухгалтерии.

05.09.2019    24541    0    YPermitin    24    

Три костыля. Сказ про фокусы в коде

Практика программирования v8 Бесплатно (free)

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    23225    0    YPermitin    80    

Отслеживание выполнения фонового задания

Практика программирования Универсальные функции Разработка v8 1cv8.cf Бесплатно (free)

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    28428    0    ids79    16    

Оформление и рефакторинг сложных логических выражений Промо

Практика программирования v8 Россия Бесплатно (free)

В сложных логических выражениях нередко самому автору спустя какое-то время тяжело разобраться, не говоря уже о других программистах. Предлагаемая методика позволяет повысить наглядность таких выражений путем оформления в виде И-ИЛИ дерева и одновременно выполнять их рефакторинг.

20.09.2012    75484    0    tormozit    129    

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    65796    0    ids79    40    

Фоновое выполнение кода в 1С - это просто

Практика программирования v8 1cv8.cf Бесплатно (free)

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    29465    0    avalakh    22    

Разбираемся с параметрами редактирования СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Связь по типу, Параметры выбора, Связи параметров выбора

31.07.2019    19913    0    json    12    

Запись значения в поле ввода/формы со срабатыванием события ПриИзменении Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Иногда возникает необходимость после записи значения в какое либо поле ввода/формы вызвать для него обработчик события ПриИзменении, а о вызове самого события приходится только мечтать. В этой статье приводится программный способ вызова этого события.

11.07.2007    46399    0    tormozit    38    

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    49259    0    ids79    11    

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ

Инструментарий разработчика Практика программирования v8 v8::СКД Бесплатно (free)

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    31635    0    ids79    27    

Регистры сведений. За кулисами

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    23884    0    YPermitin    13    

Как сделать из &НаКлиентеНаСервереБезКонтекста почти &НаКлиентеНаСервере Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Как сделать метод формы, доступный на клиенте и на сервере одновременно, и сохранить при этом удобство разработки

10.09.2017    42408    0    tormozit    74    

"Меньше копипаста!", или как Вася универсальную процедуру писал

Практика программирования Разработка v8 v8::СКД 1cv8.cf Бесплатно (free)

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    17806    0    SeiOkami    50    

Создание отчетов с помощью СКД - основные понятия и элементы

Практика программирования Математика и алгоритмы v8 v8::СКД Бесплатно (free)

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    46197    0    ids79    25    

Многопоточное ускорение однопользовательских нагрузок в 1С + Microsoft SQL Server 2017

Практика программирования Производительность и оптимизация (HighLoad) v8 v8::Запросы Бесплатно (free)

Взаимодействие с Microsoft SQL Server нередко вызывает трудности у 1С-ников, а потому интересны любые моменты, связанные с его использованием. О своем опыте работы с новым SQL Server 2017 участникам конференции Infostart-2018 рассказал директор ООО «Аналитика софт» Дмитрий Дудин.

11.06.2019    22903    0    dmurk    144    

Выгрузка документа по условию Промо

Практика программирования Разработка v8 Бесплатно (free)

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    15447    0    m-rv    2    

Регистры накопления. Структура хранения в базе данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    38571    0    YPermitin    30    

Выполнение внешней обработки в фоновом задании

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Подробное описание подхода к созданию длительной операции на основе внешней обработки. Реализация протестирована на 1С 8.3.12.1714 (x64).

11.05.2019    26719    0    Eret1k    23    

О расширениях замолвите слово...

Практика программирования Разработка v8 Бесплатно (free)

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    32201    0    ellavs    126    

Как прикрутить ГУИД к регистру сведений Промо

Практика программирования Перенос данных из 1C8 в 1C8 Разработка v8 Бесплатно (free)

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    19218    0    m-rv    17    

Git-репозитории для 1С-кода (опыт использования при небольших проектах)

Практика программирования v8 Бесплатно (free)

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    25345    0    ellavs    88    

Трюки с внешними источниками данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    28989    0    YPermitin    53    

Разработка и сценарное тестирование с Vanessa-ADD. Отчетность Allure. Автоматизация запуска сценариев

Практика программирования Vanessa Automation v8 Россия Бесплатно (free)

Формируем отчетность о результатах выполнения сценариев. Автоматизируем запуск.

26.02.2019    20188    0    Vladimir Litvinenko    27    

Как сделать запрос на изменение данных Промо

Практика программирования v8 v8::Запросы 1cv8.cf Бесплатно (free)

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    28892    0    m-rv    21    

Возможности типовых шаблонов ограничения доступа на уровне записей (RLS)

Практика программирования БСП (Библиотека стандартных подсистем) Роли и права v8 v8::Права Бесплатно (free)

Краткий обзор применения типовых шаблонов ограничения доступа на уровне записей в конфигурациях, созданных на базе БСП: #ПоЗначениям, #ПоНаборамЗначений, #ПоЗначениямРасширенный, #ПоЗначениямИНаборамРасширенный

03.02.2019    34768    0    ids79    9    

EnterpriseData – часть 2. Процесс выгрузки данных

Практика программирования Обмен через XML v8 v8::УФ Россия Бесплатно (free)

Основные этапы выгрузки данных через ED, обработчики событий выгрузки, правила обработки данных, правила конвертации объектов, конвертация свойств первого и второго этапов, процедуры БСП, используемые при выгрузке данных, структура «КомпонентыОбмена».

26.12.2018    24863    0    ids79    31    

Метод формирования движений в типовых регистрах нетиповыми регистраторами Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    26915    0    itriot11    34    

Новый подход к обмену данными EnterpriseData

Практика программирования Обмен через XML v8 v8::УФ Россия Бесплатно (free)

Хочу предложить Вашему вниманию цикл статей, посвященных обмену данными через универсальный формат (EnterpriseData или ED).

14.12.2018    37957    0    ids79    72    

EnterpriseData - пример доработки правил конвертации без использования КД 3.0 в расширении конфигурации

Практика программирования Обмен через XML v8 v8::УФ БП3.0 УТ11 Россия Бесплатно (free)

В статье подробно описан реальный пример доработки обмена данными через EnterpriseData (универсальный формат обмена) между конфигурациями УТ 11.4 и Бухгалтерия 3.0

16.11.2018    34380    0    ids79    40    

Программное заполнение пользовательских параметров и отборов СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Публикация представляет из себя краткие примеры того, как можно заполнять параметры СКД программно так, чтобы все параметры и отборы были доступны в быстрых настройках и в обычных (типовых) настройках параметров и отборов СКД.

13.11.2018    41568    0    Unk92    21    

Использование классов .Net в 1С для новичков Промо

Практика программирования Разработка внешних компонент Универсальные функции v7.7 v8 Бесплатно (free)

Руководство для новичков. Написав статью http://infostart.ru/public/238584/, я понял, что многие не понимают того, что написано. Поэтому в этой статье постараюсь более подробно остановиться на азах и без кода на вражеском языке (C#)

27.01.2016    73520    0    Serginio    108    

Произвольный код в фоновом режиме

Практика программирования v8 1cv8.cf Бесплатно (free)

Задача: реализовать выполнение произвольного кода в фоновом режиме без изменения конфигурации, т.е. во внешней обработке.

03.09.2018    25758    0    nikita0832    42    

Основные понятия и механизмы оптимизации клиент-серверного взаимодействия в 1C

Математика и алгоритмы Практика программирования v8 Россия Бесплатно (free)

У многих начинающих 1С программистов часто возникают вопросы про клиент-серверное взаимодействие в 1С и чтобы разобраться в непростых механизмах платформы, необходимо понять, что же такое контекст, для чего предназначены директивы компиляции, что представляют собой контекстные/внеконтекстные вызовы и как наиболее оптимально описывать прикладные задачи в модулях управляемых форм.

23.08.2018    36536    0    Rain88    46    

Автоматические и управляемые блокировки применительно к типовым конфигурациям 1С Промо

Математика и алгоритмы Практика программирования v8 v8::blocking 1cv8.cf Бесплатно (free)

Основные принципы работы с режимами автоматических и управляемых блокировок в 1С Предприятие 8. Теория и применение в типовых конфигурациях: БП, УТ, ЕРП

10.11.2018    32518    0    ids79    40