Поблочная обработка таблицы. Обзор решений

25.02.20

Разработка - Универсальные функции

8 способов реализации повседневной актуальной задачи, готовый код

Довольно часто возникает ситуация, когда в таблице БД, в коллекции на форме или в таблице значений содержатся данные, логически связанные N:1, и требующие поблочной обработки, т.е. группировки в блоки и некоего действия. Содержимое таблицы надо разбить на смысловые фрагменты-блоки, и обработать каждый блок как отдельное подмножество. Частным случаем являются связки 1:1, подлежащие обработке той же механикой.

Примерами могут быть товары, которые надо инвентаризировать по их видам номенклатуры (колонки "Товар", "Вид") и должно быть столько инвентаризаций, сколько видов товаров; или связки "Товар"+"Склад", словом, задача возникает в текучке разработки постоянно. Есть несколько способов решения, каждый из которых имеет плюсы и минусы, но суть одна - "сгрести" единообразные данные из таблицы в отдельные множества и обработать.

Так, будем говорить о группировочных колонках и о группируемых. Будем оперировать простыми и ссылочными типами, и оставим за кадром статьи специфику поведения 1С в случаях, когда группировать надо по колонкам, содержащим коллекции или всякие экзотические объекты.

Основные отличия в способах зависят от:

  • Происхождения данных. Если это таблица БД, то разумно применить запросную технику или СКД; важно учитывать размер выборки. Если это таблица на интерфейсе или в сеансовом кэше (например, прочитанная из Excel), то можно оперировать таблицей значений напрямую (заносить таблицу в запрос ради удобства реализации может оказаться нерационально).
  • Наполнения и объёма данных. Если это таблица с высокой селективностью группировочных полей (много мелких фрагментиков), разнотипным наполнением, необходимостью дообработки "по месту" (например, ВРег или СокрЛП), то запрос может проиграть простым действиям с таблицами. Аналогично, если таблица мала по объёму.
  • Логики задачи. Просто "перетасовать" данные, записав их в другую коллекцию, или же обращаться к БД, в т.ч. на запись - это влияет на выбор способа в соответствии с количеством и качеством конкретных действий с каждым фрагментом. Важно количество группировочных полей - если оно одно (один критерий), всё просто, а если блок однозначно определяется только кортежем, совокупностью значений нескольких полей, то не все способы годятся.
  • Ресурсов, используемых 1С. Разнесённость серверов СУБД и приложений при плохой связи между ними, или малое место под сеансовые данные - это тоже может сказаться на поведении запросов и СКД.

Обзор не ставит целью утвердить превосходство какого-либо из способов, все они выигрышны либо костыльны в той или иной конкретной ситуации.

 

Будем рассматривать способы решения на примере сотрудников. Есть таблица из колонок "Сотрудник" (ссылка), "Должность" (ссылка), "ДатаРождения" (дата). Задача, например, сформировать списки на премии и штрафы согласно должностям (см. картинку). Для простоты примем, что группировочные колонки однотипны, не могут содержать пустые значения.

В описании каждого способа применён запрос, но указано, обязательно ли это, или можно работать сразу с таблицей. Указаны места, где реализуется конкретная логика. В нашем примере это вывод сообщений в текстовый документ "тЛог". Работа с группировочными (т.н."ключевыми") полями приведена универсально, с группируемыми - на конкретном примере.

Итак:

 
 Обход таблицы, группировка по одной колонке
 
 Обход таблицы, группировка по многим колонкам
 
 Итоги в запросе, группировка по одной колонке
 
 Обход выборки запроса, группировка по одной колонке
 
 Временные таблицы, группировка по многим колонкам
 
 Таблица-оглавление, группировка по многим колонкам
 
 Стандартная СКД, группировка по многим колонкам
 
 Функция СКД, группировка по многим колонкам

 

В принципе, можно изобрести ещё что-нибудь извратное, но основные варианты вроде бы все перечислил. Если что-то забыл - дополнения приветствуются.

обработка таблиц значений

См. также

SALE! 15%

Инструментарий разработчика Роли и права Запросы СКД Программист Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

10000 руб.

02.09.2020    159389    872    399    

861

Универсальные функции Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Благодаря этим пяти строчкам можно больше не заморачиваться с загрузкой из внешних файлов. Пользуюсь везде, всегда и постоянно.

21.05.2024    20117    dimanich70    81    

144

СКД WEB-интеграция Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Долгое время поддерживаю web-портал, в котором появилась необходимость создавать отчеты. Просмотрев различные фреймворки на js, я решил сделать свое решение, которое позволяло бы быстро разрабатывать и добавлять новые отчеты на web-портал.

2 стартмани

11.12.2023    10802    23    John_d    25    

124

WEB-интеграция Универсальные функции Механизмы платформы 1С Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

При работе с интеграциями рано или поздно придется столкнуться с получением JSON файлов. И, конечно же, жизнь заставит проверять файлы перед тем, как записывать данные в БД.

28.08.2023    14728    YA_418728146    7    

166

Пакетная печать Печатные формы Адаптация типовых решений Универсальные функции Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Абонемент ($m)

Расширение для программ 1С:Управление торговлей, 1С:Комплексная автоматизация, 1С:ERP, которое позволяет распечатывать печатные формы для непроведенных документов. Можно настроить, каким пользователям, какие конкретные формы документов разрешено печатать без проведения документа.

2 стартмани

22.08.2023    3578    56    progmaster    8    

4

Запросы Инструментарий разработчика Программист Бесплатно (free)

Список всех популярных обработок.

17.03.2023    60008    kuzyara    89    

190

Механизмы платформы 1С Запросы Программист Платформа 1С v8.3 Запросы Конфигурации 1cv8 Бесплатно (free)

В предлагаемой статье решил привести примеры применения новых возможностей языка запросов 1С, начиная с версии платформы 8.3.20.

21.11.2022    28341    quazare    36    

127
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. пользователь 27.02.20 18:26
Сообщение было скрыто модератором.
...
2. user1372578 03.03.20 15:53 Сейчас в теме
рТекстЗапроса, тЛог, рСКД - зачем добавлять такие нелепые префиксы ("р", "т") в коде? Не нашел чтобы 1с так советовал - https://its.1c.ru/db/v8std
JohnyDeath; awk; +2 Ответить
3. TerveRus 09.03.20 18:54 Сейчас в теме
(2) согласен, читаемость кода резко снижается.
4. Yashazz 4790 17.03.20 11:46 Сейчас в теме
а по делу есть что сказать?
5. jaroslav.h 180 18.04.20 01:58 Сейчас в теме
(4) это тебе и по делу и по телу за такую писанину которая только тебя прёт, а читать это после тебя и вспоминаешь тебя и по затылку хочется надавать, а оно тебе надо?!
6. Yashazz 4790 19.04.20 19:02 Сейчас в теме
(5) Бедненькие, трудненько чужой код разбирать, а уровня хватает лишь чтоб подумать про "надавать про затылку"... Всяк мыслит на своём уровне... Ну не напрягайтесь тогда, идите себе своей дорогой)
Только в темах серьёзных профи не флудите, пожалуйста.
7. пользователь 19.04.20 19:45
Сообщение было скрыто модератором.
...
8. awk 744 23.09.20 16:12 Сейчас в теме
(2) Это некая "Польская нотация". В принципе удобно, когда в блокноте пишешь, понятно какого типа переменная. В современных IDE не нужна от слова напрочь. Но некоторые "старички" ни как не могут забыть: m_pstrDocument.

Нарушение стандартов - преследуется по закону.
9. Yashazz 4790 24.09.20 11:12 Сейчас в теме
(8)
В современных IDE не нужна от слова напрочь
Это чем же современные IDE лучше? Передо мной код, где упомянута переменная, причём по контексту её тип совершенно неясен. И как IDE мне поможет её тип понять, а?) Отладкой ползти? А если мне не надо запускать исполнение?
10. awk 744 24.09.20 13:38 Сейчас в теме
(9) Ну как-то так, как в прикрепленном файле.
Прикрепленные файлы:
11. Yashazz 4790 24.09.20 18:42 Сейчас в теме
(10) Это не конфигуратор 1С
22. awk 744 25.09.20 13:15 Сейчас в теме
(11) Где я писал про конфигуратор 1С? Я писал про: "современные IDE".
12. ambrozii 24.09.20 19:37 Сейчас в теме
(4) По делу... Ну, пройдемся по делу.
Все не читал, пробежался по диагонали.
тЛог.ДобавитьСтроку("Сотрудник: "+Строка(рДетальнаяВыборка.Сотрудник)

Каждый вызов Строка(рДетальнаяВыборка.Сотрудник) это отдельный запрос к БД. (у 1с про это есть стандарт на ИТС)
за такое в коде вообще сразу двойка.

Сотрудники.Должность <> ЗНАЧЕНИЕ(Справочник.Должности.ПустаяСсылка)

также желательно заменять вычисляемые выражения на параметры запроса (у 1с про это также есть стандарт на ИТС)

рДанныеГруппировки=тДанных.НайтиСтроки(рОтбор);
Сделать все группировки запросом и выполнить потом разбиение в один простой обход религия не позволяет, похоже. (у 1с есть похожая методическая рекомендация на ИТС, но на несколько ином примере)
Ибо, если таблица в результате запроса от 100К строк, по две строчки на каждый отбор - это будет 50К вызовов НайтиСтроки - ну прямо кладезь "оптимальности"

В целом код в примерах на уровне сельской самодеятельности.

P.S.
Правила именования переменных также есть в стандартах 1С, и рТекстЗапроса им также не удовлетворяет.

P.P.S.
Ссылка на стандарты https://its.1c.ru/db/v8std
JohnyDeath; +1 Ответить
13. Yashazz 4790 24.09.20 20:54 Сейчас в теме
(12)
Каждый вызов Строка(рДетальнаяВыборка.Сотрудник) это отдельный запрос к БД.
Думаю, очевидно, что это иллюстрация отладочной печати, а не функциональный кусок. Если неочевидно - увы вам)

(12)
желательно заменять вычисляемые выражения на параметры запроса
Опять же, полагаю, это совершенно некритично в рамках обзора. Тем более что лично я сторонник именно вычисляемых выражений, так наглядно и просто.

В целом отзыв на уровне пионэрии, которой хочется на кого-то наехать. По делу ничего не сказано. Сплошь тявкание и беспомощные попытки придраться к оформлению кода.
14. Yashazz 4790 24.09.20 20:57 Сейчас в теме
(12)
рДанныеГруппировки=тДанных.НайтиСтроки(рОтбор);
Сделать все группировки запросом и выполнить потом разбиение в один простой обход религия не позволяет, похоже. (у 1с есть похожая методическая рекомендация на ИТС, но на несколько ином примере)
Ссылку в студию. Если есть какой-то способ, который я не упомянул и который не родственен упомянутым - давайте, обсудим.

Вообще обзор не ставит целью найти самый оптимальный способ. Ура вам, если знаете, что из перечисленного кладезь оптимальности. Особенно с доказательствами в виде конкретных замеров.
15. Yashazz 4790 24.09.20 21:01 Сейчас в теме
Вообще забавно, как исходят пеной любители "стандартов")))

Они ещё не поняли, бедолаги, что а) стандарты никто толком не соблюдает, начиная с самой фирмы "1С", б) стандарты меняются (я вот уж 4-ю вариацию наблюдаю), в) стандарт без приложения мозгов - тупой формализм)))

...а мне столько раз доводилось исправлять и оптимизировать за такими "любителями" отвечающий стандартам, но такой уродский код, что... да плевать я на эти стандарты хотел)
23. awk 744 25.09.20 13:21 Сейчас в теме
(15) Стандарты надо обязательно знать. Зачем? Да что бы их нарушать. Как бы это странно не звучало, но стандарты пишуться не для того, что бы их соблюдали, а для того, что бы их нарушали. Зачем нужен стандарт, который никто не нарушает?

А вот нарушение стандарта бывает двух видов:

1. Осознанное
2. Неосознанное

И если первое - это хорошо, ибо обосновано, то второе - плохо, т.к. это безграмотность и/или небрежность!!!
JohnyDeath; +1 Ответить
16. Yashazz 4790 24.09.20 21:38 Сейчас в теме
Кстати, для "любителей делать правильно", рассказываю. Года четыре назад был случай, обратились ко мне с просьбой оптимизировать один механизм. Производственный, в ERP, сделанный некими умельцами строго по заветам 1С.

Не вдаваясь в подробности, вкратце: там была логико-семантическая проверка данных. Там были 3 проверяемых поля и 6-7 полей, которые были нужны только для вывода красивого диагностического сообщения, если проверка сработала. Причём которые для красивого сообщения, они из разных таблиц были. Саму проверку делать запросом по условиям задачи никак не выходило (ну то есть выходило, но совсем чудовищно), поэтому запросом подготавливалось множество, которое затем проверялось в коде. Автор этого шедевра собрал в запрос вообще всё. И те поля, которые для диагностики в случае срабатывания, тоже. И получилось у него колоссальное множество данных. А срабатываний бывало не более 5%, остальное норма. Ну и вот ради 5% диагностического вывода он лепил тета-соединения, адские "ВЫБОР КОГДА", тащил кучу данных в выборку запроса... Зато строго по стандарту.

Что сделал я? Убрал эту ересь из запроса и оставил только проверяемые данные. Логику проверки впихивать в запрос, повторюсь, не стал по просьбе РП. А в точках срабатывания защиты не дрогнувшей рукой написал Строка(Ссылка) и прочие разыменования средствами встроенного языка. И оно стало в эн раз быстрее работать (точные цифры уж не вспомню), ощутимо быстрее, и меньше жрать Temp.
Увы мне, я нарушил заветы 1С))))
17. ambrozii 25.09.20 09:42 Сейчас в теме
(16) О, да Вы, голубчик, серьезный профи. Целый запрос в самом ERP оптимизировали. Я впечатлен.

Дело ведь не в слепом следовании стандартам, а в том, что, если кто-то говорит: я серьезный профи!
При этом код в примерах выкладывает школярский.
То в комментах он может услышать не только похвалы.

P.S.
Лучше вообще отключать комменты. Тогда точно никто ничего плохого и не скажет.

P.P.S.
Еще можно на биржах каких-нибудь покупать положительные отзывы 1000 штук за N рублей. Гуглите и обрящете.
JohnyDeath; +1 Ответить
18. ambrozii 25.09.20 09:44 Сейчас в теме
ну и по существу
8 способов реализации повседневной актуальной задачи, готовый код

совершенно не вяжется с
это иллюстрация отладочной печати, а не функциональный кусок
19. ambrozii 25.09.20 09:46 Сейчас в теме
(18) Ну т.е.
заходит студент, читает русским по белому - "готовый код".
читает комменты внизу.
автор кричит: "я профи"
студент: "вау, готовый код от профи"

а там оказывается "иллюстрация отладочной печати"
20. ambrozii 25.09.20 09:49 Сейчас в теме
21. Yashazz 4790 25.09.20 10:32 Сейчас в теме
Попытку троллинга вижу. Высказываний по делу не вижу.
Оставьте свое сообщение