Подготовка и сдача на сертификат 1С:Эксперт по технологическим вопросам. Мой опыт

12.03.20

База данных - HighLoad оптимизация

Через тернии к звездам...

Привет, коллеги.

Буквально вчера в почте обнаружил письмо от УЦ1 1С о том, что я успешно сдал на заветный сертификат с первого раза. Чукча не писатель, постараюсь воды лить меньше, так что сильно не пинайте. Если кому то поможет мой опыт, я буду рад.

Кому скучно читать многабукаф, в конце приведу список источников.

Итак, преамбула.

Работаю я в не самой мелкой торговой сети, несколько баз УТ 11.0 очень сильно переписанных, самая большая ~10Тб, СУБД MSSQL Server 2017, на кассах файловые розницы, которые обмениваются с УТ. Такой вот зоопарк. Активных пользователей в большой торговле примерно 150 живых людей и порядка 200 роботов которые постоянно что то обрабатывают, создают, рассчитывают. То есть основная нагрузка ложится именно на автоматику.

Режим работы 24/7

Фабула.

С ростом базы, числа доработок и количества разработчиков в базе, весной прошлого, 2019 года, самая большая база вдруг приуныла. 

И вот я, как интересующийся темой оптимизацией начал изучать, читать статьи. Даже книгу Евгения Филиппова купил, которая в последствии погибла смертью храбрых в потопе. Что то читал, немного даже понимал. По запросам наш DBA мне подсказывал, но я чувствовал, что мне не хватает системности. То есть кусками я урвал, а целую картину собрать не могу, что делать, как расследовать. Ну не ЦУП же на продуктовую базу заводить?

Решение, как никогда кстати, подкинул мне Инфостарт. В рекламном блоке я увидел, что ведется набор на курс Виктора Богачева - ТОП1 эксперта по рейтингу ЦКТП 1С, прочел отзывы и пошел покупать, благо старт был через несколько дней.

Учеба проходила в виде вебинара, и я три вечера в неделю с 22:00 до 02:00 учился в поте лица, старался вникнуть в каждое слово, что то законспектировать, а что то тут же попробовать на практике. Было хоть и непросто после работы сидеть еще 4 часа занятий, но тем не менее, ждал я этих занятий сильнее, чем в детстве Спокойной ночи малыши. В целом, материал довольно сложный, голова пухла от количества информации, тема то обширная, не даром, самый сложный экзамен 1С. На вебинаре Виктор активно общается со своими слушателями, чувствуется, что он пришел не просто сухо и нудно прочитать лекцию, а именно донести, разжевать, если кто не понял, в общем, полный интерактив. Да еще и разбавляет все своими кейсами из практики, какие он применял при этом методики, как искал проблемы. Что меня лично очень удивило, так это то, что Виктор дает свои контакты и разрешает задавать ему вопросы. Даже после прохождения курса. Даже через полгода, я проверял=)

И вот, я окрыленный уже закидывал DBA словами Max DOP, Snapshot и прочими статистиками=) 

Информации много, какие то вещи я начал разбирать у себя в базе, настроил APDEX, чтобы все было по канону, даже запросы удалось начать оптимизировать. Иногда даже очень недурно. 

Дальше больше, в УЦ1 есть отличный курс по применению методик, на который уже пришлось переться из Томска и учиться очно. Можно сказать, что это та отрезанная часть тренинга, которая раньше была на экзамене, на котором разбираются проекты ЦКТП, приложения 1С для оптимизации и администрирования.

Практика Виктора Богачева по скриптам, я даже не думал, что это такой мощный инструмент, который впоследствии позволил написать монстра, который делает поиск по файлам журнала регистрации(он у нас пухлый, порядка 150Гб за месяц набегает) и существенно упростить себе жизнь по поиску какой-нибудь редиски, которая данные попортила. Еще, что самое главное, Виктор на своем кейсе дает реальные ТЖ, по которым группа и писала свои скрипты поиска проблем.

Юрий Федоров, Александр Голиков и Антон Евтушенко, сотрудники группы ЦКТП или что то около того, я забыл название их подразделения, рассказывают про СУБД MSSQL Server и PG, расследованию технологических проблем в 1С и нагрузочному тестированию. Если честно, с курса я унес не больше половины. Забегая вперед, перед самим экзаменом я снова прошел этот курс и посмотрел на него совсем другими глазами. Многие интересующие вопросы снял на раз, два, три и даже просто слушать было очень интересно.

Вооружившись знаниями я начал практиковаться уже не на кошках, стал изучать на практике методики, которые вынес из курсов. Благо, 1С подвезла нововведения в лицензии и для продажи КОРП лицензий(даже в рамках своего холдинга) теперь надо иметь двух экспертов, что тоже сыграло мне на руку, ведь теперь сертификат был нужен не только мне, но и компании, а значит можно тратить казенные деньги  и при этом наращивать свой опыт и все даже будут рады этому. 

Для себя я сразу определился, что гнать не стану, а буду как можно больше уделять времени теории и практике, ведь каждая поездка из моей далекой Сибири стоила бы порядка 30 тысяч только за попытку. Жаль, что выездных так мало у нас. А вообще, нормальная практика, когда на эксперта сдают несколько раз, тема слишком обширная, сложная, а требования гораздо выше, чем к тем же спецам по платформе.

На тот момент я уже отсмотрел два потока курса Виктора Богачева(в личном кабинете доступен и предыдущий) и жадно искал, где бы взять еще информации. Ее крайне мало, она крайне разрознена, к тому же, книги по эксперту и эксплуататору  были мной уже прочитаны. 

Хотелось бы рассказать про еще один курс от курсов-по-1С.рф по ускорению и оптимизации производительности. В целом Андрей Бурмистров проделал очень достойную работу, видеоуроки разбиты на главы и темы. Что удобно в любой момент можно вспомнить только то, что нужно. Еще из больших плюсов хотел бы отметить количество домашних заданий. Почти к каждой теме есть своя и это, я хочу сказать, очень помогает разобраться в матчасти.

Не совсем понравилось, конечно, что для расследования проблем на курсе применяются сервисы Гилева и ЦУП, которые у себя на работе я никак не смог бы поставить. ЦУП слишком долго, сервисы зарезали бы безопасники. 

Осталось еще чуть-чуть.

Наступил март, и полетел я, как Ломоносов(современным проблемам современные решения) в Москву еще раз отучиться на применении методик и попытаться сдать на сертификат.

Сейчас экзамен состоит из двух частей. Первая - практика состоит из пяти задач, которые надо решить за час плюс минус на каждую. Если что то не успел, можно экзаменатору показать проблемное место и рассказать методику нахождения и как решить, тогда можно получить свой плюсик. Понятно, что большая часть задачи должна быть при этом решена и рассказана. По задачам в целом ничего нового, есть ряд технологических проблем, которые решают эксперты, они и могут присутствовать в задачах. Сейчас, после январьского инцидента с выложенными решениями(за это можно схватить пожизненный бан) задачи переписались и, как говорили люди, которые сдавали не в первый раз, нормально так усложнились. Я решил только 4 из пяти. Допуск "до босса" получают те, кто сделал 3+ из 5.

На следующий день нас оказалось всего четверо, хотя на практике был практически полностью заполнен класс, выдали тесты и три теоретических вопроса. Не сказать, что сложные, но некоторые очень нетривиальные. А некоторые можно только на практике узнать, ни в документации, ни в сети ответов на них нет. Многие вещи рассказывает Виктор Богачев на своем курсе, что и мне помогло очень -я перед экзаменом пробежался по основным моментам. 

Так как нас было мало, был всего лишь один экзаменатор - Александр Морозов. Я наслышан был о его дотошных расспросах на экзамене, но все обошлось. Теорию надо знать очень глубоко, на разных уровнях блокировки, разных СУБД, индексы, ТЖ и прочие интересности. Может дополнительно задать практический вопрос, дать практический пример. 

Теорию сдали трое.

 

Если подбить источники, по которым я готовился, то получится:

Курс Виктора Богачева. Основной. Домашки делать все обязательно!

Курс применение методик от УЦ1

Курс Андрея Бурмистрова Проф. Домашки делать все обязательно!

Книги:

Настольная книга 1С:Эксперта и Книга по эксплуатации крупных ИС.

Из электронных источников:

ИС - статьи по highload

ИТС по части лицензий, кластера, событий ТЖ и индексов таблиц

kb.1c.ru - все методики, а лучше весь ресурс от и до. И не просто прочитать, а вникнуть.

msdn, postgrespro раздел education.

Еще на ютубе есть вебинары Короткевича, очень помогают наглядно понять, как работает MSSQL Server.

Ну, и практика, практика, практика.

Всем, кто еще не сдал, удачи!

эксперт сертификация

См. также

HighLoad оптимизация Технологический журнал Системный администратор Программист Бесплатно (free)

Обсудим поиск и разбор причин длительных серверных вызовов CALL, SCALL.

24.06.2024    5165    ivanov660    12    

56

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Метод очень медленно работает, когда параметр приемник содержит намного меньше свойств, чем источник.

06.06.2024    9288    Evg-Lylyk    61    

44

HighLoad оптимизация Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Анализ простого плана запроса. Оптимизация нагрузки на ЦП сервера СУБД используя типовые индексы.

13.03.2024    5111    spyke    28    

49

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Оказывается, в типовых конфигурациях 1С есть, что улучшить!

13.03.2024    7592    vasilev2015    20    

42

HighLoad оптимизация Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка для простого и удобного анализа настроек, нагрузки и проблем с SQL сервером с упором на использование оного для 1С. Анализ текущих запросов на sql, ожиданий, конвертация запроса в 1С и рекомендации, где может тормозить.

2 стартмани

15.02.2024    12459    241    ZAOSTG    82    

115

HighLoad оптимизация Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Принимать, хранить и анализировать показания счетчиков (метрики) в базе 1С? Почему бы нет? Но это решение быстро привело к проблемам с производительностью при попытках построить какую-то более-менее сложную аналитику. Переход на PostgresSQL только временно решил проблему, т.к. количество записей уже исчислялось десятками миллионов и что-то сложное вычислить на таких объемах за разумное время становилось все сложнее. Кое-что уже практически невозможно. А что будет с производительностью через пару лет - представить страшно. Надо что-то предпринимать! В этой статье поделюсь своим первым опытом применения СУБД Clickhouse от Яндекс. Как работает, что может, как на нее планирую (если планирую) переходить, сравнение скорости работы, оценка производительности через пару лет, пример работы из 1С. Все это приправлено текстами запросов, кодом, алгоритмами выполненных действий и преподнесено вам для ознакомления в этой статье.

1 стартмани

24.01.2024    5687    glassman    18    

40

HighLoad оптимизация Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Встал вопрос: как быстро удалить строки из ТЗ? Рассмотрел пять вариантов реализации этой задачи. Сравнил их друг с другом на разных объёмах данных с разным процентом удаляемых строк. Также сравнил с выгрузкой с отбором по структуре.

09.01.2024    14099    doom2good    49    

71
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. akcent87 12.03.20 14:16 Сейчас в теме
Большое спасибо за отзыв! Я уже долгое время собираюсь с силами продолжить подготовку, надеюсь в ближайшее время приступить к этому))
8. bugagashenka 203 12.03.20 19:00 Сейчас в теме
(1) мой совет - лучше поставить виртуалку и проделать все руками. И из курсов блокировки разные, и запросы, и с ЦУПом, и с ТЖ и с ПГ. Это очень помогает на экзамене
2. toypaul 63 12.03.20 14:48 Сейчас в теме
я правильно понял что postgre учил только в теории?

считал сколько итого бабала потратил на всякие курсы?
5. bugagashenka 203 12.03.20 16:56 Сейчас в теме
(2) в целом, именно хорошей практики у меня с пг не было. Только синтетика и курсы. На работе МС, с ним все гораздо лучше.

По деньгам большую часть съела дорога. Последняя поездка обошлась порядка 50- самолёт, отель, курс и экзамен.
Вебинар Богачева * 2 и курс применение методик с курсами1срф. Достаточно много, но компании даже при таких затратах выгодно. На корп лицензиях можно сэкономить очень
3. Dmitriy.Gusarov 12.03.20 14:49 Сейчас в теме
"Теорию сдали только двое" - трое вроде сдали. В письме от УЦ1 1С об успешной сдаче три получателя.
EugeneSemyonov; +1 Ответить
4. bugagashenka 203 12.03.20 16:40 Сейчас в теме
(3) поправил, пардон. Я почему то только двоих увидел, оказалось, что нас трое
6. Steelvan 306 12.03.20 18:12 Сейчас в теме
Мне, лет десять назад, повезло больше :)

Трехдневный курс с практикой работы с КИП + несколько вопросов по теории.

Хотя да, готовиться по MSSQL пришлось с профайлером.
Изучать планы запросов, sql язык, преобразование 1С запросов в sql запросы, индексы.
7. Steelvan 306 12.03.20 18:14 Сейчас в теме
А сейчас Вы пишете, что уже полноценная теория и практика со сдачей экзамена. Мда.
9. bugagashenka 203 12.03.20 19:09 Сейчас в теме
(7) на самом деле и экзаменаторы говорят, что экзамен усложняется со временем. С 8.3 тема блокировок отходит немного на второй план, вылазят запросы и проблемы производительности в целом. Сообщество становится более грамотным, поэтому, чтобы не скатиться постоянно и усложняют.
10. AlX0id 13.03.20 08:15 Сейчас в теме
(9)
Не только по производительности, но и по всякой экзотике - некоторые экзаменаторы задают вопросы и по фрешу %)
По крайней мере так было года три назад, когда я сдавал.
11. bugagashenka 203 13.03.20 10:06 Сейчас в теме
(10) сейчас по фрешу вроде грузят на эксплуататоре, хотя, может и ошибаюсь
18. VKislitsin 1013 17.03.20 10:56 Сейчас в теме
(11) На Эксплуататоре вопросами по фрешу не грузят. Там надо в сломанном фрешовом контуре (на Linux) восстановить работоспособность за час. Поломок несколько. Если выполнил эту практическую задачу, допускаешься к общим вопросам.
19. bugagashenka 203 17.03.20 11:58 Сейчас в теме
(18) а не знаете, есть там практика без фреша? Например, контур с веб-сервером?
20. VKislitsin 1013 17.03.20 12:26 Сейчас в теме
(19)
а не знаете, есть там практика без фреша? Например, контур с веб-сервером?

Нет, контур, на котором требуется устранять неполадки, содержит в себе почти все компоненты. Практически такой же, как описан в примере развертывания Фреша на Linux. Разве что может не быть сайта и форума (точно не скажу). Другой вопрос - какие неполадки будут в конкретном случае.
Пример практического задания:
"Восстановите работоспособность единицы масштабирования. Продемонстрируйте возможность входа в разделенном и неразделенном режиме. Создайте резервную копию базы данных средствами СУБД" (СУБД в контуре - Postgres).
После практического задания - два вопроса, уровня примерно как на Эксперте, но с практической направленностью. Т.е. каждый вопрос заканчивается фразой "Какие действия необходимо предпринять для решения задачи?"
12. akcent87 13.03.20 12:20 Сейчас в теме
@buganov, а что это за ограничения: "Благо, 1С подвезла нововведения в лицензии и для продажи КОРП лицензий(даже в рамках своего холдинга) теперь надо иметь двух экспертов"? Получается ваша фирма выступает как франчайзи и вы продаете лицензии своим компаниям? Или всем кто покупает лицензии корп нужны эксперты?
13. bugagashenka 203 13.03.20 13:00 Сейчас в теме
(12) ну, давно не секрет, что крупные компании открывают свои франчи, чтобы обслуживать свои структуры, при этом еще и иметь возможность распространения другим и, возможно, оказывать услуги. Поэтому они сертифицируют сотрудников, получают статусы каких-нибудь центров ERP, которые, собственно, и могут продавать корп лицензии и корп конфигурации.
14. nonofusafree 14.03.20 11:26 Сейчас в теме
(0) автор, а для чего сдавал на сертификат? В плане что даст тебе эксперт? Какая-то определенная цель?
15. bugagashenka 203 14.03.20 17:05 Сейчас в теме
(14) в первую очередь для меня важен не сам сертификат, а те знания, которые я получил при подготовке. На работе база нагруженная и здоровая, проблем в ней огромное множество. А для работодателя - получение статуса центра ERP. Я же в шапке указал
16. Andrefan 16.03.20 11:12 Сейчас в теме
Спасибо, очень интересно. Сам сдал этот экзамен в 2018, а появился интерес к этой теме в 2014, т.е. готовился по сути 4 года (правда очень вялотекуще). Я правильно понял, что Вы практически с нуля с мая 2019 года за 10 месяцев подготовились и сдали? Есть ли статистика по затраченным часам на подготовку, насколько пришлось жертвовать рабочим временем для подготовки?
17. bugagashenka 203 16.03.20 14:10 Сейчас в теме
(16) Спасибо за приятные слова. До мая я в таком же вялотекущем режиме почитывал статьи, где то с DBA общался, где то на ютубе ролики смотрел. А с мая занимался на работе, благо проблем производительности очень много оказалось, практически каждый день занимался дома, часа по 3-4. Засыпал стабильно под что то познавательное, Короткевича, Богачева или еще чего-нибудь, если находил. в общем, на семью времени практически не оставалось, благо, жена с пониманием отнеслась к подготовке, т.к. понимает, что это наши инвестиции
21. akR00b 24 30.03.21 10:44 Сейчас в теме
22. kuza_87 28 14.06.22 16:00 Сейчас в теме
Спасибо за статью. Подскажи, на экзамене можно пользоваться какой-либо справочной информацией? Хотя бы сайтом ИТС?
23. bugagashenka 203 16.06.22 11:11 Сейчас в теме
(22) Насколько я помню нельзя ничем пользоваться. Да и если есть такая необходимость, значит с вероятностью 146% не хватит времени выполнить задачи.
24. Salavat 14 13.04.23 16:48 Сейчас в теме
Александр Морозов - это жесть, реальная, да!
"Вопросы задавайте, конечно" - дежурная фраза от него.

Первым вопросом моим было - написано сценарий "Основной", а я такого не вижу (показываю.
Он - подошёл, посмотрел на меня - развернулся и ушёл.
(потом уже дошло, что я не там/то смотрел)

Тест-Система на Линуксе - это вторая жесть!!
В ЦУПе - ни один параметр/счётчик ОС не подключается.
<Ctrl + Break> - не работает в 1с - сижу и жду.... "Поиск по ссылкам" когда дойдёт.
Не дождался - ушёл на обед.
Прихожу - "Ошибка..." в конфигураторе.
+ Ошибка в 1с-Предприятии - не помню точно, что именно.

Посмотрел по "vmstat" ("free" - не работала!) - около 500 КБ свободно ОЗУ

Поднимаю руку - 0 реакции с его стороны (сидит спит, якобы!)
Подхожу, говорю - следующий вопрос у меня - "памяти не хватает, показывает Линукс, чтобы выполнить тест".

Он мне - это "кандидат на эксперта говорит, что ему памяти не хватает!".

В итоге - я ушёл нисчем.
(кроме ...)
---
Да - Линукс я ненавижу - из-за его (и к нему прилагаемых) наплевательства, открытого.
Практически везде!
(Да - в Винде, тоже не всё гладко, но - Винда не стоит на месте, а движется, а Линукс - кое как "осилили", чтобы "окна" прикрепить.
Которые тоже - через "непереднее место сделаны".
----

Т.ч. однозначно подтверждаю - На эксперта надо идти сдавать экспертом.
Чтобы если что - показать Морозову, что он тоже - не прав!
(хотябы тем, что - не спал бы на экзамене. Таких сразу видно - "я спрашиваю, а ты отвечай")
25. Salavat 14 13.04.23 16:59 Сейчас в теме
И да, реально - никаких 5 вопросов/задач в билете.
Есть 2 страницы текста, в котором в котором 3...4 пп.:
1. Краткое содержание теста.
(Исключить все ошибки - включая и блокировки, да!)
2. Логины/пароли на ...
3. Что делать точно нельзя (менять обработки - перечень)
4. Чтото ещё.

На экзамене основная проблема - это тест-комп.
(с этим же - я столкнулся и на "Специалист по платформе" - просто висел!!)
Для виду - фуфло какето поставили - а то, что он еле дышит, это проблема тонущего.
Выплывешь против течений, значит сдашь (наверное).
А если вопросы будешь задавать - минусы только себе добавишь.

Морозов, кстати с самого начала сказал -
"Всё работает, т.к. всё проверено нами".

В итоге - я сказал свою т.з..
Таких "экзаменаторов" я ненавидел - и в школе, и после школы.
Удовольствие получают, от того, что показывают себя "умными"
26. Salavat 14 13.04.23 17:04 Сейчас в теме
И да - автор публикации - точно поднаторевший в технологических вопросах.
(это моё мнение тоже - по моей сегодняшней попытке)
27. Salavat 14 19.04.23 19:09 Сейчас в теме
Ещё -
- Богачёв, не принимает экзамены.- в Москве (УЦ-1) однозначно.
(Так мне сказали сегодня в УЦ-1)

Принимают трое (назвали мне их) - фамилий не стал запоминать.

На мой вопрос - почему преподающий "Подготовка...." не принимает, получил ответ -
- потому что эксперт д.б. экспертом и без курсов.(передаю дословно!)
30. bugagashenka 203 20.04.23 08:43 Сейчас в теме
(27) Виктор и правда не принимает в Мск. Он иногда на выездных участвует экзах, но по сути ответ правильный. Эксперт должен ориентироваться в технологических проблемах и знать как решить ту или иную проблему, в том числе обладать теорией.
28. Salavat 14 19.04.23 19:10 Сейчас в теме
"Курс применение методик от УЦ1" - не преподают.
Сейчас (с нового года, узнавал) точно так.
29. bugagashenka 203 20.04.23 08:40 Сейчас в теме
31. Dmitriii 19.05.23 10:52 Сейчас в теме
Всем привет! Народ, те кто был на экзамене. Проблему с нехваткой памяти и проблему не запуска нагрузочного тестирования по причине нехватки памяти как именно вы решили? Поделитесь, пожалуйста, своим личным опытом.
32. Salavat 14 19.05.23 14:56 Сейчас в теме
(31)
(31)Лично я (вчера - попытка №2!) решил это так -
1. (В режиме отладки запускал - да не сразу, но - это помогло, в этом точно!)
Выяснил - где это происходит и почему (подтвержу слова Антона Евтушенко (был он там среди экзаменаторов) - всё просто. Но - нужно, блин ведь знать, что - такое/так сделали!)).
Исправить именно это, действительно - меня точно не напрягло нисколько.
2. (В задании сказано (в конце - табличка - красным шрифтом, первые 2 строки) - перезапустить службу сервера.
Именно при такой ошибке - сделал и это, да.
3. Всё - эту ошибку исправил.
----
До следующих ошибок - даже не дошёл!!
Буду следующую попытку "запуска "Starship" делать"((
(в реальности - для меня проблема - это Линукс на экзамене - (матное ..... моё!!).
Я Линукс - нигде не собираюсь... и никогда (кроме экзамена!) даже не встречал!, а здесь - только он!
Вроде как - так с прошлого года - значит, я сам виноват, что проснулся поздно, но - ....!!)
Оставьте свое сообщение