Как превратить человека в литеру – техника быстрой и качественной оценки уровня профессиональной квалификации

Меня зовут Никита Зайцев, и я – эксперт по технологическому стеку 1С:Предприятие.

Моя обычная тема – это разработка и управление разработкой. Но сегодня я в очередной раз захожу на территорию сопредельной дисциплины – «Управление командой».

Управлять людьми, конечно, немного сложнее, чем программным кодом, но ничуть не менее интересно.

В первый раз эту тему я затронул на конференции Infostart Event 2021 Moscow Premiere в докладе "Три косых взгляда в сторону соискателя – практическая методика найма/оценки программистов", а сейчас попробуем углубиться в тему одного из "Косых взглядов". Я расскажу об инженерной методике, которую применяю для относительно быстрой и точной оценки уровня профессиональной квалификации специалистов 1С

Единственный критерий инженерной истины — успешная практика. Поэтому все, о чем я буду рассказывать, это не просто какая-то теоретическая выкладка. Это все базируется на практике, в частности, на опыте моей деятельности в рамках замечательной компании «Эдит Про», с которой мы уже довольно давно и успешно взаимодействуем.

Итак, поехали.

Что такое «Профессиональное профилирование», и зачем это нужно

У инженеров почти на любую задачу найдется своя инженерная методика. Есть даже инженерная методика для изучения и освоения других инженерных методик – я ее называю «метод пяти револьверных патронов».

Эта методика заключается в том, чтобы последовательно один за другим найти ответы на пять очень простых вопросов.

Мы берем предмет рассмотрения – в нашем случае, методику профессионального профилирования – и последовательно ищем ответы на очень простые вопросы:

• Что это?

• Зачем это?

• Как это работает?

• Как мы с этим работаем?

• И какую пользу мы из этого извлекаем – каков результат.

Сейчас мы попробуем это в рамках доклада исполнить.

Итак, первый вопрос – что такое профессиональное профилирование?

Профессиональное профилирование – многозначный термин:

• Это и методика оценки уровня профессиональной квалификации.

• И управленческий процесс, который позволяет применять эту методику на практике.

• И, если речь идет о команде, это еще и внутренний проект. Да, небольшой, да, нетехнический, но все-таки проект. Это важно.

Здесь и далее под командой я буду понимать любую структурную единицу, в которой задействованы специалисты по 1С:Предприятие. Начиная от маленькой крохотной рабочей группы и заканчивая департаментом или даже компанией в целом. Методика прекрасно масштабируется до любого размера команды.

Вторым номером у нас идет целеполагание – зачем это?

Группа процессов управления командой предполагает, что управленческие решения принимаются не где-то в безвоздушном пространстве, где не существует ничего, кроме интуиции, а в области точного знания.

Чтобы принимать правильные решения, нам надо хорошо и четко понимать:

• какие трудовые ресурсы есть в нашем распоряжении;

• какие у них компетенции;

• какая у них квалификация;

• какие есть резервы для роста и развития и так далее.

Методика профессионального профилирования ориентирована как раз на получение ответов на все эти вопросы.

А как это работает? Для оценки уровня профессиональной квалификации, нам требуется, как минимум, измерительная шкала.

Слово «Измерение» здесь, наверное, подходит не очень хорошо. Уровень профессиональной квалификации больше похож, наверное, на энтропию из физики. Его нельзя точно измерить, а можно только вычислить, правда, с очень даже неплохой точностью.

Важно, чтобы эта измерительная шкала была все-таки качественной.

Потому что нет ничего проще, чем разработать умную сложную методику, которая на выходе будет давать ответ числом. Но совершенно непонятно, как с этим числом дальше работать. Если мы о программисте знаем, что уровень его квалификации составляет 43 процента – что это? Непонятно, что с этим дальше делать. Поэтому нам требуется качественная шкала.

И мы, конечно же, не будем ничего изобретать нового. Мы возьмем то, что в отрасли и так уже используется. Это все нами любимые термины:

• Junior.

• Middle.

• Senior.

• Еще мы эту шкалу немного дополним – введем четвертую позицию, нулевой уровень. Назовем его, например, Cadet. Почему бы не назвать – хороший термин.

• И для промежуточных уровней мы еще введем возможность дополнять их модификаторами – с плюсом или с минусом. Дальше мы увидим, что это такое и зачем.

В результате получаем нашу литеру – ту самую литеру, в которую мы пытаемся превратить нашего трудящегося.

Измерительная шкала используется очень простая – это та самая четырехпозиционная качественная шкала, которой лично мне очень не хватает как типа данных в нашей любимой платформе. Это вообще-то не шутка, действительно не хватает, приходится что-то свое изобретать.

Все крайне просто:

• нулевой уровень не может пока ничего;

• базовый уровень может работать;

• профессиональный уровень может работать самостоятельно;

• экспертный уровень может все и заодно умеет уже учить и организовывать работу других.

Вот такие четыре уровня в нашем распоряжении. И совершенно неважно, как это называется в штатном расписании – мы имеем дело не с ним.

Что же такое модификатор? Зачем он нам нужен?

• У крайних предельных уровней – у нулевого и экспертного высшего – никакого пограничного состояния быть не может. В этом случае человек либо пришел к нам «с мороза». Либо он уже все умеет настолько, что сам нас всему научит. Там модификатора нет.

• А для уровней J и M у нас модификатор может быть. Например, мы можем поставить знак минуса – это означает, что уровень еще не достигнут, но до его достижения уже близко.

• Знак плюс у уровней J и M означает, что уровень-то уже достигнут, но движение не остановилось, специалист растет дальше, его уровень уже выше.

• И довольно редкий случай, когда мы ставим модификатор x (крест). Это означает, что специалист достиг какого-то определенного уровня, и этот уровень является его потолком по каким-то причинам. Такие ситуации бывают, и выявляются обычно только через индивидуальную работу со специалистом – мы об этом дальше поговорим.

Как мы с этим будем работать? Каков технический процесс?

Техпроцесс у нас довольно простой. Он, как и любой уважающий себя техпроцесс, состоит из трех фаз.

• Первая фаза – это сбор первичной информации. Мы структурируем окружающий нас информационный хаос.

• Вторая фаза – это верификация и агрегирование накопленного. Мы формируем уже «космос» – в древнегреческом, конечно же, значение этого слова, не в современном.

• Ну и, наконец, третья фаза – мы прорабатываем аналитически то, что агрегировали, и переходим уже к выводам и получению полезного результата. Космос выстроен и через него можно уже проложить курс.

Самое важное – чтобы все участники процесса, которые вовлечены в процесс профилирования в команде, отнеслись к этому процессу с максимальной ответственностью, мотивированностью и понимали, насколько важна эта задача.

Если наши специалисты отнесутся к профилированию как какой-то очередной веселой игровой задумке начальства, ничего не получится – результаты можно будет сжечь в печке и все.

Поэтому ключ к успеху всего этого дела – правильная мотивация команды. Но это уже, наверное, тема какой-то другой отдельной беседы.

Пошаговая методика составления профессионального профиля для 1С-специалистов

Главным рабочим инструментом для сбора первичной информации при профессиональном профилировании является обычная анкета.

В этой анкете мы берем нашу профессию, которую хотим профилировать, расчерчиваем для нее декомпозицию по областям знания и превращаем профессию в дерево декомпозиции областей знания.

Какую профессию? На самом деле любую. Ограничений здесь никаких нет. Любую профессию можно так декомпозировать.

• В анкете мы вежливо, но настойчиво попросим наших специалистов выставить себе соответствующие оценки. Мы не будем ничего вычислять по анкете. Баллы будут там в готовом виде.

• Но поскольку это субъективная оценка специалиста, конечно же, она нуждается в верификации. Поэтому мы дополняем анкету небольшим профессиональным тестом, содержащим несколько учебных заданий-вопросов.

• Ну и чтобы три раза не вставать, туда же мы встраиваем опциональный блок, в котором специалист может в произвольной форме описать свои профессиональные склонности, предпочтения, планы личного развития и прочее.

Анкету из трех таких блоков мы вручаем нашим специалистам.

Вот так анкета выглядит изнутри.

Здесь очень важный, ключевой, момент – ни одну из профессий у нас не получится расписать по шаблону. У нас для этого нет соответствующих профессиональных стандартов. А самое главное, что у нас нет в этом необходимости – мы не собираемся описать профессию как таковую в принципе. Мы имеем дело с конкретным предприятием, с конкретной производственной спецификой. И описываем профессию именно так, как это требуется для реального производства.

Мы не пишем трактат о том, что такое программирование, не пытаемся его разложить на все мыслимые составляющие. Мы берем наши производственные задачи.

Вот так выглядит анкета:

• Слева вариант анкеты для специалиста по бизнес-анализу.

• Справа – для специалиста по разработке.

По структуре они примерно похожи. По содержанию, конечно же, нисколько.

Для выставления оценок в анкете мы тоже берем нашу любимую четырехпозиционную качественную шкалу. Только здесь она уже отмаркирована в привычных нам со школьной скамьи понятных оценочных суждениях:

• плохо;

• удовлетворительно;

• хорошо;

• отлично.

И вот так мы просим эту анкету заполнить.

Важно: по каждой области знания мы просим выставить две оценки:

• УТП – владение теорией;

• УПО – уровень практического опыта.

Это связанные величины, но они разные. Их оценка для нас очень важна – она поможет нам выявлять аномалии, мы сейчас это увидим.

Итак, наш специалист берет анкету и расставляет там баллы.

Дальше мы имеем дело с необходимостью агрегировать полученную информацию.

Например, у нас 70-80-90 оценок в анкете – их нужно агрегировать, чтобы получить две интегральные оценки:

• сначала по областям специализации;

• а потом по специалисту в целом.

Каким образом агрегировать? Здесь методика оставляет простор для инженерного творчества:

• можно применять простой алгоритм, взять по среднему;

• можно применить более сложные правила – что-то из области нечеткой логики;

Методика позволяет применить любой нужный алгоритм – никакого диктата нет.

В итоге мы получаем две оценки. Поскольку две четырёхбалльные шкалы у нас прекрасно стыкуются, у нас прекрасно стыкуется и уровень квалификации с этими оценками.

Дальше мы ищем аномалии – ситуации, когда, например:

• Уровень владения теорией отличный, а практика ноль – но это ещё можно понять.

• Или, наоборот, когда сотрудник в анкете себя оценил как ноль в теории, и как эксперт в практике – это аномалия, и её, конечно же, требуется разъяснить.

Как мы эти ситуации ищем? Их можно искать методом пристального взгляда в таблицу, а можно визуализировать.

На слайде показан простейший способ визуализации – я его называю диаграммой коррелирующих величин:

• по одной оси – теория;

• по другой – практика;

• и отметка ставится на пересечении.

На диаграмме размечено пять областей, из которых четыре угловые – это аномалии той или иной формы. С ними, конечно же, нужно разбираться.

Техника верификации субъективных оценок на практическом примере

В дополнение, анкета комплектуется ещё и тестом.

• Тест должен быть, с одной стороны, очень простым – в идеале это 6-7-8 заданий, не более.

• И работа над тестом должна занимать у специалиста максимум два часа – лучше, конечно, меньше, ни в коем случае не больше двух часов.

• При этом вопросы теста должны быть не какие-то общие, они должны очень чётко коррелировать с самой анкетой и с нашей профессиональной специализацией.

То есть над тестом придётся очень серьёзно поработать.

Вопросы мы проектируем на ментальной карте.

Крайне желательно каждый вопрос укомплектовать несколькими критериями, по которым неспециалист, в крайнем случае неэксперт, сможет оценить качество ответа хотя бы в первом приближении.

Например, если заданием было спроектировать алгоритм, а в ответе используется рекурсия, это означает, что уровень удовлетворительно, и ни в коем случае не выше. Пусть там даже написан маленький трактат по теории алгоритмов. Если рекурсия – это уровень джуниор, увы, извините.

Тест выглядит, как на слайде – это просто задание и ответ в произвольной форме.

Ключевой момент: тест – это не экзамен ни в коем случае. Мы не пытаемся оценить точность знаний или точность ответа. Все равно спишут, в интернете подсмотрят и так далее. Нам важно оценить:

• как специалист работает с тестом;

• как он читает, понимает задания;

• как он работает с неопределенностью;

• умеет ли он выявить противоречия;

• умеет ли он заметить того маленького слона, которого мы спрятали там прям посередине комнаты;

• как он думает;

• как он задает вопросы, и задает ли их вообще.

Поэтому вопрос теста может быть провокативным, неточным, двусмысленным. Это совершенно нормально и правильно.

Когда потом специалисты очень обиженно говорят: «Ну такого коварства мы не ожидали от вас, товарищ эксперт». Я развожу руками: «Извините, что же вы хотели? Это не экзамен. Все экзамены остались у вас в студенчестве, а у нас уже производство. Это другой уровень».

После того как мы получили оценку по тесту, у нас получается три уже оценки – две по анкете, одна по тесту.

Если они совпадают (или почти совпадают), с большой долей вероятности мы правильную итоговую оценку уже получили. Но такое бывает не часто. Чаще бывают расхождения и довольно серьезные.

Здесь нам не остается ничего другого, кроме проведения небольшого технического интервью.

• Это не собеседование или рассказ о жизни и карьере, не полуторачасовой допрос.

• Он занимает примерно 25-30 минут технического интенсива, когда эксперт общается один на один с испытуемым. Там еще может участвовать HR-менеджер, просто слушать.

• Это – диалог в контексте заданий теста, анкеты и нашего производства. Диалог более чем предметный, никаких абстракций.

На это интервью придется запланировать какое-то рабочее время эксперта. Но без этого окончательный результат получится неточным, а нам нужен именно максимально точный результат. Поэтому стадия индивидуального интервью у нас всегда запланирована.

Ее можно минимизировать, но для этого придется очень тщательно поработать. Прежде всего, над тестовыми заданиями. Эта работа серьезная, но очень интересная.

Как интерпретировать составленный профиль

Мы уже потихоньку можем подходить к каким-то итогам нашего процесса.

Вот мы провели две фазы – у нас есть уже агрегированная верифицированная информация. Что мы с ней делаем дальше?

Очевидно, что дальше у нас идет анализ – мы сводим все результаты в одну общую таблицу.

Важно: если мы проводим профилирование для одного, двух, трех специалистов – мы берем анкеты и работаем индивидуально с каждой из них. Но если мы профилируем всю команду или большую часть команды, здесь данные можно обобщать.

Мы берем большую нашу итоговую таблицу и передаем ее в руки технической дисциплины по имени BI, то есть Business Intelligence. Начинаем анализировать, крутить, вертеть, проецировать, проявлять все свои лучшие аналитические способности.

У меня сейчас не будет возможности все это проиллюстрировать, но три простейшие картинки я все-таки покажу.

Это банальная гистограмма, которая строится просто по уровням профессиональной квалификации – вот наша команда, она состоит из таких специалистов, ее профиль выглядит, например, вот так.

Первая картинка – почти нормальное распределение, и мы, скорее всего, никогда ее не увидим, потому что в нашей отрасли так не бывает, так не работает. Для нас слово «нормальный» к этой картинке отношения не имеет.

Если мы увидели нечто похожее, это причина тщательно перепроверить все наши расчеты. Мы, скорее всего, где-то ошиблись.

Это – идеальная картинка, нам очень хотелось, чтобы у нас было так. Но мы никогда такого не увидим.

А вот следующая картинка – уже вполне реальная. Понятно, что она обезличена, потому что я не могу из реального проекта понадергать диаграмм – все-таки NDA и коммерческая тайна. Тем не менее это вполне реальная картина.

На первый взгляд на этой диаграмме изображен однозначный «профиль курильщика». Но здесь тоже ключевой момент – нельзя оценивать профессиональный профиль просто в вакууме. Мы всегда его сопоставляем с производственным профилем нашего предприятия – с тем, какие задачи мы в основном решаем.

Например, если предприятие занимается тем, что по точным методам выполняет огромное количество микрозаказов как мини-биржа, где сидит, условно, 200 человек, и все штампуют печатные формы, то, наверное, с этой картинкой все хорошо. Так и должно быть, и ничего другого нам не требуется. Правда, нужно будет проверить, а что у нас с текучкой кадров, потому что здесь она нарисована просто огромными красными буквами. Их не видно, но они там есть.

Но для проектной деятельности такая картинка – это действительно очень тяжелый диагноз.

Поэтому мы посмотрим на третью картинку – это уже большая серьезная проектная команда.

Здесь у нас все гораздо лучше, но виден серьезный дисбаланс в сторону более низкой квалификации. Это можно, наверное, считать слабостью команды. А можно термин «Слабость» переформулировать и сказать, что это – потенциал нашего профессионального роста, который может быть достигнут за счет правильного задействования внутренних резервов.

Правда, эти резервы тоже надо уметь правильно задействовать. И это – тема совсем отдельной беседы.

Но резерв этот есть – его нужно увидеть и задействовать. Тогда наша команда получит усиление просто за счет себя самой. На этой диаграмме мы этот резерв можем увидеть.

Повторюсь, это просто одна самая простая гистограмма. Если с профилем поработать вдумчиво, мы можем увидеть на этой диаграмме гораздо более интересные вещи.

Профит: какие решения можно принимать на основании полученного профиля команды

Мы подходим к последнему, пятому, вопросу – какой же технический, прикладной, управленческий профит мы получаем от задействования методики?

Все очень просто – нашим главным продуктом в управлении командой являются управленческие же решения. В частности:

• Кого и в каком количестве нужно искать на внешнем рынке труда?

• Как организовать внутреннее производственное обучение?

• Кого и чему учить?

• Кого сделать ответственным за обучение по тем или иным направлениям?

• Нужно ли как-то поработать над усилением взаимодействия с внешними партнерами?

• Нужно ли запустить программу стажировки? И так далее, и так далее.

Все эти решения принимает уже, конечно же, руководство.

А методика профилирования играет здесь роль инструментальной разведки, предоставляя командованию достоверные разведывательные данные. Она показывает текущую ситуацию, которую руководство может изучить и принять решения. Это и есть главный профит, который мы получаем.

И, что важно, мы получаем его относительно быстро и относительно дешево. Поверьте, если дело поставить грамотно, трудозатраты на все это очень невелики.

Еще раз отмечу ключевые моменты в сухом остатке.

• В нашей отрасли невозможно стоять на месте – неважно, идет речь о конкретном специалисте или о команде. Стоять на месте означает деградировать. Чтобы развиваться, требуется постоянное усиление команды.

• Но качественное усиление невозможно без задействования внутренних резервов. А чтобы их вскрыть, нам необходима точная информация о том, что есть в нашем распоряжении, с каким уровнем квалификации мы имеем дело. Тогда мы сможем принимать правильные управленческие решения в нашей команде.

• А методика профессионального профилирования призвана нам в этом помочь. Она нам, в общем-то, и помогает.

*************

Статья написана по итогам доклада (видео), прочитанного на конференции Infostart Event.