Что такое нормализация и зачем она нужна
В своей профессиональной деятельности я занимаюсь качеством данных. Нередко на проектах по автоматизации возникают вопросы по нормализации данных, но они выпадают из поля зрения бизнес-заказчиков и аналитиков.
Не все знают, что такое нормализация нормативно-справочной информации, и не во всех компаниях есть подразделение НСИ.
Основной месседж здесь следующий: нормализация – это классная фича, которая помогает взлетать проектам по автоматизации, принимать управленческие решения и автоматизировать процессы в компании. Также мы рассмотрим вирусный термин «качество данных», а в конце я поделюсь фреймворками, которые можно использовать.
Немного контекста. Термин «нормализация» впервые использовал в 1970 году Эдгар Кодд в своей работе о реляционной модели данных.
Нормализацию нормативно-справочной информации можно определить через пять основных составляющих: актуальность, достоверность, полнота, единообразие и уникальность данных.
У нормализации две глобальные цели. Первая – сокращение издержек производства. Вторая – установление единого языка общения между пользователями информационных систем. Рассмотрим на примерах, что здесь имеется в виду.
Две глобальные цели нормализации НСИ
Есть две записи: саморез и винт самонарезающий в количестве 100 и 500 штук соответственно. Я буду приводить примеры из справочника номенклатуры, потому что, на мой взгляд, это наиболее сложный справочник для нормализации. Технические характеристики для простоты здесь не описаны.
Предположим, что нам нужно закупить 1000 штук. Саморез – это термин, который используется в основном на производстве. Он общепринятый, но понятен не всем. Винт самонарезающий – это термин из нормативно-технической документации, то есть наиболее подходящий. Но по сути это одно и то же.
Человек на производстве выполняет поиск в информационной системе, ищет саморез и находит только 100 штук. В итоге он передает в закупку потребность еще в 900 штуках, но не видит, что на складе есть еще 500 винтов самонарезающих.
Получается, что компания тратит лишние деньги, на то, что уже есть на складе и не используется. Затем истекает срок службы, и компания получает издержки производства.
Поверьте, при объеме справочника номенклатуры в 100 или 200 тысяч записей и наличии более дорогих изделий, не таких дешевых, как крепежные изделия, издержки будут существенными. Например, если речь идет об обсадных трубах или специализированных вычислительных машинах.
Второй пример – МФУ и устройство многофункциональное. Здесь все то же самое: одну и ту же позицию можно записать по-разному. Но в этом примере я хотела бы акцентировать внимание на второй глобальной цели нормализации.
Если мы в компании договариваемся, что используем аббревиатуру «МФУ», и она понятна всем подразделениям, расшифровка не требуется. Мы фиксируем это в методологии, и такой записи в справочнике будет вполне достаточно.
В результате все подразделения разговаривают на одном и том же языке.
Как нормализация влияет на управленческие решения
Из рассмотренных примеров понятно, что нормализация позволяет эффективно использовать бюджет закупок, а также формировать аналитическую отчетность.
Когда отчеты содержат качественные данные, на их основании можно принимать управленческие решения. Но часто отчеты в информационных системах противоречат друг другу. Выгрузки из одной системы могут противоречить выгрузкам из другой и содержать некачественные данные. В таком случае мы вообще не можем опираться на эти отчеты.
Как нормализация влияет на бизнес-процессы
Далее рассмотрим, как нормализация влияет на бизнес-процессы компании.
Первое – это управление данными через создание отдела НСИ и использование механизмов заявок. Чтобы управлять качеством данных после проведения нормализации, нужно сосредоточить все в одной точке, в одном отделе. Пользователи не должны самостоятельно менять что-то в системах. Они создают заявку, а отдел НСИ ее обрабатывает.
Второе – цифровая трансформация через автоматизацию отчетности внутри информационных систем. Если пользователи формируют отчеты в Excel, но в информационных системах уже есть качественные нормализованные данные, мы можем автоматизировать отчетность, то есть перенести эти отчеты в систему.
Третье – трансформация учетной политики компании. Очень часто в процессе нормализации мы понимаем, что требования к качеству данных и к тому, какими они должны быть, противоречат, например, учетной политике компании. Это очень частая история, потому что в процессе нормализации мы сталкиваемся с переносом остатков и другими подобными задачами. Поэтому через задачи нормализации нередко решаются задачи изменения учетной политики компании.
Нормализация как условие успешной автоматизации
Нормализация помогает взлетать проектам по автоматизации. Каким образом это происходит?
Во-первых, она обеспечивает необходимый уровень качества данных на проектах внедрения информационных систем. Никому не нужна просто система без качественного контента.
Если мы выполняем нормализацию, это позволяет нашим системам быстро взлетать. Пользователи заходят в систему, начинают ею пользоваться, их все устраивает, им удобно. Получается классный эффект.
Второй момент, которого мы уже частично коснулись, – это формирование необходимых аналитик в тех же информационных системах, которые мы внедряем.
Качество данных
Качество данных – очень вирусный термин. Я определила его как обеспечение минимального, достаточного и корректного состава и структуры данных под требования ИТ-систем и бизнес-процессов компании.
Это не какая-то константа. Нельзя один раз решить, что качественные данные должны выглядеть определенным образом, и затем десятилетиями продолжать с ними работать без изменений.
Требования к ИТ-системам постоянно меняются. Бизнес-процессы в компании также могут меняться, поэтому меняются и требования к качеству данных.
Рассмотрим пример: «Ручка шариковая» и «Ручка шариковая синяя, 0,5 мм, Big».
Первая запись на первый взгляд кажется неполной. Вторая запись наиболее наполнена: здесь есть цвет, производитель и толщина стержня.
Но первой записи будет достаточно для компании, которая занимается, например, тяжелым машиностроением. Для нее это будут качественные данные, поскольку канцелярские принадлежности не относятся к основной деятельности компании. Ей не важны производитель, цвет и другие характеристики.
Вторая запись скорее будет приемлема для компании, которая занимается рекламой, или для какого-нибудь «Комуса».
Проблемы обеспечения качественных данных
На проектах по нормализации мы сталкиваемся с несколькими группами проблем обеспечения качественных данных.
Первая группа – организационные проблемы. На старте проекта необходимо получить исходные выгрузки. Они хаотично собираются из разных информационных систем, и все это крайне сложно проанализировать и собрать.
Вторая группа – аналитические проблемы. Уже после внедрения аналитики и отчеты из разных источников могут противоречить друг другу.
Третья группа – экономические проблемы. Необходимо создавать новое подразделение, обучать персонал, приобретать лицензии и так далее.
Последняя группа – личностные проблемы. Требования к качеству данных часто вызывают сопротивление, как и все новое. Так устроен наш мозг.
Варианты решения
Первый вариант – реорганизация бизнес-процессов. Мы уже частично этого коснулись. Очень часто нормализация затрагивает бизнес-процессы и даже становится неким драйвером их реорганизации.
Второй вариант – фокус на минимизации конкретных потерь.
Третий – реорганизация подходов к сбору данных и управлению ими.
Четвертый – мотивация тех, у кого требования к качеству данных вызывают сопротивление, и формирование отдельного подразделения управления НСИ.
Основные инструменты нормализации НСИ
Основной инструмент, с которым мы работаем, – это методология. Все начинается с методики, где мы описываем, каким образом будем строить классификацию, какие требования предъявляются к шаблонам и как будет проводиться нормализация.
Если это не инхаус-проект, методика, возможно, будет содержать еще и описание взаимодействия исполнителя и заказчика.
Основные этапы нормализации схематично представлены на следующем изображении.
Первое, с чего мы начинаем, – это выгрузка текущих данных из ИТ-систем.
Второе – интервью с бизнес-пользователями.
Третье – разработка методологической документации. Затем мы также разрабатываем регламент.
Нормализация как таковая выделена отдельным блоком. Сюда входят предварительная классификация, разработка шаблонов, разработка самого классификатора и непосредственно нормализация.
Последний, финальный этап, про который часто забывают, – это шестой и седьмой пункты: разработка сценария миграции и запуск работы с нормализованным контентом.
Классификация справочника номенклатуры
На изображении представлен пример классификации справочника номенклатуры для класса «Инструмент ручной механизированный и оборудование станочное». Это класс верхнего уровня. У него есть код 100. Он содержит классы среднего уровня: инструмент слесарный, ручной, резьбонарезающий, контрольно-измерительный, механизированный и так далее.
Затем идет детализация до конечных классов, для которых впоследствии разрабатываются шаблоны описания.
На изображении представлен шаблон для класса «Ключи гаечные». В нем содержатся блоки с исходным и нормализованным наименованиями.
Далее указан перечень технических характеристик, которыми будут описаны все записи, входящие в этот класс. Также указываются обязательность заполнения, тип значения, символы до и после – префикс и постфикс, полное и краткое значения, если они отличаются, и пример заполнения.
Результат нормализации
На следующем изображении представлен пример результата нормализации позиций справочника номенклатуры.
Здесь есть класс «Приводы арматуры трубопроводной». Мы видим, что две записи с наименованием «Электропривод» были сформированы по-разному: одна из них написана капслоком, также у записей различается модель.
После нормализации получилось, что это одна и та же запись. Скорее всего, они будут объединены в группу дублей. Одна запись станет эталонной, вторая – дублирующей. Остатки будут «схлопнуты», а дублирующая позиция постепенно выведена из обращения.
Аналогичная ситуация возникает с запасными частями и комплектующими к оборудованию систем вентиляции и кондиционирования и принтерами.
В результате нормализации работа информационной системы, как правило, ускоряется на 5%, взаимодействие между различными подразделениями компании – примерно на 40%, а объем справочника номенклатуры уменьшается на 20–30%.
Подведем итоги
-
Качественные данные – это стратегический актив компании.
-
Нормализация НСИ – обязательное условие развития цифрового ландшафта.
-
Некачественные данные ведут к ошибочным бизнес-стратегиям, финансовым и репутационным потерям.
*************
Статья написана по итогам доклада (видео), прочитанного на конференции INFOSTART TEAM EVENT.
