В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.
Первые итоги
Первый этап переписи населения охватил 99% граждан России. Эта информация собрана из различных источников, потому что при проведении ВПН впервые были задействованы цифровые технологии. Кроме стандартных данных от переписчиков и специализированного контингента (военные части, тюрьмы), сведения поступили из Единого портала госуслуг, где также можно было заполнить анкету. Специалисты, посещающие квартиры граждан, использовали вместо бумажных бланков специальные планшеты на базе отечественной ОС «Аврора».
Сейчас Росстат переходит к процессу обработки полученных сведений, из которых необходимо удалить «грязные» и дублирующие данные. Ведомство планирует опубликовать предварительный отчет о результатах переписи в январе 2022 года, а полные итоги огласить к концу 2022 года.
Устранение дублей
Для сбора и обработки информации во время проведения переписи Росстат применяет систему бизнес-аналитики Contur-BI. Ведомство приобрело лицензию на этот программный комплекс у компании «Контур-Компонентс» за 16 млн рублей. ПО состоит из трех модулей. В первом сохранены сведения о процессе подготовки к ВПН, во втором – информация о ходе проведения переписи. Третий модуль предназначен для визуализации обработки данных из собранных материалов от всех источников.
Также BI-система будет очищать полученные сведения от информации, которая может исказить результаты мероприятия. Из-за массового применения альтернативных методов сбора данных в программе могут содержаться дубликаты записей одного и того же человека. Например, гражданин мог сообщить сведения о себе в пункте переписи, а его родственники – подать аналогичную информацию через портал Госуслуг. Фильтрацию дублей затрудняет тот факт, что ВПН проходила анонимно.
Система Росстата может найти и удалить дублирующие записи. Кроме того, она поможет ведомству выявить проблемы, связанные с пропущенными при заполнении полями, исправить некорректные значения (например, возраст 888 лет вместо 88), обнаружить присутствие недопустимых символов, таких как буквы в числовых данных. Для этих задач система использует функционал матанализа (среднее квадратическое отклонение, дисперсия) и многомерные правила для выделения подозрительных сведений и дальнейшего ручного анализа.