Специальный алгоритм очистит данные переписи населения

Специальный алгоритм очистит данные переписи населения
26.11.2021
23391

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

Первые итоги

Первый этап переписи населения охватил 99% граждан России. Эта информация собрана из различных источников, потому что при проведении ВПН впервые были задействованы цифровые технологии. Кроме стандартных данных от переписчиков и специализированного контингента (военные части, тюрьмы), сведения поступили из Единого портала госуслуг, где также можно было заполнить анкету. Специалисты, посещающие квартиры граждан, использовали вместо бумажных бланков специальные планшеты на базе отечественной ОС «Аврора».

Сейчас Росстат переходит к процессу обработки полученных сведений, из которых необходимо удалить «грязные» и дублирующие данные. Ведомство планирует опубликовать предварительный отчет о результатах переписи в январе 2022 года, а полные итоги огласить к концу 2022 года.

Устранение дублей

Для сбора и обработки информации во время проведения переписи Росстат применяет систему бизнес-аналитики Contur-BI. Ведомство приобрело лицензию на этот программный комплекс у компании «Контур-Компонентс» за 16 млн рублей. ПО состоит из трех модулей. В первом сохранены сведения о процессе подготовки к ВПН, во втором – информация о ходе проведения переписи. Третий модуль предназначен для визуализации обработки данных из собранных материалов от всех источников.

Также BI-система будет очищать полученные сведения от информации, которая может исказить результаты мероприятия. Из-за массового применения альтернативных методов сбора данных в программе могут содержаться дубликаты записей одного и того же человека. Например, гражданин мог сообщить сведения о себе в пункте переписи, а его родственники – подать аналогичную информацию через портал Госуслуг. Фильтрацию дублей затрудняет тот факт, что ВПН проходила анонимно.

Система Росстата может найти и удалить дублирующие записи. Кроме того, она поможет ведомству выявить проблемы, связанные с пропущенными при заполнении полями, исправить некорректные значения (например, возраст 888 лет вместо 88), обнаружить присутствие недопустимых символов, таких как буквы в числовых данных. Для этих задач система использует функционал матанализа (среднее квадратическое отклонение, дисперсия) и многомерные правила для выделения подозрительных сведений и дальнейшего ручного анализа.

Если вам удобнее смотреть новости в телеграме, то вот наша группа – ИНФОСТАРТ.

Автор:
Аналитик

См. также

После ухода Slack из России в 2024 году бизнес стал переходить на отечественные корпоративные мессенджеры. Один из самых универсальных — 1С-Коннект. Расскажем подробнее о нём и других решениях российских разработчиков.

24.04.2025    367    AnastasiaKl    4       

3

С января по март 2025 года Ассоциация КП ПОО провела исследование отечественных систем виртуализации, коммуникации и контейнеризации по 266 показателям. Результаты показали, что медианная технологическая зрелость у этих ИТ-решений превышает 75%.

04.04.2025    1141    orenk0t    1       

0

Минцифры подготовило проект постановления по запуску платформы, на которой ИТ-специалисты могут пройти добровольное тестирование и подтвердить свою квалификацию.

11.12.2024    1142    user1915669    3       

2

Федеральная налоговая служба запустила интерактивный сервис, позволяющий формировать в машиночитаемом виде договоры, контракты, соглашения и спецификации. Чтобы создать документ и скачать получившийся файл, регистрация не требуется.

03.12.2024    919    user2114475    0       

2

Российский Альянс по искусственному интеллекту обновил требования к специалистам по ИИ: вышла новая модель с основными профессиями и навыками. Теперь базовых профессий в сфере ИИ осталось только четыре.

01.11.2024    1057    user1915669    0       

3

Система платежей «Волна» по планам сделает возможной бесконтактную оплату для владельцев IPhone в России, а BRICS Pay позволит совершать безналичные расчеты иностранцам по картам Visa и Mastercard.

23.10.2024    1394    AnastasiaKl    0       

4

Конструктор сайтов Wix уходит из России с 12 сентября 2024 года – перестанут работать все российский аккаунты. Сайты, привязанные к аккаунтам, также перестанут работать.

11.09.2024    1315    user1915669    2       

2

ИИ научат разработке цифровых интегральных микросхем – несколько российских научных институтов заявили об участии в проекте. Проект рассчитан на 3 года – с 2024 по 2026.

23.07.2024    977    user1915669    0       

2
Инфостарт бот

Оставьте свое сообщение