Банк ВТБ внедрил Hadoop и PostgreSQL для работы с большими данными

В организации была запущена система формирования аналитической и управленческой отчетности на открытой платформе Hadoop с применением технологии обработки данных Apache Spark и Apache Zeppelin. В качестве реляционной СУБД была использована PostgreSQL, сообщается на портале CNews.
По словам управляющего директора департамента транзакционного бизнеса банка ВТБ Андрея Новакова, PostgreSQL не является непосредственной частью системы и может быть заменена на другую базу данных.
Сама единая аналитическая система транзакционного бизнеса получила название ГАУСС (GAUSS) – Global Transaction Business Analytic Unified Source & System. Она применяется для построения отчетности, а в дальнейшем планируется использовать ее для оценки различных рисков (кредитных, клиентских, партнерских), для моделирования целевых коммерческих предложений и выявления мошеннических схем и т.д. Система работает на кластерах, состоящих из множества узлов. На случай выхода из строя одного из них, предусмотрено дублирование и поддержка нескольких рабочих копий данных.
«Hadoop был выбран для построения системы, так как его работа основана на принципе параллельной обработки данных. Это позволяет увеличить скорость формирования отчетности и построения прогнозов. Система отличается отказоустойчивостью и возможностью параллельной работы пользователей и программистов одновременно», – пояснили в банке.
Пилотный проект по внедрению ГАУСС начался в ноябре 2016 года, а его ключевой этап завершился в мае 2017 года. С этого момента была проведена аналитическая работа с базами данных банка и сформированы массивы информации за 2014-2016 гг.
По итогам было принято решение расширить функциональность системы к сентябрю 2017 года. Планируется, что в ближайшем будущем в систему начнут поступать данные из альтернативных источников и будут разработаны необходимые аналитические формы для целей моделирования и мониторинга продаж продуктов транзакционного бизнеса.
Стоит отметить, что система ГАУСС в группе ВТБ была реализована по методу гибкой разработки Scrum. Как считают в банке, использование традиционных подходов могло бы растянуть проект на год, то есть, проект занял бы в два раза больше времени.
См. также
Российский разработчик создал неофициальную версию Clubhouse для Android
вчера в 13:27 1666 VKuser24342747 0
Масштабное обновление Trello: пять новых видов досок и интеграция с Google Docs
25.02.2021 2625 user1015646 0
Видеоигра на базе нейросетевого генератора текстов стала бизнес-консультантом
25.02.2021 1608 VKuser24342747 1
В ближайшие годы возрастет потребность в персонале центров обработки данных
24.02.2021 1858 SKravchenko 0
Rustоманы из Долины: Google, Microsoft, Huawei, Mozilla и AWS основали фонд поддержки языка программирования
16.02.2021 1584 user1015646 0
Украинская команда FireWay одержала победу в хакатоне NASA Space Apps Challenge 2020
05.02.2021 1924 SKravchenko 2
Microsoft участвует в разработке цифрового паспорта вакцинации от Covid-19
02.02.2021 1727 capitan 3
Что нового в Chrome 88: проверка надежности паролей и поддержка профилей
01.02.2021 2187 user1015646 0
280 символов для науки: Twitter откроет доступ ученым к архиву твитов
29.01.2021 1468 VKuser24342747 1