Банк ВТБ внедрил Hadoop и PostgreSQL для работы с большими данными

В начале июля завершился пилотный проект по внедрению инструментов больших данных с использованием свободного ПО. 

В организации была запущена система формирования аналитической и управленческой отчетности на открытой платформе Hadoop с применением технологии обработки данных Apache Spark и Apache Zeppelin. В качестве реляционной СУБД была использована PostgreSQL, сообщается на портале CNews. 

По словам управляющего директора департамента транзакционного бизнеса банка ВТБ Андрея Новакова, PostgreSQL не является непосредственной частью системы и может быть заменена на другую базу данных.

Сама единая аналитическая система транзакционного бизнеса получила название ГАУСС (GAUSS) – Global Transaction Business Analytic Unified Source & System. Она применяется для построения отчетности, а в дальнейшем планируется использовать ее для оценки различных рисков (кредитных, клиентских, партнерских), для моделирования целевых коммерческих предложений и выявления мошеннических схем и т.д. Система работает на кластерах, состоящих из множества узлов. На случай выхода из строя одного из них, предусмотрено дублирование и поддержка нескольких рабочих копий данных. 

«Hadoop был выбран для построения системы, так как его работа основана на принципе параллельной обработки данных. Это позволяет увеличить скорость формирования отчетности и построения прогнозов. Система отличается отказоустойчивостью и возможностью параллельной работы пользователей и программистов одновременно», – пояснили в банке. 

Пилотный проект по внедрению ГАУСС начался в ноябре 2016 года, а его ключевой этап завершился в мае 2017 года. С этого момента была проведена аналитическая работа с базами данных банка и сформированы массивы информации за 2014-2016 гг. 
По итогам было принято решение расширить функциональность системы к сентябрю 2017 года. Планируется, что в ближайшем будущем в систему начнут поступать данные из альтернативных источников и будут разработаны необходимые аналитические формы для целей моделирования и мониторинга продаж продуктов транзакционного бизнеса. 

Стоит отметить, что система ГАУСС в группе ВТБ была реализована по методу гибкой разработки Scrum. Как считают в банке, использование традиционных подходов могло бы растянуть проект на год, то есть, проект занял бы в два раза больше времени.