Банк ВТБ внедрил Hadoop и PostgreSQL для работы с большими данными

12.07.2017     
В начале июля завершился пилотный проект по внедрению инструментов больших данных с использованием свободного ПО. 

В организации была запущена система формирования аналитической и управленческой отчетности на открытой платформе Hadoop с применением технологии обработки данных Apache Spark и Apache Zeppelin. В качестве реляционной СУБД была использована PostgreSQL, сообщается на портале CNews. 

По словам управляющего директора департамента транзакционного бизнеса банка ВТБ Андрея Новакова, PostgreSQL не является непосредственной частью системы и может быть заменена на другую базу данных.

Сама единая аналитическая система транзакционного бизнеса получила название ГАУСС (GAUSS) – Global Transaction Business Analytic Unified Source & System. Она применяется для построения отчетности, а в дальнейшем планируется использовать ее для оценки различных рисков (кредитных, клиентских, партнерских), для моделирования целевых коммерческих предложений и выявления мошеннических схем и т.д. Система работает на кластерах, состоящих из множества узлов. На случай выхода из строя одного из них, предусмотрено дублирование и поддержка нескольких рабочих копий данных. 

«Hadoop был выбран для построения системы, так как его работа основана на принципе параллельной обработки данных. Это позволяет увеличить скорость формирования отчетности и построения прогнозов. Система отличается отказоустойчивостью и возможностью параллельной работы пользователей и программистов одновременно», – пояснили в банке. 

Пилотный проект по внедрению ГАУСС начался в ноябре 2016 года, а его ключевой этап завершился в мае 2017 года. С этого момента была проведена аналитическая работа с базами данных банка и сформированы массивы информации за 2014-2016 гг. 
По итогам было принято решение расширить функциональность системы к сентябрю 2017 года. Планируется, что в ближайшем будущем в систему начнут поступать данные из альтернативных источников и будут разработаны необходимые аналитические формы для целей моделирования и мониторинга продаж продуктов транзакционного бизнеса. 

Стоит отметить, что система ГАУСС в группе ВТБ была реализована по методу гибкой разработки Scrum. Как считают в банке, использование традиционных подходов могло бы растянуть проект на год, то есть, проект занял бы в два раза больше времени. 


Автор:
Яна Казьмина Редактор ленты новостей


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. panvartan 12.07.17 16:49 Сейчас в теме
ура, студенты сдали курсовик
Angealtor; корум; +2 Ответить
2. teller 13.07.17 07:10 Сейчас в теме
В целом оптимистичная заметка , но
По итогам было принято решение расширить функциональность системы к сентябрю 2017 года.
- наверно первоначальная функциональность не позволяет использовать систему на практике.
Как считают в банке, использование традиционных подходов могло бы растянуть проект на год, то есть, проект занял бы в два раза больше времени.
т.е. традиционными методами с ноября 2016 до октября 2017 а модным методом с ноября до мая а потом еще до сентября , и это назвали
занял бы в два раза больше времени
Оставьте свое сообщение

См. также

Google добавит в Chrome режим приоритетной загрузки сайта по HTTPS

Новость Безопасность Интернет ИТ-новость

В новой версии Google Chrome появится режим HTTPS-First, который заставит браузер всегда пытаться загружать сайты по защищенному протоколу. В будущих релизах веб-обозревателя эта функция будет включена по умолчанию.

21.07.2021    551    VKuser24342747    0       

JetBrains назвала JavaScript и SQL самыми популярными языками в России

Новость Аналитика ИТ-новость Языки программирования

Компания JetBrains провела ежегодный опрос об экосистеме разработки в 2021 году. В нем приняли участие 31 743 разработчика из 183 стран, в том числе из Российской Федерации и СНГ.

21.07.2021    938    VKuser24342747    2       

MongoDB с последней версией Atlas стал бессерверным

Новость СУБД ИТ-новость

13 июля MongoDB представила версию 5.0 платформы баз данных NoSQL. Последние обновления поддерживают многие рабочие нагрузки в бессерверном режиме. Новая версия включает новые возможности для приложений и улучшения конфиденциальности и безопасности.

20.07.2021    1243    SKravchenko    1       

«Яндекс» представил уникальный сервис для автоматического перевода видео

Новость Искусственный интеллект ИТ-новость Новости компаний Яндекс

«Яндекс» разработал прототип сервиса на базе нейросети, который в режиме реального времени переводит иностранные ролики на русский язык и озвучивает их. По словам компании, технология не имеет аналогов в мире.

20.07.2021    530    VKuser24342747    1       

Появился способ игнорировать запрет установки Windows 11 на слабые ПК

Новость Windows ИТ-новость

Новая Windows 11 не может быть установлена на компьютеры, которые не соответствуют системным требованиям, определенным разработчиками. Однако продвинутые пользователи нашли способ обойти это ограничение.

19.07.2021    687    VKuser24342747    0       

На свежих процессорах Intel создали микрокомпьютер под Windows 10

Новость Windows Гаджеты ИТ-новость Микроэлектроника

Энтузиасты и стартаперы полюбили Arduino и Raspberry Pi. Но инженеры Commate Computer (Commell) пошли дальше и представили миниатюрный ПК LE-37O на базе новейших чипов Intel Tiger Lake. И на нем можно запустить Windows 10.

16.07.2021    853    user1015646    3       

Вот это поворот: Microsoft выпустила дистрибутив Linux

Новость Linux ИТ-новость Новости компаний

Пока мир замер в ожидании новой Windows 11, Microsoft решила преподнести пользователям большой сюрприз – и представила собственный дистрибутив Linux, CBL-Mariner 1.0.

15.07.2021    1262    user1015646    2       

Стартовала программа возмещения затрат разработчикам на скидки для малого бизнеса

Новость Законодательство Импортозамещение ИТ-новость Облачные технологии

Утверждена программа, в которой предусмотрено субсидирование разработки облачного программного обеспечения для малого и среднего бизнеса, а также скидки на софт, разработанный в рамках данной программы, до 50%.

15.07.2021    583    ЕленаЧерепнева    0       

Исследователи установили: ИИ-программы для собеседований не понимают речь соискателя

Новость Искусственный интеллект ИТ-новость

Эксперты из Массачусетского технологического института (MIT) изучили приложения, анализирующие резюме кандидатов. Ученые пришли к выводу, что такой софт плохо справляется с задачами и дает неверные результаты.

14.07.2021    466    VKuser24342747    1       

Юбилейный индекс TIOBE на июль. Рейтинг отмечает 20-летие

Новость ИТ-новость Рейтинг Языки программирования

Ежемесячный индекс TIOBE показывает, какие языки программирования наиболее популярны, и как их популярность растет с течением времени. В июле TIOBE отмечает 20-летие, публикует новый рейтинг и график популярности языков программирования за 20 лет.

12.07.2021    993    SKravchenko    0       

Google сделает обязательной двухэтапную аутентификацию для аккаунтов разработчиков

Новость Google ИТ-новость Мобильные приложения

До конца года всем разработчикам мобильных приложений для продуктов Google нужно подключить двухэтапную аутентификацию. Также им придется пройти дополнительную верификацию личности. 

08.07.2021    966    VKuser24342747    1       

Google установил новый обязательный формат для Android-приложений

Новость Google ИТ-новость Мобильные приложения Новости компаний

Компания Google объявила, что стандарт приложений Android App Bundle (AAB) станет обязательным в Play Store. Он заменит монолитный формат APK.

07.07.2021    1539    user1015646    0       

Токен исходного кода интернета продали с аукциона

Новость ИТ-новость

NFT-токены – уникальные двойники цифровых произведений – становятся все популярнее: их стали предлагать на традиционных аукционах с вековой историей. На этот раз ушел с молотка токен исходного кода интернета – на Sotheby’s его продали за 5,43 млн долларов США.

06.07.2021    2111    user1015646    0       

Российский разработчик научил нейросеть генерировать голос Геральта из The Witcher 3

Новость Видеоигры Искусственный интеллект ИТ-новость

Программист под ником nikich340 создал модификацию A Night to Remember для игры The Witcher 3: Wild Hunt, в которую добавлены новые реплики главного героя, озвученные нейросетью. 

06.07.2021    1478    VKuser24342747    0       

Linux получил крупнейшее обновление с момента выпуска пятой версии

Новость Linux ИТ-новость

Представлен первый стабильный релиз ядра Linux 5.13. По словам Линуса Торвальдса, это один из самых значительных релизов 5.x. ОС получила возможность корректно работать на процессорах Apple M1 и Intel Alder Lake.

05.07.2021    1516    VKuser24342747    4       

Amazon запустил конкурс на поиск уязвимостей AWS BugBust

Новость Безопасность ИТ-новость

Компания Amazon объявила о новом челлендже по поиску уязвимостей в AWS. И это не традиционная баунти-программа: здесь куда больше геймификации и амбициозная цель – совместно избавиться от 1 миллиона багов.

05.07.2021    1544    user1015646    0       

ИИ-помощник для программистов от Microsoft сможет дописывать код

Новость Искусственный интеллект ИТ-новость

Microsoft и GitHub представили совместный проект Copilot («второй пилот») на базе технологий организации OpenAI. Ассистент способен анализировать код и предлагать варианты завершения строк в зависимости от контекста. 

05.07.2021    1732    VKuser24342747    2       

В России начнет работу единая статистическая платформа

Новость Аналитика ИТ-новость

Правительство согласовало положение, которое предусматривает создание к 2022 году сервиса для объединения всех государственных ресурсов статистики. Новая разработка также унифицирует принципы работы с данными. 

02.07.2021    1066    VKuser24342747    0       

Обновление GitLab 14: представлены новые DevOps-инструменты в рамках единой платформы

Новость ИТ-новость

Компания GitLab Inc. выпустила свежий релиз – теперь с интегрированной платформой DevOps-специалистов.

01.07.2021    1607    user1015646    0       

Отечественные компании разработали автоматизированную систему для муниципальных услуг

Новость Автоматизация ИТ-новость

«Базальт СПО», МЦСТ, «Байкал Электроникс», ЭОС и «МойОфис» представили многоместное автоматизированное рабочее место (АРМ). Для тестового запуска системы выбраны госучреждения Орла. 

01.07.2021    1072    VKuser24342747    1       

Новый доклад CompTIA: в Европе вырос спрос на технических специалистов

Новость ИТ-новость

Согласно новому отчету CompTIA, одной из ведущих торговых ассоциаций ИТ-индустрии, спрос работодателей на технических работников в 10 европейских странах увеличился за первый квартал 2021 года. Работодатели разместили 900 тысяч объявлений о вакансиях.

01.07.2021    1491    SKravchenko    0       

Раскрыта неожиданная особенность Windows 11

Новость Windows

При установке Windows 11 на некоторые компьютеры могут возникнуть проблемы. Все дело в инструментах безопасности новой версии операционной системы.

30.06.2021    1256    user1015646    0       

Новый фреймворк Google защитит от встраивания вредоносного кода 

Новость Google

Компания Google представила новый фреймворк SLSA. Он защитит ПО от внедрения вредоносного кода в процессе разработки. 

29.06.2021    677    user1015646    0       

Работу чиновников ускорит отечественная система автоматизации

Новость Автоматизация Минкомсвязь

Минцифры планирует к 2024 году установить в госорганах отечественную систему автоматизации рабочих мест. Вместо предполагаемого эксперимента будет полноценное внедрение. 

29.06.2021    778    VKuser24342747    0       

Google профинансирует добавление поддержки языка Rust в ядро Linux

Новость Linux Google ИТ-новость Новости компаний Языки программирования

Google заявила, что финансирует проект по повышению безопасности Linux, где часть ядра будет написана на языке программирования Rust. Усилия по модернизации могут повысить безопасность в сети и на устройствах.

28.06.2021    2881    SKravchenko    0