Kooperativa New DWH Case Study


Kooperativa

Nový dátový sklad v Kooperative a ČPP za 17 mesiacov pri zachovaní biznis kontinuity

V rekordnom čase 17 mesiacov vybudovali Kooperativa a Česká podnikateľská poisťovňa s Adastrou nový dátový sklad. Pri zachovaní biznis kontinuity doň preniesli dáta zo súčasného riešenia (vyše 5 000 tabuliek). Aktualizácia dát sa skrátila na šestinu.

Po 10 rokoch prevádzky DWH (dátového skladu) sa poisťovne Kooperativa a ČPP rozhodli pre náhradu existujúceho DWH z dôvodu rastúcich požiadaviek biznis útvarov na kvalitu a rýchlosť poskytovaných informácií. Riešenia DWH/BI (business intelligence) vybudovali na platforme Microsoft a zmigrovali do dvoch inštancií nového DWH vyše 5 000 tabuliek. Nové riešenie skrátilo dobu aktualizácie dát v DWH na šestinu. Podieľalo sa na ňom vyše 60 interných pracovníkov oboch poisťovní a 20 konzultantov Adastry a jeho budovanie trvalo 1 rok a 5 mesiacov. Do prevádzky bolo uvedené o rok skôr, ako sa pôvodne plánovalo.

Aký problém sme riešili

Dátový sklad postavený pred 10 rokmi, ktorý využívali obe poisťovne, prestal postupne vyhovovať nárokom biznis útvarov poisťovní. Nahrávanie dát do DWH zo zdrojových systémov trvalo skoro dva dni, prebiehalo obvykle cez víkend s nutnosťou strážiť načítanie a v prípade chyby zasiahnuť. Aktualizácia dát v dátovom sklade preto prebiehala s týždennou frekvenciou, väčšina útvarov tak nemala úplne aktuálne informácie. Mnohí pracovníci riešili svoje reportingové potreby neštandardnými postupmi, okrem iného vytváraním reportov priamo z rôznych kópií zdrojových systémov, nad ktorými si budovali vlastné „datasklady“. Významným motívom boli aj rastúce náklady na prevádzku a údržbu existujúcej technológie.

Vedenie poisťovní preto začalo uvažovať o vybudovaní úplne nového robustného DWH, ktorý by im poskytol aj možnosť využívať moderné BI nástroje. Súčasne požadovalo, aby použité technológie a architektúra riešenia umožnili dynamický rozvoj DWH a BI v oboch spoločnostiach s ohľadom na rastúce požiadavky útvarov, a to po dobu najmenej 10 rokov. Zohľadňovala pritom už aj plánovanú fúziu Kooperativy s Poisťovňou Českej sporiteľne (PČS) k 1. 1. 2019.

 

10 rokov

Poisťovne Kooperativa a ČPP používali svoj dátový sklad na technológii SAS 10 rokov.

Aké riešenie sme zvolili

Poisťovne pristúpili k projektu zodpovedne a pred jeho začatím overili v spolupráci s Adastrou zásadné časti a postupy budúceho riešenia formou PoC (proof-of-concept).

V prvom kroku došlo k podstatnému skráteniu ETL transformácií náhradou full loadov inkrementálnym načítaním dát. Súčasne bolo potrebné zabezpečiť rýchle načítanie dát z Informixu (databázy hlavných zdrojových systémov) do SQL Servera. Adastra navrhla inovatívny prístup priameho nahrávania dát z Informix do SQL Servera, ktorý umožňoval neštandardné paralelné načítanie stoviek tabuliek s využitím škálovania. Spolu so zákazníkom sme uskutočnili množstvo testov, ktoré potvrdili prednosti navrhnutého riešenia.

Dôležitým aspektom pri implementácii nového DWH/BI riešenie bolo zabezpečenie biznis kontinuity. Zvolili sme stratégiu nahradenia normalizovanej L1 vrstvy 1 : 1 vzhľadom k pôvodnému DWH s tým, že dochádzalo k optimalizáciám častí transformáciou. Vznikol klon L1 vrstvy dátového skladu (na technológii Microsoft SQL Server 2016/17), pod ktorým sme paralelne budovali stage vrstvu L0 a vyvíjali vrstvu L2 a datamarty. Zároveň prebiehala unifikácia postupov pre Kooperativu a ČPP, vrátane prípravy na fúziu s PČS.

Samotná technológia by však efektívne a kvalitne vývoj v rámci relatívne veľkého vývojového tímu neumožnila. Pre akceleráciu DWH/ETL vývoja na platforme SQL Servera začal zákazník po dôkladnom vyhodnotení niekoľkých variantov používať Adastra ETL framework – sadu predpripravených šablón, DWH/ETL štandardov a ich premietnutie do plánovania, spúšťania a monitoringu behu ETL. Výrazne sa tak urýchlil a skvalitnil vývoj aj vlastné nasadenie do produkcie.

5,400

Počas projektu došlo k vytvoreniu alebo migrácii cca 1600 tabuliek v L0 vrstve, cca 1600 tabuliek v L1 vrstve, viac ako 200 tabuliek/view v L2 vrstve a viac ako 2000 používateľských tabuliek v datamarte. Celkom 5400 tabuliek.

Ako projekt dopadol

Projekt začal 10. apríla 2018, úvodné etapy prebiehali formou „fixed time & fixed price“. V septembri 2018 stanovil riadiaci výbor ambiciózny termín dokončenia projektu na 13. 9. 2019, o rok skôr, než sa pôvodne plánovalo. Z dôvodu akcelerácie vývojových prác sa poisťovne s Adastrou dohodli na prechode na agilný prístup riadenia projektu a zostavenie spoločného vývojového tímu. Kooperativa využila skúsenosti Adastry z podobných projektov, pomohla nastaviť projektové riadenie, metodiku vývoja a nasadzovanie do produkcie.

6 krát

Nahrávanie dát zo zdrojových systémov sa z pôvodných 36 hodín skrátilo na cca 6 hodín (tzn. 6-krát).

Vďaka ukážkovej spolupráci spoločného tímu sa ambiciózny termín podarilo splniť a pôvodný DWH bol v piatok 13. septembra 2019 13:13 vypnutý. Tým sa podarilo usporiť významné prostriedky na ročnom predplatnom licencií pôvodného DWH. Spoločnosti Kooperativa a ČPP získali zjednotené riešenie DWH a BI na modernej platforme Microsoft SQL s jednotným dátovým modelom. Každá poisťovňa pritom využíva vlastnú inštanciu dátového skladu. Dáta sa aktualizujú denne, aktualizácie čiastkových dát môžu podľa potrieb prebiehať aj niekoľkokrát denne.

17

Budovanie nového DWH v poisťovniach Kooperativa a ČPP trvalo 17 mesiacov. Projekt skončil o rok skôr, než sa pôvodne plánovalo.

Nad rámec primárnych cieľov projektu (náhrada DWH 1 : 1) sa podarilo naplniť rad aktivít vytvárajúcich pre poisťovne cennú pridanú hodnotu. Ide napr. o rozšírenie dátového skladu o bilančné zostavy a účtovníctvo, zjednotenie väčšiny predtým samostatných reportov Kooperativy a ČPP alebo vznik jednotnej sémantickej (interpretačnej) vrstvy pre každú z firiem. To umožnilo náhradu viac ako 200 exportov rôznym útvarom, ktoré si nad dátami vytvárali vlastné výstupy. Namiesto spracovania dát sa tak môžu útvary venovať operatívnej a analytickej činnosti.

Ihneď po dokončení náhrady dátového skladu sme spoločne zahájili plánovanie ďalšieho rozvoja nového DWH i celej oblasti BI oboch spoločností. Na žiadosť zákazníka sme napr. dodatočne doplnili riešenie o ďalšie štandardné komponent Adastry – Web Upload Utility – umožňujúcu komfortné a auditovateľné načítanie dátových súborov rôznych formátov (XLS, CSV ap.) do DWH. Čaká nás napr. dokončenie „dátovej“ fúzie Kooperativy s PČS, vyriešenie požiadaviek IFRS 17 atď.

80

V spoločnom tíme pôsobilo 80 expertov – 20 špecialistov z Adastry a viac ako 60 pracovníkov Kooperativy a ČPP.

Keď sme pred viac ako rokom prišli s požiadavkou na skrátenie termínu náhrady DWH o jeden rok, mysleli sme to čiastočne nadnesene. Ale tím pochopil termín ako výzvu a splnil ho. Bude to znieť ako fráza, ale dielo sa podarilo najmä preto, že zúčastnení nehrali vlastné hry, ale doslova vložili svoju energiu a schopnosti do spoločného výsledku. Vďaka tomu sme sa v kľúčovej BI/DWH oblasti posunuli o významný krok a môžeme efektívne podporovať biznis oboch poisťovní.

Filip Kráľ, člen predstavenstva, Kooperativa

Zdieľajte ďalej:

Zaujíma vás podobné riešenie? Ozvite sa nám.

Ďakujeme

V čo najbližšej dobe sa vám ozveme.