čtvrtek 27. února 2014

Aféra Big Data - odhalení (finance )

Tak jsem zase zpět...

Úvod

Dneska si vezmeme na paškál finanční sektor. Předem podotýkám, že pokud jste citlivé povahy a zaměstnáni v IT firmy z finance segmentu, tak snad raději ani nečtěte...Dále pak uvádím, že díky zkušenostem z poměrně mnoha projektů datových skladů v těchto společnostech vycházím z praktické zkušenosti, a jsem i hodně zaujatý...takže rychle do toho, půl je hotovo...

Co je finance segment ?

Banky, splátkové společnosti a další instituce, které mají shodnou charakteristiku chování vůči zákazníkům, pojetí v chápání datového skladu (CDW/EDW/ADW), i přístupem a rychlostí k jeho budování...optika těchto skladů je zaměřena směrem klient - a kolem něj smlouvy, účty, hiearchie a balíčky produktů,  říkám tomu party-based DWH (party je fyzická i právnická osoba, s oblibou se unifikují, můžete chápat zjednodušeně jako entitu klient)
Další společnou charakteristikou je ...jak to říct...ultrakonzervatismus, rigidita, "zoufalá pomalost", a neskývané zoufalství mnoha business uživatelů....čekání, čekání, mnoho hrůzy nahání...:)
Pokud si myslíte, že je to problém jen velkých bank a nové atraktivní banky jsou na tom lépe, dalo by se vyprávět....
Subjektivně však musím uznat, že u stávající banky (kam jsem odešel po cca 12 letech u KB) jsem nadmíru spokojen, protože mi od nich nikdo nevolá, vše zařídím elektronicky, platím kosntantní poplatky a nechává mi dost volného "vzduchu". A asi ještě nemají vybudované akviziční call centrum....protože nikdo nevolá :). Protože ale znám její historii,  musím uznat velký pokrok v kvalitě IT systémů a development cyklu za poslední rok...a dost skryté reklamy...

Činnosti v segmentu

Tady Vám sice google také pomůže, ale jistě máte své zkušenosti - trendem v těchto segmentech je akvizice klientů, akvizice klientů a posléze akvizice bývalých klientů....
1. Akvize klientů - člověk by od solidní konzervativní banky čekal, že jej bude znát, bude chápat jeho potřeby (analýza plateb v bance, uzavřené smlouvy na pojištění), ale asi je někde chyba...Jak si jinak vysvětlit ty úžasné telefonáty, za které by se nemusel stydět telemarketing WS kráječů....heslo dne je uzavírej s námi další smlouvy, refinancuj půjčky a hypotéky...kupuj si další balíčky, pojistky, atd, protože my musíme plnit akviziční plány....jen škoda, že spousta těch úžasných nástrojů na kampaně nerozumí požadavku zákona, že když explicitně při telefonickém rozhovoru neochotu přijímat další takové rozhovory, tak Vám zavolají přístě stejně znovu...asi v call centru chybí tlačítko vyřadit z akvizic...spousta stávajích řešení DWH v těchto institucích je zaměřena na KPI, což rovná se akvizice...zvláštní je, že když jsem v několika případech rozporoval hodnotu akvizic formou suma počtu, že pro banku či pojišťovnu by měl být hlavním ukazatelem spokojenost klienta a jeho výtěžnost (něco jako ARPU v telcu), tak na mě většinou všichni nesouhlasně koukali. A hovorů na téma, jak jsem s danou společností spokojen jako klient bych napočítal za poslední dekádu na jedné ruce.

2. Reporting - operativní/analytický/regulatorní - velmi silná doména činnosti těchto společností, z mého kritického pohledu výrazně souvisí s přezaměstnaností v daním segmentu. Oddělení, které nemá "svoje" reporty je žhavým kandidátem na reorg, proto není nad to vymýšlet reporty, zadat jejich realizaci a tu projektově řídit (cca 12 měsíců intenzivní práce...dodavatelů či interního IT a mnoha členů oddělení) ...a pak další dva roky hledat, komu ten report vnutit... já varoval, že jsem zaujatý :o). Když se někdo najde, je potřeba zajistit distribuci reportů do mailu (spamming mailboxu), security v reportu (rozřezání dat v reportu tak, aby pokud možno nikdo neviděl nic v celkovém kontextu a aby si to každý pak musel stejně vyjíždět z provozního systému). To, že každý report ukazuje trošku jinak stejná data, ale jiná celková čísla ponechme stranou, nebudeme malicherní...protože to voda na mlýn reps. námět projektů typu revize reportingu, sjednocení reportingu, konsolidovaný reporting atd...Nad BI řešeními v těchto institucích vznikají stovky reportů (opět bych zmínil, že jsem přesvědčený a naučený, že pro běžnou firmu stačí 15 reportů, každý s pár záložkami). I proto má typicky oddělení BI v těchto bankých 60+ pracovníků...Velmi mocným generátorem práce je i povinný regulatorní reporting typu Solvency/Solvency 2, Basel x, kde se také mění postupně pravidla a rozšiřuje se záběr a způsob hodnocení rizik, hotovosti, investic atd...kde jde také o trvalou práci desítek lidí v BI týmu i na straně businessu.

3. Kontinuální "Reorg" - aneb trvalá kontinuální reorganizace, kdy jedna se fáze reorganizace prolínají mezi sebou a výsledkem jsou další reorganizace - od cost cuttingu až po snahu vytvořit více manažerských pozic, to je každodenní chleba pracovníků v těchto společnostech...samozřejmě při záměru reorgu se mění i reporty, oprávnění k reportům atd, takže BI oddělení má o zábavu postaráno. S ohledem na rychlost implementace změn v BI řešeních v tomto segmentu občas nastává vtipná situace, kdy po půlročním vývoji BI team zjistí, že oddělení, které požadovalo novou sadu reportů či atributů  již zaniklo a vzniklo jiné, které se na informace chce dívat z jiného pohledu...

4. Fraud detection - zcela logicky je toto při prvním pohledu jedna z mála oblastí, kde se celkem daří dynamice a práci s daty...protože tady jde o prachy...a ne malé....při druhém pohledu zjistíte, že pod stoly kolegů  fraudu běží druhý datový sklad, protože oni nemohou čekat, až oddělení BI dodá nové atributy za půl roku v dalším release (půlrok v tom lepčím případě). Ať již se jedná o operace s bankovními kartami, či pojistné podvody...Pro objektivnost je třeba uvést, že co jde, tak rádi načtou z DWH, k tomu doplní excely a accessy a jedeeem...V těchto odděleních lze potkat opravdové nadšence a profíky, protože BI sami dělají, propojují data, analyzují...radost s nimi spolupracovat

5. Risk/Scoring - klient čerpající aktiva společnosti (půjčky, hypotéky, úvěry) musí být "oskórován", nejlépe objektivně (silná rigidita vůči jakémukoliv objektivního zhodnocení). Výsledkem pak je, že i firma, která roste, má kvalitní čísla, nedostane díky zamítavému postoji risku úvěr, protože přece patří do rizikového segmentu. V lepších případech Vás podpoří board, ale i ten je silně zdrženlivý, protože by pak risc mohl říct...my to říkali...risk oddělení mají časo své datové sklady (ale ne pod stolem, ale někde natajno, protože tyto jejich datové sklady obsahují velká tajemství...podle vyjádření risku...co kdyby tyto data náhodou dostal do rukou někdo nepovolaný...data jsou načítána z firemního DWH, a obohacována o unikátní know-how správců tohoto risk data skladu). I v těchto odděleních najdete technologické fandy, ale kupodivu spolupráce s nimi je subjektivně hodně o sebeovládání, protože kdo není z risku, ten jako by nebyl...

6. Marketing a Campaign systémy - aby s emohlo akvizovat jako na běžícím pásu, je samozřejmě třeba generovat kampaně, cílové skupiny, multichanel komunikaci, komunikaci brandu a spousta dalšího žargonu...Faktem je, že se jedná o systémy, které asi nejvíce po regulatorním reportingu požadují data po datovém skladu. A faktem také je, že je nedostávají, a když, tak za velmi dlouho....a výsledek ? Třetí datový sklad, tentokrát opět pod stolem či u někoho v kanceláři za květináči (podvědomá snaha chránit hodnotné informace tím, že počítač nebude vystaven na očích), někteří si postupně z budgetu zaplatí i dost výkonné stroje, což poznáte podle silného hukotu ventilátorů zpoza vzdálených stolů, to Vám klasické nabušené PCčko neudělá...V tomto případě se ale musím těchto ddělení zastat...jsou mnohdy vedeni upřímnou snahou co nejlepšího zacílení kampaní, mají snahu opravdu poznat zákazníky (aby jim mohl ilépe prodat co dostali za úkol). Tyto oddělení jsou ozvláště neoblíbené u BI oddělení, protože když něco potřebují, potřebují to rychle a odpověd přijdte za 3/4 roku, dáme to do dalšího releasu, snad se to tam vleze dost často vyvolává berserk mód předkladatelů požadavku. Výsledkem jsou pak právě ty hučící stroje v jejich kancelářích. Zároveň jsou to vděční tvorové, jakmile jim jednou vyjdete vstříc, nespokojí se s prstem...a vznikají profesní přátelství...  ¨

7. Samozřejmě core business - core systémy bank jsou podobně rigidní jako banky, což je ale v hodně případech pochopitelné, příkladem mohou být pokusy nahradit 2 core systémy jiným systémem, výsledkem jsou 4 systémy - původní zůstávají běžet, protože migrace existujících smluv a produktového portfolia se ukáže jako nepřekonatelná překážka, pro nový systém se udělá redesign produktů a dalších 10 let se pomalu přesjednává či migruje...a ten čtvrtý vzadu je část businessu, která řeší specifické úlohy, jako třeba pdopora produktů, které nový systém přes věškerou snahu nepodporuje...Release cyklus core systémů v bance je cca 9-12 měsíců, což je současně argument mnoha BI týmů, na otázku, kde že to vázne...

8. UFO/CRM integrační aktivity - různé UFO systémy (Unified front end) nebo CRM systémy s unifikační funkcí (typu Siebel atd) - protože v běžné finančí společnosti najde i několik desítek systémů (bod 7 protažený v čase) , tak aby se z toho uživatelé na přepážkách úplně nezbláznili, nasazují se řešení, které mají za úkol poskytnou "jednotný front end", konsolidovaný pohled na klienta,  zajistit IN/OUT API do backend systémů, což už je o integraci a nehynoucím businessu velkých integrátorů a konzultačních firem zvučných jmen...byl jsme svědkem a bohužel i realizotorem změnového požadavku na přidání 3 atributů, a odhad pracnosti včetně testu byl 60MDs, a nejhorší na tom bylo, že to byl hodně reálný odhad...n-vrstvá aplikace, 6 integračních API do backend systému, integrační testy...a toto člověku z businessu vysvětlíte hodně těžko....

9. Vymáhání - týká se především splátkových společností, kde jde o nezbytnost, s ohledem na množství aktivit. U ostatních spíše okrajová aktivita, vymáhání nesplaceného pojistného, atd. Ve splátkových společnostech se jedná o telefonáty, e-maily, procesy odprodání balíků pohledávek atd

Data v segmentu

Zdroje dat (se zaměřením na objemné data):
  1. Tvrdé core systémy - nejčastěji poměrně monilitické systémy
    • u všech společností pak i vedení finančího účetnictví (SAP, mainframe based atd)
    • banky - správa produktů, účtů, systémy pro platby kartami, bezhotovostní převody z/na účet, úročení, správa aktiv, deposit, zajištění
    • splátkové společnosti - rozpis splátek, platby a jejich párování, přegenerování předpisů splátek, úročení
    • pojišťovny - předpisy a platby - smlouvy a jejich rizika, alokace pojistného, správa pojistných rezerv
  2. Systémy pro správu a obsluhu kampaní - jak bylo zmíněno, jedná se o velmi aktivní oblast, kampaň střídá kampaň, informace pro vyhodnocení, call listy, sběr výsledků
  3. CRM/UFO integrační systémy - sice jsou prostředníky mezi přepážkou a backend systémy, ale současně jsou často i zdrojem klientských požadavků na změny produktů atd - klientské data, požadavky, záznamy o voláních, systému unifikace klientů (kandidátské a unifikované skupiny atd)
  4. Karetní systémy - mnoho společností provozuje či využívá systémy pro kreditní a debetní karty - tyto představují neustále narůstající a trvale rostoucí data
  5. Provizní systémy, systémy hodnocení partnerské sítě - pro člověka z jiného oboru možná okrajová data, ale pro ty
  6. Vymáhání - u splátkových společností i u bank  jde o nedílnou součást primárního businessu, a jako taková generuje objemné data, od vyzívacích dopisů, telefonátů az po odprodej či přímé vymáhání pohledávek

Co s těmito daty ?

Nevybavuje se mi banka, pojišťovna či větší splátková společnost, který by neměla datový sklad s velmi širokým rozsahem. Právě finanční společnosti byli historicky první v ČR, které začali tvořit rozsáhlé BI řešení. V každé společnosti je nad DWH nasazen silný reporting, kvalita reportů a jejich nadpočet je věc druhá. Datové sklady nabývají na objemu, s ohledem na výrazný pokles ceny storage se neřeší data ageing,ale dokoupí se další rack se storage, takže běžný objěm je od jednotek TB po desítky TB u velkých bank. Dalo by se tedy říci, že je vše v pořádku. Poradím Vám, neříkejte to před zázstupci businessu v těchto společnostech. Samozřejmě výjímky existují a není jich úplně málo, je zde ale jedno velké ALE. 
Stávající datové sklady jsou používány a využívány, ale spíše tou "konzervativní" částí bankovního businessu (reporting, regulatorní reporting). Projektový management BI řešení je hodně rigidní a pro hodně lidí z businessu velkou zkouškou trpělivosti. Nebylo by ale fér shodit vinu jen na IT oddělení, zkrátka v těchto společnostech vše trvá dlouho (za výjímku z tohoto pravidla můžeme brát splátkové společnosti, ty trh nutí k vyšší rychlosti). 
Nejmenší spokojenost je na straně marketingu a produkt managementu, protože tyto útvary potřebují mnohem rychlejší reakci na jeich požadavky, i proto jsou tyto velmi často provozovateli partyzánských daatabází, kam jsou nahrávány informace ze standardního BI a obohacovány o potřebné informace, ať již pomocí klasických BI technologií, nebo formou skriptů pod gescí pracovníků těchto útvarů s technickými znalostmi.

Big data potenciál:

  1. U existujících DWH vidím spíše potenciál využití big data jako podpůrnou agilní technologii, která je schopna v kooperaci se standardním BI saturovat akutní informační potřeby. Umožní pokrýt ať již formou sandboxingu, nebo formou poskytnutí báze dat v hadoopu pro data scientisty v útvarech marketingu, analýz, zákaznické podpory. Technologie dnes dostupné (zdarma) umožňují velmi rychlé a praktické propojení dalších ad-hoc zdrojů dat s těmito archivovanými datya provádění opravdových ad-hoc analýz (PIG, splunk, a další technologie)
  2. Využití big data platformy jako on-line archivu detailních dat:
  • Relační databáze BI je třeba zálohovat. Odhadem 60-80% dat v existujících BI řešeních jsou detailní data, která svojí povahou časově expirovala, ale drží se s heslem když je odarchivujeme, už nebudou dostupná a zítra pro ně někdo přijde
  • Archivní data v hadoop zůstávají on-line dostupné pro expertní analýzy dlouhých časových řad i analýzy s potřebou procházet plný detail, hadoop poskytuje i silný výpočetní framework, který není tak těžké se naučit
  • Zmenšení velikosti relační databáze o 60% představuje z pohledu nároků na čas zálohování, počet pásek, velikost zálohovacího okna velmi významnou úsporu - jak časovou, tak i přímou finanční (počet pásek na zálohu, počet mechanik s ohledem na velikost zálohovacího okna atd)
  • Poměr ceny za GB na enterprise diskovém poli a na JBODu složeném ze  SATA III disků představuje potenciál úspory v desítkách milionů (v případě potřeby obnovy HW) + úspory lidské práce. Takže pokud má IT banky napjatý rozpočet, zde je možná cesta pro odložení velkých investic do dašího rozšíření enterprise diskových kapacit pro nenasytné BI. 
  • Stejně tak porovnání ceny enterprise class serverů a komoditních serverů pro hadoop generuje úsporu, obzvlášt, když pro hadoop je možné použít vyřazené servery či low-end servery bez rizika ztráty dat díky vysoké redundanci dat v HDFS (posbírejte ty v marketingu, tak se jich typicky najde, a když budete hledat, najdete i další "kopie" datového skladu :) )
Kombinací výše uvedeného může firma dosáhnout stavu, kdy bude mít v big data technologiích umístěny nejen archivní, ale i aktivní data(D-1), a může jej pak použít pro agilní podporu oddělením, které nejsou spokojeny se standardními BI především z důvodu pomalého zavádění změn do BI. 

Tím lze v podstatě dosáhnout vyrovnané či spíše pozitivní nákladové bilance, protože lze použít HW poschovávaný v kancelářích nespokojených oddělení, kde běží pirátské datové sklady,  a který je možné po dohodě využít jako základ infrastruktury big data technologií a oddělení v podstatě. Uvolněné lidské zdroje  s technickými znalostmi v business odděleních je pak potenciálně možné transformovat na datové analytiky nad big daty. Oni se zbaví vysilující rutiny udržet multiTB databáze a současně jim dáte novou hračku, která jim umožní další profesionální růst...na jejich ochotu k této změně bcyh si klidně vsadil.

Je zde samozřejmě i scénář, že marketing a další oddělení, kde žijí tyto paralelní datové sklady, nebudou čekat na rozhoupání IT, ale překlopí tyto svoje "sklady" na Hadoop.  S ohledem na dostupnost technologií a počáteční nízkou nvestiční náročnost bych se vsadil, že už takhle pár Hadoopů někde v kancelářích esele hučí ventilátory :).

Závěr

Nezmiňuji zde jednu velkou oblast sběru informací ze sociálních médií, kde jsou big data používány ve světě, mám velkou obavu, že pokud bych měl jako vysoký šéf ve finanční společnosti posuzovat svoji firmu podle reakcí na sociálních médiích, tak bych ji rovnou zavřel. Osobně tomuto segmentu nedávám velkou váhu v kontextu české republiky, ať již kvůli penetraci sociálních médií mezi zákazníky těchto společností, tak i z dlvodu, že se občas diskuzí účastním a po 10 minutách znechucene vypínám, protože se diskuze zvrhávají do ideologických přestřelek a osobních invektiv.

V případě, že zástupci tohoto sektoru nevzali v potaz upozornění v úvodu a dočetli až sem, tak se:
- omlouvám těmto lidem za určitou paušalizaci, vím o mnoha zajímavých aktivitách, které zde ale nemohu uvést z důvodu existujících NDA, ale ruku na srdce, myslím, že jsem to popsal to, jak tyto firmy fungují z pohledu BI hodně realisticky
- pokud Vás výše uvedené myšlenky zaujali, budu rád, když mě kontaktujete, rád Vám pomohu utříbit si myšlenky a případně pomohu s přípravou podkladů atd pro Vaši prezentaci dovnitř firmy

Budu rád za Vaši reakci, přeji příjemný večer

Petr Šimbera

PS: Příští díl bude na téma big data v telco segmentu...

PPS: Odpověď na připomínky typu - proč to píšete v čestině - dva důvody - uvedené informace jsou nejvíce pravdivé a ověřitelné v kontextu ČR (je relativně málo BI řešení, které jsou velké a kolem kterých jsem v ČR přinejmenším neprošel, nebo o nich alespoň od kolegů neslyšel). Jistě, hodně těchto informací je univerzálních, ale upřímně, moje aktuální znalost angličtiny neobsahuje schopnost jemné i tvrdší ironie...pokud se někdo chcete ujmout překladu, klidně překládejte a publikujte, jen prosím nezapoměňte uvést originální zdroj (alespoň odkaz na můj linkedin :o) )


Žádné komentáře:

Okomentovat