Aféra Big Data - díl první - z pohledu skeptika

Také už jste dostali pocit, jak je to vůbec možné, že jsme dokázali přežít od roku 2010 do roku 2013 bez BigData ? 

Nedalo mi to, a podíval jsem se na věc blíž....jak z technologického hlediska (jsem technologický hračička), tak z pohledu použitelnosti pro zlepšení businessu resp. potenciální přínos.
Projíždím weby, prozkoumávám architekturu,  nástroje, použitelnost, potenciálně zajímavé technologie zkouším v laboratorních podmínkách...a také se setkal s pár zajímavými lidmi, kteří toho téma studují už delší čas a vyměnili jsme si názory. Konfrontuji se zkušenostmi a praxí z desítek velkých i malých projektů.

Skeptický pohled na BigData

V jedné věte lze shrnout...přežili jsme posledních 8 trendy slov, přežijeme i tento...firmy to bude opět stát pár miliard , business pořád bude mít svých 1000 reportů k ničemu v  excelu...zkrátka...vlk se nažere a koza zůstane celá, jen oškubaná jako ovce...:o)

Jak šel čas (hodně subjektivní historické dojmy):

• v roce 2000 - nástup DWH do ČR - měl jsem tu příležitost podílet se na průkopnických letech DWH v ČR (Adastra). Dodnes mě fascinuje Honza Červinka, který z pidi firmy vykřesal obr firmu, řešili jsme super projekty, poznávali nepoznané technologie
• cca rok 2003 - nástup DWH 360 / CDW či jiný alternativní název, zkráceně řešeno, sehrajme vše do DWH, on si to business přebere a bude mít všechny informace na pár dashboardech...už nás nic lepšího nepotká...hodil jsem si se super týmem jeden near real time DWH (load po 15 minutách) pro telco operátora...a fungovalo to, až na to, že Oracle discoverer sloužil jako exportovač do excelu :o)
• cca rok 2004 - nástup doby s heslem CRM aneb "firma bez CRM do roka a do dne padne...a CRM potřebuje EDW resp. CDW (enterprise DWH resp. customer DWH) aneb co není ve skladu napojené na zákazníka, jako by nebylo) - zajímavá várka projektů, kde se vše točilo kolem CRM a businessu se z toho točila hlava, protože o zákazníkovi i o sobě věděli víc, než je zdrávo...a kupodivu služby zákazníkům se zhoršili (subjektivní pocit, ale současné logické...už o mě věděli vše, ale stejně pořád někdo volal a něco nabízel...tomu se zase říkalo operativní CRM, se spoustou nadstaveb pro campaign management, atd)
• cca rok 2006 - heslo doby, systémy spolu mluví, ale jen přes ESB...toto byla éra s heslem, kanonické XML zprávy jsou spása světa...ještě že se tyto technologie nedostaly do náboženství...i když pro hodně lidí v roli pojmenované enterprise architect to slovo boží bylo...ono na těch obrázcích a prezentacích to vypadalo tak lákavě a super...jenže praxe je horší než kacíř...výsledek ? Nasadili se super integrační platformy za desítky milionů, a pak si předávali zprávy o vytvoření zákazníka, protože reálné objemy dat z provozních systémů tyto platformy nedávali a když, tak za ztrojnásobte železo (a licence) a ono to zvládne...dodavatelé HW zažívaly boom (ještě že virtualizace v té době byla relativně v plenkách). Zažil jsme spoustu hádek s enterprise architekty, že do DWH řešení budou data putovat také přes xml...protože tak je to přece správné z pohledu enterprise architektury....většinou je pak přesvědčil velikost xml exportu zvíci 600GB, z čehos odpadaly už i nejlepší parsery té doby...ach jo, chtělo by se říct. 
• cca rok 2007 - bohužel enterprise architekti to nevzdali...(jim platy neklesaly, protože jejich prezentace byly zkrátka dokonalé)...a přišla doba service oriented...kdo nechystal SOA, opět byl zpátečníkem a kacířem....co z toho, že jste spálili 3/4 rozpočtu v hádkách o podoby API, překlady do kanonického XML, werservice registry, verzování služeb....dorazil mě slabý požadavek na přidání jednoho atributu do API (mezi dvěma systémy), který se díky SOA nacenil na cca 100tis....(a ono to tak bohužel s testy bylo)...Naštěstí ve stejném roce se začíná mluvit omaster data managementu, konsolidaci zákazníků, unifikaci klientů atd...což bylo pár hodně zajímavých projektů s velmi reálnými přinosy...
• rok 2007 - přišla krize....rozpočty IT se seškrtaly...investice se odložili...a IT se konečně z rauše začalo vracet zpátky na zem....tedy jak kde...od sprna do prosince to vypadalo na trhu jak na hřbitově...a také přichází doba database appliance...konečně někoho napadlo vzít komoditní železo, seskládat a nakonfigurovat do maximálního výkonu a prodat jako krabici...v čechách nevídané a naprosto nepřijatelné....IT by si nemohlo hrát se skládáním železa a podivnými výběrovými řízeními, kde požadavky byly dost často na hranici možného chápání...
• rok 2008 - začínám vnímat business intelligence....DWH jsme obalili procesy, knowledge managementem, dashboardy....a dalšími nadstavbami, přidali jsme master data management...a byly zase další projekty a pár nových slůvek do žargonu
• rok 2012 - poprvé se začíná proslýchat něco o tom, že datové sklady o velikosti desítek TB asi nejsou to úplně ořechové, a jak to, že když to tolik stojí, tak by to také businessu mělo něco přinést....většinou s eptali finanční ředitelé, protože jim v OPEX i CAPEX investicích svítila obr čísla, ale na straně příjmů to nebylo zase tak moc vidět...náhodička, vzniklo big data
• rok 2013+ - plný nástup bigdata gate - aneb zákazníkům začínáme říkat, že datové sklady, které jim stavíme pár let, tak vlastně jsou "téměř" zbytečné, protože stačí nasadit hadoop, narvat do něj úplně všechny data, včetně spotřeby toaletního papíru ve firmě a posadit k tomu business analytika a za chvíli ...víte opět úplně všechno....sice nevíte co, nevíte jak, ale máte to....krásná idea...kdo nezná map-reduce, je úplný ....hledám slušné slovo

Poučení ? 

• Není důležité, jaké magické slovo použijeme, ale buď je řešení k něčemu (opravdu něco řeší), nebo k ničemu (data pro data) a pak to nezachrání ani trendy slovíčka...a bohužle musím konstatovat, že těch k něšemu je výrazná menšina...
• CRM je super, pokud je jednoduché a přinutíte obchodníky sdílet jejich nejcennější informace...což je jádro pudla...v kombinaci se "standardizovanými" technolgiemi za pár set milionů celkem vražedná kombinace...jeden příklad za všechny....po implementaci CRM řešení u našich dvou operátorů se mě začalo spousta lidí mimo IT ptát, co je to Siebel, jestli je to nějaký virus...co jim na to říct...ale zase není vše černá, pár solidních CRM based řešení, které mají smysl by se našlo, většinou kombinace technologií a osvícených lidí z businessu vytvořila řešení, která jsou funkční a zákazníkovi přináší 
• Firmy v datových skladech skladují stovky GB až desítky TB, ale rád bych viděl firmu, kde jsou tyto informace smysluplně využívány. Nemyslím tím generování stovek reportů v excelu s hesle, ale 
• Moje osobní poučení od jednoho hodně energického CFO....jakkoliv velká firma se dá řídit přes max. 15 reportů....uplně nejhorší je, že měl pravdu a zatím mi to nikdo nedokázal vyvrátit...protože to fakt funguje...mám je schované :), a jsou v Excelu
• Spousta projektů generovaných businessem měla hlavní důvod v řešení typu "my také" a výsledkem je, že projekty pohořeli "stejně jako u nich"
• Když firma najde člověka - BI architekta/hlavního analytika, který rozumí businessu, dokáže udělat model L1 tak, že je dlouhodobě udržitelný, je provázaný a pokrývá potřeby, měla by si jej koupit do otroctví....bohuže těchto lidí jsem za dobu své cca 13ti leté praxe potkal do deseti...(já jsem desátý :) )
• Firmy (zákazníci dodavatelů těchto trendy řešení) mají pořád v rozpočtech více peněz, než je potřeba....a dodavatelé to vědí...
• Na to, aby z BI řešení teklo něco rozumného, je třeba vynaložit enormní úsilí...většina probémů začíná na úrovni primárních systémů...protože ty navrhují enterprise architekti pomocí EA, kde ty use case tak super vypadají, doménový model je super, pak pustíme generátory kódu a pak ...začneme zase znovu...když vidíte výsledek, tak programátor z doby roku 1995 by dotyčnému zlámal ruce i nohy....tisíce řádků kódu, n-vrstvé aplikace, která na 100x silnějším HW zvládají taktak to, co před tím pár terminálových aplikací...s mainframem v zádech :).

Závěr skeptika

• Data porostou, big data technologie je uloží...a změní se jen to, že v serverovně (rozuměj cloudu) bude zase méně volného místa...už nebudeme skladovat jednotky či desítky TB, ale stovky...a opět nám to bude k ničemu...zaplaví nás data...a informace budeme mít pořád stejné...
• Celá šaráda bude stát firmy pár miliard dolarů, které dodavatelské firmy použijí na vymyšlení nového trendu...za 3 roky, až začnou reálně dobíhat první velké projekty na téma bigdata bude třeba jiné zaklínadlo, aby se otevřel kouzelný měšec s budgetem...protože již dnes má velká většina BI řešení problém obhájit přínos businessu, tak za 3 roky bude výrazně hůř 
• A moje soukromé prozření. jako skeptika...někde je něco špatně....narostly nám data na tísícenásobky, ale pomáhá to businessu ? Odpověd je...NE (samozřejmě kafe po dobu, než doběhne report je super ale na tom vydělá jen dodavatel a provozovatel kafomatů ve firmách). a Samozřejmě dodavatelé
• Na úplný závěr...fascinují mě úvahy, že když do big data nahážeme data ze sociálních médií, a na pár kliků zjistíme co si o nás naši zákaznící myslí....nevím jak vy, ale když občas čtu příspěvky na různých fórech, tak....nás čekají zajímavé věci....a přitom by stačilo, vzít náhodně seznam 1% zákazníků v základních segmentech a zavolat jim....což je běžná práce obchodníka/account managera...a podobnou činnost vřele doporučuji i jejich nadřízeným orgánům. Investice do zbytečných řešení za desítky milionů pak mohou dát na charitu a pár reklam, a hned o nich budou psát na sociálních médiích určitě kladně...ale to nezjistí, protože nebudou mít big data řešení na jejich vyhodnocení sentimentu. A nebo povolat outsourcované call centrum a položit zákazníkům jednoduchou otázku, čím je Vaše firma v poslední době naštvala...a máte zpětnou vazbu, z které nebudete dalších 14 dní spát...a za pár kaček...
• Tento text není kritikou či výplodem zapšklosti, jen rád dělám práci, která má smysl...