Aféra Big Data - BigDatagate - díl druhý - z pohledu optimisty

Aféra Big Data - BigDatagate - díl druhý - z pohledu optimisty

Volné pokračování příspěvku na téma big data - o čem že to je, či mohlo by být. Tentokrát z pohledu optimisty.

Big data z pohledu optimisty

Tentokrát jsem se zamyslel, k čemu by mohly big data sloužit...tedy sloužit k dobru, nejen ke generování tepla ve vzdálených serverovnách a privátních cloudech...

Úvod

Nebudu zde řešit teorii co je a co není big data...to najdete u strýčka Googla a chytrolína Wikiho. Ale k čemu by to reálně mohlo sloužit...

Proč ?

Protože na Vaše zvídavé otázky Vám pořád všichni ve firmě říkají, že v datovém skladu o pár set GB nenacházejí co hledají (jako svatý grál), v reportech nemáte ty vysněná čísla, horším případě různá čísla.. a návod, jak zákazníka přesvědčit, že Váš produkt je zkrátka jedinečný a všichni by na něj měli stát frontu nikde....Vaši analytici i přes stovky krásných a často i funkčních reportů pro Vás nemají univerzální odpovědi otázky typu Jak to, že produkce stagnuje, když v plánu máme 15ti procentní nárůst od představenstva...zkrátka chybí Vám CML (Centrální mozek lidstva). Aha, já psal, že budu tentokrát optimista...tak jinak...

Big data v kombinaci se zdravým rozumem, velmi slušným lidským vybavením Vám mohou otevřít cesty, které byly dosud nepoznané, resp. případně poznané, ale za neuvěřitelné náklady (takový multiterabajtový DWH stojí v dnešní době desítky milionů....to víte, překrásné plachetnice holt něco stojí, viď Larry ? :)

Kde vzít big data  ?

Všichni dodavatelé Vás snadno přesvědčí, ze big dat máte doma plné šuplíky v racku...rozuměj diskové pole...Big data jsou přeci všechny soubory, ideálně minimálně strukturované, a pokud možno co nejvíc velké...nejlépe pak generátory TB v podobě trasovacích logů Vašich super webových stránek, kde nalézt informaci, kterou hledáte jako potenciální nebo existující klient, tak vygeneruje tisíce záznamů v logu...protože Vás super web Vám dodává často velmi renomovaná firma...až na pár vyjímek máte tak složité weby, že to chce téměř matfyz...a ten já bohužel nemám...specialisté na tuto oblast se rozhodli soustředit ve státní správě...

Existují ale firmy, které big data resp. zdrojová data o desítkách TB mají, pár příkladů:

• Telco operátoři 
• Informace ze signalizace CCS 7 - to jsou TB za den - semi strukturované (tokeny atd)
• CDR/EDT, data pakety, setup pakety atd...divili by jste se, kolik dat je schopen jedně středně velký operátor s pár miliony zákazníků za den vygenerovat...
• Systémy detekující nestandardní stavy sítě či oceňující výpadky pro potřeby prioritizace oprav (internet i mobile) - ze signalizace i z jednotlivých aktivních prvků sítí (switche, BTS, BSC controllery, ústředny mobilních operátorů proudí objemná data (usage, stav, statistiky). Zde by se mohly čeští operátoři inspirovat co do udržení kvality sítě, že...
• Billing - když budeme uvažovat, že přes menší operátory plyne cca 40mil hovorů za den, každý hovor generuje 1 až x CDR záznamů + interconnect záznamy, tak provést billing těchto dat je už poměrně zajímavý úkol. I proto josu zavedeny někdy naprosto nelogické billing cykly, aby se zátěž rozložila rovnoměrně přes celý měsíc...zkrátka fakturujeme, fakturujeme a fakturujeme...a nešlo by s bigdaty fakturovat na click ? 
• Finančí instituce
• Vyhodnocené záznamy o hovorech se zákazníky
• Transakce zákazníků kartami, ořevody z účtu na účet atd...banky s penězi umí, takže datové sklady bank patří mezi největší a nejširší bumbrlíky...bohužel ale také release cyklus je na úrovni release za půl roku, což je zase noční můra pro jejich marketing...do půl roku se nový produkt proflákne jen z podstaty...
• Likvidace pojistek v pojišťovnách
• Retail
• supermarkety a hypermarkety jsou ideální generátory velkých objemů dat...podívejte se o víkendu při týdenním nákupu do košíku a na lístek z pokladny...a pak to vynásobte...vyjdou Vám tak velké objemy, až Vám přeteče kalkulačka, z hlavy to nedáte :) 
• Utility firmy
• pokud bohdá budou jednou nasazeny "chytré sítě" s chytnými měřiči spotřeby od elektřiny, plynu, vody atd, tak nám zase zdraží, tentokrát ne kvůli solárům nebo potřebě odpisů investic do distribuční sítě,  ale aby mohli nakoupit desítky racků a diskových polí....
• Dopravci - to jsou moji oblíbenci...:)
• představte si kamion, který posílá do pět minut soubor informací o tom, jak jede, co veze, kam to veze, ...do Španělska jede 5 dní...a pak zase 5 dní zpět...a měl by takto jezdit ideálně pořád...to je dat....ale nedělejte si iluze, ze by je dopravci nějak pořádně využívali...určitě proto, že nemají bigdata a nikdy mít nebudou, neb na to nemají budget...:)
• firmy sběrné služby  typu vyzvedni balíček, doruč ho na druhou stranu světa za 36 hodin či ještě méně...představte si 100.000 zásilek denně, a každá vygeneruje několik set záznamů v logu různých systémů (objednávka, naplánování vyzvednutí, převzetí, do crosdocku, něolikanásobný skok mezi crossdocky, plán rozvozu, doručení, fakturace, reklamace...
• hromadná veřejná doprava - pokud zde čekáte sofistikované technologie za miliardy, tak to platí jen pro distribuci oněch známých opencard...praxe je excel, excel, důchodce v busu, co dělá čárky...nejčastěji za účelem tzv. dopravního výzkumu...a obhájoby nárůst nákladů ...až budete jednou zase čekat na zpožděný rychlík monopolního dopravce, tak mrkněte do projíždějících lokálních vlaků, jaká je cca obsazenost projíždějících vlaků v ranních či pozdně odpoledních hodinách...alternativou, pokud vlastníte vozidlo, tak během 10ti minut čekání, než projede za závorami lokálka s 3 babičkami na cestě za doktorem, tak si můžete procvičit matematiku....do práce denně dojíždí několik set tisíc lidí, díky optimální dopravní obslužnosti potřebují v průměru 3 přestupy (vlak, metro, tramvaj či bus), zpátky je čeká to samé...kolik milionů událostí to znamená ? Ideální kandidát na big data
• Průmyslové výrobní firmy
• to je segment sám pro sebe, protože ISO je klíč k novým trhům, tak evidujeme pohyb výrobku/obrobku, operace, teploty, manipulaci...tady jsou to mega big data...
• vezměte si počet vyrobených aut za rok v ČR (odhadem 1,3 mil), každé auto má cca 5000 součástek, pro každou by bylo vhodné vést kompletní historii výroby včetně kontroly kvality (buďme minimalisté, odhaduji na 1MB dat) a rázem jsem na 5GB na vozidlo na roční objem výroby 1,3mil za rok...a máme bigdata jak vyšité, a to jsme ani něměřili KPI montérů na výrobní lince :)
• a pak si představte tramvaj či autobus...nebo nedej bože lokomotivu...jen certifikační proces je na pár GB, a to ji ještě musíte vyrobit...
• a takový robotický manipulátor je také zajímavý zdroj dat...
• Jakákoliv firma se složitým klíčovým IT systémem, ať již se jedná o core systém, či systém, přes který plují data - často zmiňované zpracování logů pro proaktivní detekci chování...s ohledem na chování systémů a zběsilé logy v nich hledat chybky je normální cestou dost problém, což mohu potvrdit z vlastní zkušenosti. Potenciální problém, že většina "starších" systémů žádné pořádné logy nemá...a než je dodělávat vyjde dost často levněji naprogramovat celé znovu...ale pokud jsou...proč ne...

Takže big data můžeme mít, ale teď co s nimi...

Technologie a nástroje

Technologií pro big data je spousta, pomalu každá garážovka nabízí převlečený případně zušlechtěný hadoop či jeho různé forky. Když budete chvíli pátrat na webu, najdete spoustu odkazů na stažení (např. http://hortonworks.com) 

Trošku horší situace už je z pohledu nástrojů, které v datových skladech nazýváme ETL či ELT technologie. 

Sice všichni běžní dodavatelé říkají, že jsou complient s hadoop a bigdata, ale ruku na srdce....ono to zase tak horké není...ono už jen zajistit proudění velkých objemů dat do jednoho místa, odkud se uploaduje do HDFS není žádná legrace...a pokud si s těmito daty chcete ještě trošku pohrát (např. konsolidace či normalizace hodnot na číselníky/dimenze, případně nějaké nápočty, tak se velmi záhy dostanete do úzkých...jednak z pohledu potřeby pochopit principy map reduce (jiná algoritmizace), jednat i z pohledu znalosti významu dat a jejich dokumentace (rozuměj metadata).

Není problém sebrat pár TB dat, ale porozumět jejich významu resp. sémantice a kontextu.

Velkou výhodu vnímám u těchto technologií v poměru náklad/přínos. Velmi často běží "partizánské" hadoopy na pár stolních počítačích někde pod stolem fandů, a funguje to. Vstupní licenční náklady jsou minimální, v podstatě jde jen o časovou investici, a chuť učit se nové zákonitosti, objevovat, zkoušet a často nalézat velmi zajímavé paralely s jinými technologiemi. 

S ohledem na to, že se technologie velmi prudce rozvíjejí, není asi třeba dlouho vybírat tu nejlepší technologii, protože za rok budou technologie o generaci dál. Je vhodné začít na zvolené a poté přejít na novou generaci, která bude k dispozici odhadem v druhém kvartálu roku 2015.

Smyslem tohoto příspěvku není popisovat jednotlivá řešení, proto přejděme k tomu nejdůležitějšímu.

Změna myšlení (aneb jádro pudla) 

V mnoha firmách existují poměrně hodně komplexní a obsáhlé datové sklady. Ale ruku na srdce, kolik  firem efektivně a zodpovědně tyto data využívá, i přes němalé náklady na jejich získávání...těchto firem znám velmi málo (a to se bavíme o pár set GB nejaktuálnějších dat)...

• Dodnes řeší 90 procent těchto firem distribuci víceméně statických reportů (produkce,  KPI obchodníků, atd). Nic ve zlém, ale na to stačí Access a MS Excel. A protože se mění management, běží restrukturalizace a organizační změny, tak se tyto reporty neustále předělávají, doplňují o další "velmi užitečné" ukazatele, jako např. počet akvizičních schůzek (asi s cílem, kdo schůzuje, ten se snaží). 
• V oblasti financí pak převládají provizní, (de)motivační systémy,fraud detection a campaign management systémy a jako poslední bych uvedl různé scoringové nástroje - zvláštní je, že automaty Vaše data přijmou  a použijí mnohem snadněji, než např. obchodní oddělení či produkt management

Firmy mají k dispozici již dnes poměrně dostatek dat pro klíčová rozhodnutí, jen se musí snažit je pochopit, jenže dost často vedení zavelí, vyhlásí cíl, a pak se hledají podklady, který by to podložili "tvrdými" daty...opačná cesta je nepříjemná, protože v BI jsou velmi často diametrálně odlišné informace, on totiž datový sklad neumí s informacemi kouzlit tak snadno, jako excel či powerpoint. 

A pak se v tom vyznejte...jednodušší je zpochybnit informace z BI,  než obhájit a doložit své prohlášení podklady, případně změnit své myšlení.

Dokud obě strany (BI i business) nepřejdou na kooperativní spolupráci, nemá cenu uvažovat o big data, protože v případě soft/hard analýz spolu musí obě stray mluvit a sdílet informace ještěo řád více. Velmi často je výstupem hypotéza, zpracované na významném objemu dat, ale je také nutné umět výstupy vysvětlit a zasadit do kontextu, protože výsledky mohou být i silně zavádějící.

Hlavičky a ručičky

Osobně vnímám, že trend v alokaci lidských zdrojů v oblasti BI je aktuálně asi největší problém. Naštěstí většina firem zjišťuje, že in house development mé také své pozitiva (nižší suma nákladů a méně nervů v dohadování), na druhou stranu je na trhu akutní nedostatek zkušených architektů a seniorních BI analytiků. Přidaná hodnota externích zdrojů v podobě mnoholetých praktických zkušenosti se smazala v obodbí krize, kdy hodně zkušených odešlo na volnou nohu, případně k zákazníkům (byli nejdražší,a tam se přece šetří nejlépe). Konzultanti se stávají komoditou, mnohdy vícenásobně přeprodanou a nevázanou, takže investice do jejich odborného růstu jsou rizikovou investicí. A k tomu zákazníci tlačí na cenu, BI dneska podle webů firem dodává každá větší firma (OLAP kostku nad ERP :) )

Osobně velmi vnímám vyprázdněnost dodavatelských firem, chybí přidaná hodnota, nahrnout data bez ladu s skladu do DWH umí téměř každý, ale pochopit zákazníkův business, proniknout do něj a přinést hodnotu či alternativní pohled na problém, takových lidí aby člověk pohledal.

Bohužel velmi podobná situace vládne v analytických týmech u zákazníků. Zkušené analytiky s hlubokou znalostí zákonitostí konkrétního businessu postihl podobný osud, i když pár jich setrvalo, ale podezřívám, že především z fandovství...

Závěr dnešního dílu

Takže na závěr optimismus...

• Firmám, kde funguje kooperativní spolupráce mezi business odděleními i IT, a je podporována snaha o investice do lidských znalostí napříč firmou, mohou řešení na bázi big data přinést pozitivní revoluci či velmi zrychlenou evoluci.  
• Firmy se striktně odděleným IT a businessem, kde spolu tyto oddělení mluví ústy projektových managerů a business leaderů projektů na desítkách "důležitých meetingů"...pro tyto je lepší se vyhnout pokusům s big data, protože jsou odsouzeny k zániku a spíše by měly dále směrovat svoje úsilí k 20té revizi základních podnikových reportů verze 19.
• Osobně vidím velký potenciál v další generaci "unikátních garážovek", které budou schopné nabídnout kombinaci reálně fungující technologické linky + znalosti businessu, jejichž výstupem budou fungující a udržitelná řešení zaměřující se na vybrané oblasti z ohromného koláče potenciálních použití big data
• I u tohoto trendu platí lidové Když se chce, všechno jde. Jen je třeba dát pozor, aby to nešlo moc rychle pod kytičky...:)

Pokud jste dočetli až posud, děkuji za Váš čas a budu rád za Vaše reakce. Vím, že je to místy obecné, ale chtěl jsem Vás dostat do kontextu, na základě kterého budu v dalších příspěvcích už výrazně konkrétnější. 

Povahou jsem člověk tvořivý, proto bych rád v dalších dílech psal o konkrétnějších záležitostech typu:

• Referenční data - aneb jak si ušetřit spoustu práce
• Referenční architektura, aneb pěkný obrázek
• První business příběh

Aféra Big Data - díl první - z pohledu skeptika

Také už jste dostali pocit, jak je to vůbec možné, že jsme dokázali přežít od roku 2010 do roku 2013 bez BigData ? 

Nedalo mi to, a podíval jsem se na věc blíž....jak z technologického hlediska (jsem technologický hračička), tak z pohledu použitelnosti pro zlepšení businessu resp. potenciální přínos.
Projíždím weby, prozkoumávám architekturu,  nástroje, použitelnost, potenciálně zajímavé technologie zkouším v laboratorních podmínkách...a také se setkal s pár zajímavými lidmi, kteří toho téma studují už delší čas a vyměnili jsme si názory. Konfrontuji se zkušenostmi a praxí z desítek velkých i malých projektů.

Skeptický pohled na BigData

V jedné věte lze shrnout...přežili jsme posledních 8 trendy slov, přežijeme i tento...firmy to bude opět stát pár miliard , business pořád bude mít svých 1000 reportů k ničemu v  excelu...zkrátka...vlk se nažere a koza zůstane celá, jen oškubaná jako ovce...:o)

Jak šel čas (hodně subjektivní historické dojmy):

• v roce 2000 - nástup DWH do ČR - měl jsem tu příležitost podílet se na průkopnických letech DWH v ČR (Adastra). Dodnes mě fascinuje Honza Červinka, který z pidi firmy vykřesal obr firmu, řešili jsme super projekty, poznávali nepoznané technologie
• cca rok 2003 - nástup DWH 360 / CDW či jiný alternativní název, zkráceně řešeno, sehrajme vše do DWH, on si to business přebere a bude mít všechny informace na pár dashboardech...už nás nic lepšího nepotká...hodil jsem si se super týmem jeden near real time DWH (load po 15 minutách) pro telco operátora...a fungovalo to, až na to, že Oracle discoverer sloužil jako exportovač do excelu :o)
• cca rok 2004 - nástup doby s heslem CRM aneb "firma bez CRM do roka a do dne padne...a CRM potřebuje EDW resp. CDW (enterprise DWH resp. customer DWH) aneb co není ve skladu napojené na zákazníka, jako by nebylo) - zajímavá várka projektů, kde se vše točilo kolem CRM a businessu se z toho točila hlava, protože o zákazníkovi i o sobě věděli víc, než je zdrávo...a kupodivu služby zákazníkům se zhoršili (subjektivní pocit, ale současné logické...už o mě věděli vše, ale stejně pořád někdo volal a něco nabízel...tomu se zase říkalo operativní CRM, se spoustou nadstaveb pro campaign management, atd)
• cca rok 2006 - heslo doby, systémy spolu mluví, ale jen přes ESB...toto byla éra s heslem, kanonické XML zprávy jsou spása světa...ještě že se tyto technologie nedostaly do náboženství...i když pro hodně lidí v roli pojmenované enterprise architect to slovo boží bylo...ono na těch obrázcích a prezentacích to vypadalo tak lákavě a super...jenže praxe je horší než kacíř...výsledek ? Nasadili se super integrační platformy za desítky milionů, a pak si předávali zprávy o vytvoření zákazníka, protože reálné objemy dat z provozních systémů tyto platformy nedávali a když, tak za ztrojnásobte železo (a licence) a ono to zvládne...dodavatelé HW zažívaly boom (ještě že virtualizace v té době byla relativně v plenkách). Zažil jsme spoustu hádek s enterprise architekty, že do DWH řešení budou data putovat také přes xml...protože tak je to přece správné z pohledu enterprise architektury....většinou je pak přesvědčil velikost xml exportu zvíci 600GB, z čehos odpadaly už i nejlepší parsery té doby...ach jo, chtělo by se říct. 
• cca rok 2007 - bohužel enterprise architekti to nevzdali...(jim platy neklesaly, protože jejich prezentace byly zkrátka dokonalé)...a přišla doba service oriented...kdo nechystal SOA, opět byl zpátečníkem a kacířem....co z toho, že jste spálili 3/4 rozpočtu v hádkách o podoby API, překlady do kanonického XML, werservice registry, verzování služeb....dorazil mě slabý požadavek na přidání jednoho atributu do API (mezi dvěma systémy), který se díky SOA nacenil na cca 100tis....(a ono to tak bohužel s testy bylo)...Naštěstí ve stejném roce se začíná mluvit omaster data managementu, konsolidaci zákazníků, unifikaci klientů atd...což bylo pár hodně zajímavých projektů s velmi reálnými přinosy...
• rok 2007 - přišla krize....rozpočty IT se seškrtaly...investice se odložili...a IT se konečně z rauše začalo vracet zpátky na zem....tedy jak kde...od sprna do prosince to vypadalo na trhu jak na hřbitově...a také přichází doba database appliance...konečně někoho napadlo vzít komoditní železo, seskládat a nakonfigurovat do maximálního výkonu a prodat jako krabici...v čechách nevídané a naprosto nepřijatelné....IT by si nemohlo hrát se skládáním železa a podivnými výběrovými řízeními, kde požadavky byly dost často na hranici možného chápání...
• rok 2008 - začínám vnímat business intelligence....DWH jsme obalili procesy, knowledge managementem, dashboardy....a dalšími nadstavbami, přidali jsme master data management...a byly zase další projekty a pár nových slůvek do žargonu
• rok 2012 - poprvé se začíná proslýchat něco o tom, že datové sklady o velikosti desítek TB asi nejsou to úplně ořechové, a jak to, že když to tolik stojí, tak by to také businessu mělo něco přinést....většinou s eptali finanční ředitelé, protože jim v OPEX i CAPEX investicích svítila obr čísla, ale na straně příjmů to nebylo zase tak moc vidět...náhodička, vzniklo big data
• rok 2013+ - plný nástup bigdata gate - aneb zákazníkům začínáme říkat, že datové sklady, které jim stavíme pár let, tak vlastně jsou "téměř" zbytečné, protože stačí nasadit hadoop, narvat do něj úplně všechny data, včetně spotřeby toaletního papíru ve firmě a posadit k tomu business analytika a za chvíli ...víte opět úplně všechno....sice nevíte co, nevíte jak, ale máte to....krásná idea...kdo nezná map-reduce, je úplný ....hledám slušné slovo

Poučení ? 

• Není důležité, jaké magické slovo použijeme, ale buď je řešení k něčemu (opravdu něco řeší), nebo k ničemu (data pro data) a pak to nezachrání ani trendy slovíčka...a bohužle musím konstatovat, že těch k něšemu je výrazná menšina...
• CRM je super, pokud je jednoduché a přinutíte obchodníky sdílet jejich nejcennější informace...což je jádro pudla...v kombinaci se "standardizovanými" technolgiemi za pár set milionů celkem vražedná kombinace...jeden příklad za všechny....po implementaci CRM řešení u našich dvou operátorů se mě začalo spousta lidí mimo IT ptát, co je to Siebel, jestli je to nějaký virus...co jim na to říct...ale zase není vše černá, pár solidních CRM based řešení, které mají smysl by se našlo, většinou kombinace technologií a osvícených lidí z businessu vytvořila řešení, která jsou funkční a zákazníkovi přináší 
• Firmy v datových skladech skladují stovky GB až desítky TB, ale rád bych viděl firmu, kde jsou tyto informace smysluplně využívány. Nemyslím tím generování stovek reportů v excelu s hesle, ale 
• Moje osobní poučení od jednoho hodně energického CFO....jakkoliv velká firma se dá řídit přes max. 15 reportů....uplně nejhorší je, že měl pravdu a zatím mi to nikdo nedokázal vyvrátit...protože to fakt funguje...mám je schované :), a jsou v Excelu
• Spousta projektů generovaných businessem měla hlavní důvod v řešení typu "my také" a výsledkem je, že projekty pohořeli "stejně jako u nich"
• Když firma najde člověka - BI architekta/hlavního analytika, který rozumí businessu, dokáže udělat model L1 tak, že je dlouhodobě udržitelný, je provázaný a pokrývá potřeby, měla by si jej koupit do otroctví....bohuže těchto lidí jsem za dobu své cca 13ti leté praxe potkal do deseti...(já jsem desátý :) )
• Firmy (zákazníci dodavatelů těchto trendy řešení) mají pořád v rozpočtech více peněz, než je potřeba....a dodavatelé to vědí...
• Na to, aby z BI řešení teklo něco rozumného, je třeba vynaložit enormní úsilí...většina probémů začíná na úrovni primárních systémů...protože ty navrhují enterprise architekti pomocí EA, kde ty use case tak super vypadají, doménový model je super, pak pustíme generátory kódu a pak ...začneme zase znovu...když vidíte výsledek, tak programátor z doby roku 1995 by dotyčnému zlámal ruce i nohy....tisíce řádků kódu, n-vrstvé aplikace, která na 100x silnějším HW zvládají taktak to, co před tím pár terminálových aplikací...s mainframem v zádech :).

Závěr skeptika

• Data porostou, big data technologie je uloží...a změní se jen to, že v serverovně (rozuměj cloudu) bude zase méně volného místa...už nebudeme skladovat jednotky či desítky TB, ale stovky...a opět nám to bude k ničemu...zaplaví nás data...a informace budeme mít pořád stejné...
• Celá šaráda bude stát firmy pár miliard dolarů, které dodavatelské firmy použijí na vymyšlení nového trendu...za 3 roky, až začnou reálně dobíhat první velké projekty na téma bigdata bude třeba jiné zaklínadlo, aby se otevřel kouzelný měšec s budgetem...protože již dnes má velká většina BI řešení problém obhájit přínos businessu, tak za 3 roky bude výrazně hůř 
• A moje soukromé prozření. jako skeptika...někde je něco špatně....narostly nám data na tísícenásobky, ale pomáhá to businessu ? Odpověd je...NE (samozřejmě kafe po dobu, než doběhne report je super ale na tom vydělá jen dodavatel a provozovatel kafomatů ve firmách). a Samozřejmě dodavatelé
• Na úplný závěr...fascinují mě úvahy, že když do big data nahážeme data ze sociálních médií, a na pár kliků zjistíme co si o nás naši zákaznící myslí....nevím jak vy, ale když občas čtu příspěvky na různých fórech, tak....nás čekají zajímavé věci....a přitom by stačilo, vzít náhodně seznam 1% zákazníků v základních segmentech a zavolat jim....což je běžná práce obchodníka/account managera...a podobnou činnost vřele doporučuji i jejich nadřízeným orgánům. Investice do zbytečných řešení za desítky milionů pak mohou dát na charitu a pár reklam, a hned o nich budou psát na sociálních médiích určitě kladně...ale to nezjistí, protože nebudou mít big data řešení na jejich vyhodnocení sentimentu. A nebo povolat outsourcované call centrum a položit zákazníkům jednoduchou otázku, čím je Vaše firma v poslední době naštvala...a máte zpětnou vazbu, z které nebudete dalších 14 dní spát...a za pár kaček...
• Tento text není kritikou či výplodem zapšklosti, jen rád dělám práci, která má smysl...

Reakce na článek v magazínu Profit

Když už jsem to napsal, dávám i sem na blog. Je to reakce na článek "Co přinese černá listina neplatičů DPH", zasláno autorce příspěvku ANO z MF CŘ.  

Vážená paní,

se zájmem jsme si přečetl Váš příspěvek v sekci polemika uvedeného magazínu s názvem Účinný nástroj na podvodníky. Protože se to týká i mého oboru podnikání, dovoluji si touto cestou zaslat reakci resp. námět k zamyšlení. Poměrně jsem se rozepsal, takže doporučuji jako čtení k odpolední kávě :o)

Pokud vycházím z veřejně dostupných odhadů, ztráty českého státu z důvodu podvodů a neoprávněných vratek DPH jsou odhadovány v rozmezí 5-8mld Kč/rok. Můj velmi laický odhad, že toto číslo představuje koncenzus říká, že reálně je to kolem 10mld/Kč  za rok.

V článku uvádíte, že jednoduché a univerzální řešení neexistuje. A v tomto bodu s Vámi částečně nesouhlasím. Ano, neexistuje,ale lze jej vytvořit, s návratností několika měsíců (poměr ceny CAPEX a OPEX vs. roční ztráty). 

Jak by takové řešení mohlo fungovat, berte jako aplikaci postupů z jiných oborů na Vámi popisovaný problém, je to jen nástřel a úvaha:

v principu dvě základní součásti:

1. psychologický efekt - už jen tím, že má podnik povědomí o tom, že je možné informace řetězit a sledovat, tak jen "odstrašující" efekt, bez toho, aniž by systém opravdu něco řešil by dle mohlo velmi laickým odhadem dosáhnout slušných úspor v řádu do 1,5mld. 

Protože už jen, že jsou někde dohledatelné informace zhoršuje klima pro podvod…a zlepšuje monitoring a případné dokazování.

Jak to teď asi je (odhad)

Jsem velmi malý podnikatel, OSVČ, své služby nabízím a prodávám i velkým společnostem typu ČD Cargo, finanční skupina PPF, zahraniční firmy atd…čeho si ale hledím mezi prvními, abych měl v pořádku DPH, protože nemám zájem, aby mě někdo "vyšetřoval", protože výklady jsou nejednoznačné, stálo by mě to náklady a především čas, který takto mohu lépe investovat do podnikání. Případné rozpory s finančním úřadem nejsou vítány, i za cenu toho, že raději něco neuplatním, než abych se pak hádal o pár tisíc a utratil za to desetitisíce. To jsou ti hodní…:o). Pak je zde samozřejmě spousta chytráků, kteří díky různým formám cirkulace služeb a zboží profitují na odpočtech DPH, a kde vychází z jedné základní premisy…ztratit se v "davu", nevyčuhovat, a pomalu pít "krev" státu v podobě švindlů s DPH. Poslední jsou klasicky společnosti  s bílími koňmi, které slouží jednorázově…velká rána a konec firmy. Jaký je poměr z pohledu "loupení" DPH nedokážu odhadnout, ale selský rozum praví, že rozložení bude klasické. 70% jednorázové akce (nízká míra rizika skutečných vlastníků, takže lepší zkusit velkou ránu, které možná ujde pozornosti), 25 % trvalí upíři a pouze 5 % odhaduji na tu masu, která ale současně odvádí nejvíce DPH. Možná naivně předpokládám, že co míři na export, to je hlídáno ze dvou stran (země odběratele i dodavatele), takže zde je možnost uníků nižší.

Vámi navrhované opatření ale bude fungovat přesně obráceným gardem…nejvíce na něj doplatí ti slušní, protože občas budou obchodovat s grázlíky, trvalí upíři si vytvoří jiné řetězce, nebo přejdou na velké jednorázové rány, a jednorázové akce se ještě zvýší, protože v důsledku budou cítit menší riziko, že to za ně někdo zaplatí, tak u soudu pak mohou tvrdit, že státu škoda nevznikla, protože ji zaplatil trouba, co byl na konci řetězu.

A nyní se dostávám k řešení. 

Nebude asi úplně populární v okamžiku prosazování, ale když by se dobře politicky prodalo (netřeba zvyšovat DPH, ušetříme takto několik miliard, bych to já osobně koupil a informace poskytl), tak může být pro stát i tu slušnou část velmi přínosné (my ušetříme čas a papíry, stát si lépe pohlídá co mu "patří".

Možná k tomu řešení i směřujete, protože jsme někde zaznamenal, že se bude DPH podávat elektronicky…ale zkusím velmi stručně popsat princip, řešení lze pojmenovat jako vysoce výkonný analytický aparát, vytvořený na základě existujících IT řešení, které se běžně využívají v komerční sféře pro scoring klientů finančních instituci, marketing, campaign management.

Pokud správně chápu, je potřeba v rozumném čase identifikovat podezřelý řetěz operací v ochodním styku (z Vaší branže podobné jako systémy AMLS (anti money lundering system).

Dnes máte k dispozici jen část informací, a především v agregované podobě (kolik plátce DPH přijal, vydal atd) , takže nelze identifikovat informační řetěz. Ohledně pohonných hmot nevím, jak přesně funguje papírově dovoz a vývoz.

Pokud by elektronické podání DPH obsahovalo detail informace o DPH ve vazbě na faktury a subjekt, měli by jste vyhráno, protože zbytek je už jen o výpočetním výkonu a alrgoritmech známých jako datamining.

Z vlastí praxe vím, že jsou tato řešení reálná ( např. asociace pojišťovensdílí data o pojistných událostech a nad tím je podobný systém, který identifikuje podezřelé sekvence událostí a jejich výskyt ohlašuje), podobně téměř každá pojištťovna má řešení typu AFMS (anti fraud management system), což je v principu totéž, jen v rámci jedné pojišťovny. Tyto systémy se v pojišťovnách zaplatili za několik měsíců, i když jde investičně o několik milionů za technologie i konzultační služby.

Velmi podobné jsou v principu i systémy risk management, které používají banky a splátkové společnosti, opět s poměrně velmi zajímavým výnosem, např. telekomunikační operátoři (revenue assurance systémy), a dalo by se pokračovat.

Základem je získat relevantni informace tak, aby byly kvalitní, aktuální a propojitelné (analyzovatelné), např. informace z účetnictví firmy o vydaných a přijatých fakturách. Z účetnictví firma poskytne export dat (v rámci elektronického podání DPH), kde budou jen základní informace (aby tady nebyl strašák v podobě "velký bratr". Aby se nesbíral balast, je možné nastavit hranici, resp, agregaci (drobný prodej za období jako jeden záznam, pokud nepřekročí v DPH více jak 200.000Kč nebo tak něco)  stačí identifikace subjektu, IČ resp. DIČ protistrany, částka základu, částka DPH, typ operace (číselník identikující akci, způsob uplatnění DPH atd)), identifikace transakce (ideálně varianbilní symbol) a sazbu DPH ve vazbě na akci.

Požadavkem na integraci do ERP nebo účetního systému zajistíte kvalitu (data se nepřepisují odněkud někam na formuláře, ale vše je plně automatické). 

Motivační bonus pro plátce DPH…lze tlačit silou, ale ze zkušenosti, vždy le nejlepší správná motivace typu když bude připojen na tento systém a poskytovat data 1xtýdně pro velké firmy a 1xměsíčně pro malé firmy, může platit DPH až po zaplacení faktury odběratelem (o to bych i já osobně hodne stál, kolikrát narazíte na firmu, které se nechce platit, ale DPH odvést musím). Argument, že by to podpořilo daňové úniky je lichý, protože si nás můžete velmi dobře pohlídat.

Technicky lze vyřešit poměrně rychle (technoogie i produkty existují), naladění systému (identifikace a validace vzorů pro vyhledávání je setrvalý proces, kdy je systém samoučící, pokud má zpětnou vazbu, nebo pokud jej používá chytrá hlava)

K čemu by tento systém vedl:

1. podnikatelé budou opět nadávat, že je to další administrativní zátěž - jasný argument - vše je automatické, případně poloautomatické (export a odeslání probíhá automatem, nebo účetní spustí operaci v účetnictví), pro komunikaci mezi firmou a MF lze využít datové schránky (prokazatelnost zdroje), případně  technologii zvanou web services, zde by ale bylo nutné řešit identifikaci zdrojového subjektu (např. elektronický certifikát, což je další administrativa a peníze, proto bych osobně preferoval datovou schránku, kde by v příloze bych zašifrovaný dokument). Příjemcem specifická adresa na MFCR, kde by byl automat, který by tyto zprávy načítal do databáze, a umožnil dávkově řízené zpracování. Díky pozitivní motivaci (DPH až po zaplacení) by se do systému přihlásilo hodně malých ivelkých subjektů (tyto pak máte pod kontrolou, takže je možné soustředit síl na ty mimo kontrolu). Vydělají obě strany i běžný občan.

2. U velkých firem možnost přímého napojení (větší data), použití webservice publikované na MFCR, poskytnutí certifikátu zdarme od MFCR (velk firmy ušetří více, a mají už rozsáhlejší IT, které dokáže napojení vytvořit v rámci svých sil, nebo od dodavatele ERP za několik málo tisíc), zde možnost i denní periody zasílání dat.

Ve výsledku máte pohromadě data, které potřebujete k identifikaci podezřelých toků služeb resp. DPH plnění, které:

- slouží jako expost pro dokazování v řízení

- slouží i pro predikci (identifikace přicházející velké rány na základě použití podobných vzorců chování)

- učí samo sebe ve vazbě s analytikem, který validuje výsledky a vzorce chování, resp. navrhuje i nové

Jinde to funguje, proč by to nefungovalo i na úrovni MF ČR ?

Ohledně nákladů (z komercni praxe a odhadované hodně velké velikosti dat - několik terabytes měsíčně, odhady uvádím jako pro komerční sféru, ve státní správě se bohužel platí velmi odlišné ceny): - velmi hrubý odhad investic 

- IT HWx SW 50 mil CZK (list price) - založeno na data appliance produktu firmy Oracle + Oracle DB licence + Oracle data integrator + SAS řešení pro datamining

- konzultace a sluzby - 20 mil CZK (coz beru jako realny odhad x 2 s ohledem na neurcitosti)

- rocni support - hrubě 20% z vysledne ceny  reseni

- rocni provoz - 2 mil CZK vcetne administrace  a drobnych uprav

Z toho mi plyne navratnost maximalne 1 mesic provozu, nehlede na potencial velkych uspor v kontrolach DPH (pracovnici se mohou zamerit na podezrele firmy) + vynos z domerenych DPH (odhad až 1mld ročně) + možnost nevyplacení vratky při zařazení případu na warning list (úspora několik mld ročně).

Na závěr bych rád poděkoval za pozornost, a pokud jste dočetla až sem, tak i za trošku naděje, že jsem třeba příspěl k tomu, že budu moci platit v budoucnu menší daně (vím, je to jen zbožné přání, ale…). Dnes jsou již technologie téměř na vše, když se vhodně zkombinují, tak i velmi přínosné pro všechny záčastněné (s tímto bývá nejčastější problém).

Pokud Vás výše popisované zaujalo, rád se s Vámi případně Vašimi pracovníky rád sejdu osobně a můžeme na toto téma nezávazně podiskutovat, mohu nabídnout poměrně unikátní know-how v oblasti řešení business intelligence, DWH, integrace dat a dataminingu (praxe 10let). Na úplný závěr bych rád jen dodal, že nejsem žádný prodejce žádného dodavatele, jen nezávislý konzultant, který když někde čte, že něco nejde, tak začne přemýšlet, jak by to šlo  :o).

Přeji Vám příjemný den

Petr Šimbera  

Tip: Správa číselníků v organizaci

Tak jsem zde s prvním tipem pro Vás.
Předně si ujasněme, tento tip není PR či reklama, je to moje zkušenost s tímto nástrojem z praxe...a nemám problém doporučit nástroj, který je podle mě použitelný a má velký přínos pro firmu. Nejen z pohledu dlouhodobé udržitelnosti řešení.

Pokud děláte v podnikovém IT u větší firmy, tak jste se už určitě setkali s potřebou konsolidace centrálních číselníků. Nejčastěji se řeší buď in-house vývoje nějaké formulářovky, nebo zakázkou, které je zlatou pšenkou pro dodavatele (ve smyslu never ending story). Řešení vytvořené za peníze jednoho zákazníka je pak relativně lehce prodatelné dalším zákazníkům.

Když jsem v jedné firmě dělal průzkum trhu, kupodivu jsem toho moc nenašel, i když jsme hledal poměrně usilovně, tak co jsme našel byly složité nástroje (většina řešení pro master data správu), nebo naopak moc jednoduché a nebo nepřenositelné (dobré např. pro oblast finančního plánování, ale reálně nepoužitelné pro správu klasických číselníků).

Díky své minulosti jsem se pak dostal k nástroji  RDM Ataccama. Musím říct, že mě hodně oslovila jednoduchost a hlavně filosofie - je to velmi pěkná ukázka metadata based vývoje - vše je generováno na základě metadat a pravidel, kompletní jendoduché a přehledné GUI.

V rámci PoC jsme během 10 MD udělali cca 30 číselníků (cca 20 kódovníků + 10 číselníků), které bylo možné překlopit obratem na produkci. Pod pojmem udělali myslím ve smyslu, že byly naplněné, s plně fungujícím GUI, přístupovými právy a procesem validace, schválení a publikace dat. Iniciální plnění jsme prováděli přímo do DB (jsem databázista :o), má to i aplikační importy).

Abych zde jen nepěl chválu, tak nástroj prochází kontinuálním vývojem, což je z mého pohledu dobře, protože je možný sběr zpětné vazby od zákanzíků a vylepšování funguje dobře, ale současně je i živý. Nezaškodilo by trošku více end user testů.

Po cca 2 hodinové instalaci a hodinovém zaškolení v něm byla schopná plnohodnotně vyvíjet číselníky vývojářka, které měla číselníkový background a znalost SQL.

Nástroj není zadarmo, ale z mého pohledu velmi dobrý poměr výkon/cena. A hlavně kupujete produkt, který může spravovat Vaše interní IT resp. osoba pověřená bez znalosti programování atd...

Pokud řešíte podobný problém, doporučuji zahrnout do výběrového řízení i tento produkt. Pokud máte tip nebo zkušenost s podobně filosoficky postavenými nástroji, budu rád za odkaz.

Aktuálně řeším potřebu tvorby kompletních jednoduchých webových aplikací a opět bych rád metadata based :o)

Pěkný den

Proč vzniká tento blog ?

Ahoj,
odpověd na tuto otázku je jednoduchá.
Dělám intenzivně v IT oblasti, ale postupně jsme se naučil IT vnímat spíše z pohledu dopadu na business ( super IT vychytávka za několik mega ještě nemusí zdaleka přinést businessu to, co potřebuje).
Jsem samozřejmě technologické fanda, ale odsud posud...osobně razím metodu, pokud něco dobře funguje, tak se do toho ne..rme. Což ale potkávám málokdy.

V příspěvcích bych se rád zaměřil nejen na obecné nešvary v praxi a nadávání na ně, ale spíše na předložení alternativ, zvěřejnění know-how (také odsud posud, z něčeho musím být živ :o)).

Budu rád za Vaše reakce, rád diskutuji, ale prosím na úrovni. Tím nemyslím vynechávání sprostých slov, pojďme se bavit o argumentech, proč ano a proč ne.

Zároveň bych chtěl touto cestou oslovit další podobně smýšlející tvory, a zkusit promyslet, zda něco nespáchat.

A úplně poslední nakonec...pokud jste dobrý Oraclista se znalostí a praxí BI/DWH, tak pokud Váas zajímají nabídky práce, tak mi nechte kontakt, proklepnu si Vás, a pokud se mi budete líbit, rád Vás doporučím, práce je hodně a kvalitních lidí velmi málo.

To už je pro první příspěvek vše.

Přeji příjemný den

Petr Š.

PS: V blogování jsem začátečník, takže když udělám nějakou kravinu, tak budu rád za upozornění.