364
UTFORSKA vad vi kan och gör
UTFORSKA vad vi kan och gör

Stäng

Kompetensområden

Kontakta mig

Vill du veta mer och ta reda på hur vi kan hjälpa just dig? Lämna dina kontaktuppgifter

Valdation:
* Förnamn:
* Efternamn:
Företag:
Tel:
* Email:
Land:
* Meddelande:
Successfully sent!
Could not send the mail, try again later!
KAFFE ELLER TÉ? Vi kan väl ses över en kopp.

Blogg september 29, 2017

BI + DevOps = DevOooops?

De senaste åren har CIOs och CTOs låtit undsläppa flertalet "oh!" och "ah!" när DevOps kommer på tal.

Det är förstås väldigt tilltalande att ha ett kund- eller projektfokuserat team som snabbt bygger, distribuerar och itererar fram ny funktionalitet med hög hastighet. Om något går fel, bara re-iterate igen! Eller för att uttrycka det med en kunds ord: "gruppen ska äta sin egen skit!"  Synnerligen målande. 

Agila metoder är en hörnsten i alla moderna BI-initiativ. Det här är inget nytt (om du tror det är så föreslår jag ett samtal med din leverantör ...), men BI och Analytics har ett antal specifika egenskaper som man måste vara mycket medveten om man slår in på DevOps-vägen.

För det första är en Analytics-lösning inte ett orörligt mål. Till exempel är en utvecklad integrationslösnings huvudsyfte att tillhandahålla en förutsägbar funktionalitet för datautbyte över tid. En Analytics-lösning å andra sidan är byggd för att förändras när verksamheten gör det, dess natur är alltså dynamisk och måste ständigt förändras.

För det andra är Analytics sällan en fråga om funktionalitet. Det kan komma som en överraskning att nya dashboards, unika grafer och automagiska insikter bemöts med ”jo, det var väl fint… men…”, Användare håller sig väldigt ofta till sina 3-5 favoritgrafer eftersom tydlighet är viktigare än flashighet. Det finns anledning till att Excel så envist biter sig fast....

För det tredje är analytiska insikter, det kan vara genom ett AI inbyggt på din webbplats eller din shopping app eller ett KPI i en fin dashboard, inte är bättre eller mer användbara än det data du har. Eller uttryckt på ett annat sätt; det förtroende som användarna av din Analyticslösning har för det underliggande datat. Komplicerat, inte sant? 

Förtroende för data har i sin tur en väldigt, VÄLDIGT stor portion av datakvalitet i sig. Datakvaliteten är i sin tur också ett rörligt mål. Datakvaliteten är alltid relaterad till syftet med användningen av data. Bokslut? Du måste se till att den sjätte decimalen är j…ligt exakt! Analys av marknadstrender? Datakvalitet Schmata kvalitet ... vem bryr sig .... ge mig en tillyxad siffra typ nu genast!

Den del av DevOps som syftar till att automatisera test och distribution, reducerar i huvudsak den mänskliga faktorn till fördel för snabbhet och tid-till-marknad. Detta fungerar alldeles utmärkt i de flesta fall. Om något inte är 100% korrekt, re-iterate och förbättra det. Fortfarande inte tillräckligt bra? Gör det igen! Funktionalitet är ofta lätt att ringa in och därmed ganska lätt att automatisera test för.

Men Förtroende. Förtroende är något som förtjänas. Förtroende förtjänas på grund av noggrannhet och precision under månader och år, och är lika lätt förlorad under dagar och veckor. Att ha en DevOps-process i en Analytics-miljö kan i värsta fall rasera förtroendet för hela din Analytics-plattform, vilket resulterar i allmänt kaos och ”vårt BI är trasigt!”-panik och många åsikter om att ett ersättningsprojekt GENAST måste startas.

Två felaktiga releaser i rad kommer att få Analytics användarna att rynka pannan och inte vara riktigt säkra på vad de ska känna inför den tredje releasen.... Och även om du räddar upp situationen med fyra eller fem efterföljande framgångsrika releaser, kommer nästa felaktiga release utan tvekan få användarna att genast tänke på de första två – ”det är fel HELA tiden!”. Det är högst mänskligt. Och din DevOps blev precis DevOooops.

Av den här anledning har en ny förkortning dykt upp - DataOps! Detta är till viss del en re-branding av den gamla termen Data Management men tillför också något eget. DataOps automatiserar analys av dataflöden med hjälp av statistisk processkontroll för kontinuerlig övervakning och kontroll av resultatet.

Mycket fikonspråk men tittar vi på detaljerna och översätter detta till oljeindustritermer, så kan det också uttryckas så här;

Vi byggde en pipeline från Alaska till New York, den överför 1 Gazillion fat olja varje dag. Vår automatiska övervakning visar att vi har ett 1-1-förhållande av vad som går in i rörledningen i Alaska och vad som levereras ut av det i New York. Succé!

Låter utmärkt! Eller…? Tja, om kunden säger "Jag förväntade mig inte olja, jag ville ha Coca Cola ..." (det här är inte alls särskilt långsökt baserat på min egen erfarenhet...)

När vi pratar om Analytics pratar vi också om datakvalitet i förhållande till avsedd användning och förväntningar på data. Eftersom det här är mänskliga faktorer blir det extremt svårt att automatisera. Ännu så länge är det omöjligt att helt exkludera den mänskliga faktorn när man vill införa en helt automatiserad DataOps-process.

DataOps har sitt ursprung i behovet av att hantera Data Lifecycle-problemen som blev akuta med Big Data-lösningar. Det fanns – och finns fortfarande - ett behov av att kvantifiera nogrannheten i olika dataflöden. Eftersom användningen av och syftet med data i en Data Lake i stor utsträckning ännu är okänd, blir ändamålsrelaterade datakvalitetstester av det faktiska innehållet i varje dataflöde ganska mycket gissning. Således ansågs test av det övergripande dataflödet tillräckligt bra.


I en Analytics-miljö är status på ett övergripande dataflöde långt ifrån tillräckligt bra. Men vi vill ju fortfarande ha snabbhet och tid-till-marknad-godsakerna som DevOps ger. För att lösa detta intrikata problem och samtidigt åstadkomma ett grundmurat förtroende för Analyticslösningen krävs samarbete med Analyticslösningens användare. Genom samarbetet kan en gemensam förståelse för vilken nivå av datakvalitetsautomatisering som är möjlig och nödvändig, liksom vilken grad av datakvalitet som accepteras.

För att förtjäna dina Analyticsanvändares Förtroende är detta vägen framåt med DataOps.

Har du frågor eller tankar kring DataOps eller Analytics? Kontakta mig!

Magnus Hagdahl

Vice President of Information Management Nordic / Senior Architect

Enfo