Dataplattform | En komplett guide til dataplattformer

Du har kanskje endelig skjønt forskjellen mellom et datavarehus og en data lake. Men så kom det enda et begrep: data lakehouse. Fortvil ikke, Glitni hjelper deg å navigere i begrepsjungelen!

Hva er en dataplattform?

La oss starte med en kjapp definisjon: en dataplattform er tjenester som lar virksomheter samle og tilgjengeliggjøre data fra mange ulike kilder på ett og samme sted, gi de en sammenheng slik at de blir meningsfulle, riktige og forståelige, og sørger for at det er mulig å hente ut verdi gjennom ulike former for datadrevne initiativ.

Dataplattformen understøtter blant annet en rekke brukerhistorier knyttet til rapportering og analyse. Dataplattformen er en fellestjeneste som ulike brukergrupper kan benytte seg av, inkludert brukere av standardrapporter, forretningsanalytikere som lager egne analyser, data scientists som lager maskinlæringsmodeller og utviklere som henter ut data for å lage andre datadrevne løsninger.

Hvorfor trenger du en dataplattform?

“Hva slags utfordringer opplever du med dataene dine?” spurte jeg.

 

“Vel, de er spredt over flere systemer, manuell håndtering tar mye tid, sikkerhet og compliance er en bekymring, kvaliteten er tvilsom, vi har flere sannheter, sanntidsanalyser er vanskelig, vi har problemer med skalering, integrasjon er en utfordring, vi mangler AI støtte, og vi har ikke en sterk datakultur,” svarte klienten.

 

“Hmm,” nikket jeg, “Du kan absolutt dra nytte av en dataplattform! Og så er det noen andre organisatoriske ting vi også bør prate om”.

Kjenner du deg igjen?

Her var det hele 10 symptomer på at du trenger en dataplattform. Du synes kanskje dette hørtes litt oppstyltet ut, og laget av ChatGPT eller noe sånt?

Faktisk er dette en - eller flere - samtaler jeg har hatt. De kommer kanskje ikke ut så tydelig, eller kortfattet, men avsnittet representerer i stor grad mange av de utfordringene jeg jobber med hver dag, og som store og små virksomheter sliter med.

Tenk gjerne etter en gang til om du ikke kjente deg igjen - jeg er 100% sikker på at dere har mye å jobbe med innenfor minst 3 av de 10 symptomene.

Hva kan en dataplattform bidra med?

Under er noen eksempler på hva en dataplattform vanligvis bidrar med:

• Redusere datasiloene gjennom å samle data og beskrivelser av data og definisjoner ett sted
• Gi mulighet til å skalere opp - og ned - datavolum, datatyper, dataprodukter og brukere
• Kunne behandle alle typer data (hente inn, lagre, prosessere og levere ut), slik at det ikke skapes konkurrerende datasiloer eller ekstra belastning på operative systemer
• Levere data raskt til interne brukere, leverandører og kunder der det gir verdi - gjennom datastrømming
• Gi bedre kontroll over dataene gjennom at dere kan håndheve tilgangsstyring og datasikkerhet bedre
• Bidra til bedre datakvalitet gjennom å gi mulighet til å overvåke og forbedre kvaliteten fra kilde til bruk - og sørge for at sentrale begreper og nøkkeltall blir dokumentert og tilrettelagt ett sted
• Støtte utviklings- og produksjonsmiljøer for AI, slik at også mer avanserte metoder for å skape verdi fra data muliggjøres (som f.eks maskinlæring og LLMs)

Gevinster som en dataplattform gjør mulig

Alt dette var kapabiliteter som en dataplattform kan bidra med - med hva med gevinstene?

En investering i en dataplattform i dag, kan bety store avkastning over tid gjennom sparte kostnader, økte inntekter, mer handlingsrom og redusert risiko:

• En dataplattfom kan bidra til en datakultur gjennom gode muligheter til selvbetjening slik at det blir enkelt for alle å ta i bruk data. Enkel tilgang til data kan gi bedre forståelse og muligheter for læring - og gir fakta og underlag til beslutninger.
• En dataplattfom kan gjøre det mulig å redusere manuelt arbeid gjennom å automatisere datatilrettelegging, slik at analytikerne tiden sin på å tolke resultater og sette forbedringer i live.
• En dataplattfom kan tilrettelegge for å automatisere forretningsprosessene gjennom bruk av enkle forretningsregler eller mer avanserte algoritmer (f.eks om du skal få avslag eller ikke på en lånesøknad).
• En dataplattfom kan gi mulighet til å levere bedre brukeropplevelser, tjenester og produkter for kunder, leverandører, ansatte gjennom data

Til deg som har en dataplattform allerede

De fleste større virksomheter har minst en dataplattform, gjerne i form av et datavarehus eller en data lake. Kanskje det er mange fordeler, og gevinster, dere har realisert. Supert!

Om det likevel er noen større symptomer fra eksemplet som traff deg, er det grunn til å se på både dataplattformen dere har i dag, men også andre elementer som leveransemodell, kompetanse, prosesser, data-eierskap - og mye annet.

Ingen av symptomene lar seg enkelt løse med en dataplattform alene. Du kan kjøpe inn den beste teknologien, og lage den beste arkitekturen, og fortsatt ha de samme utfordringene.

En dataplattform, bygget riktig, kan likevel være en muligjgører for å få til mer helhetlige endringer.

Hvilket symptom traff deg mest?

En dataplattform kan bygges på flere ulike vis

Dataplattformer er oppbygd av flere arkitekturkomponenter. Inntil for få år siden besto en dataplattform av et integrasjonsverktøy som hentet en begrenset mengde strukturerte data hver natt, en database/datavarehus og et rapporteringsverktøy på toppen. Nå har vi mer sofistikerte muligheter hvor vi eksempelvis kan hente data kontinuerlig i tilnærmet sanntid og lagre alle typer data mer effektivt i ulike lagringstjenester. På toppen har vi løsninger for både visualisering og avansert analyse.

De vanligste formene for lagring av data i forbindelse med rapportering og analyse er database, datavarehus, data lake og data lakehouse. Nedenfor har vi satt opp en sammenligning av hvert av disse alternativene: