Datavarehusmonolitten

Overgangen fra tradisjonelle datavarehus til moderne dataplattformer har blitt viktig for mange virksomheter. Denne artikkelen gir en introduksjon til hvordan du kan implementere en domenebasert data-arkitektur.

Utfordringer med monolitt-datavarehus

Et datavarehus er en måte å lagre data på for rapportering og analyser. Bill Immon, datavarehusets far, beskrev det som en subjektorientert, integrert, tidsvariabel og ikke-volatil samling av data for å støtte ledelsesbeslutninger. Tradisjonelt har datavarehus vært monolitter – store, komplekse strukturer som samler all data i én enkelt kilde.

Monolitten blir over tid svært kompleks, og avhengighetene mellom ulike dataområder bremser utviklingshastigheten. Mange datavarehusteam bruker mesteparten av tiden på vedlikehold og feilretting, noe som skaper en rigid struktur som ikke tilpasser seg endrede behov og teknologi.

Hvorfor ble det slik? Jo, sentraliseringen av utviklingsressurser i seg selv er en viktig forklaring. Når det blir mer og mer å vedlikeholde og forvalte, går naturlig nok utviklingstakten ned om ikke det tilføres mer ressurser. Og sentrale team med dårlig tid har ofte ikke mulighet til å følge opp alle brukermiljøene like tett.

Overgang til domenebasert arkitektur

For å løse disse utfordringene, deler mange virksomheter datavarehusmonolitten opp i mindre, håndterbare datadomener, når de går over til skybaserte dataplattformer.

Hvert domene representerer et spesifikt forretningsområde, som salg eller HR, og kan utvikles og vedlikeholdes uavhengig av andre domener. Dette reduserer avhengigheter og gjør det lettere å forstå og endre dataene.

I praksis skiller vi ut domenene logisk i dataene, setter opp separate prosjekter/repos, bruker rollebasert tilgangsstyring og definerer grensesnitt i form av views o.l. som andre domener kan knytte seg mot. Ikke minst - vi definerer eierskap og ansvarsområder både forretningsmessig og teknisk.

Fordeler med uavhengige datadomener

En moderne dataplattform omfatter beste praksis fra platform engineering og DevOps. Den fokuserer ikke bare på datalagring og modellering, men også på hele økosystemet, fra infrastruktur til produksjonssetting av rapporter og analysemodeller.

I større virksomheter vil en domeneinndelt data-arkitektur kunne forvaltes av separate team, som deler en felles infrastruktur i form av en dataplattform. Det blir da viktig at dataplattformen forvaltes uavhengig av domenene, og av et dedikert plattformteam.

Denne tilnærmingen gir flere fordeler:

• Økt fleksibilitet: Mindre enheter gjør det lettere å tilpasse datadomenet etter behov.
• Raskere utvikling: Uavhengige domener reduserer kompleksiteten og øker utviklingshastigheten.
• Forbedret organisering: Dataene organiseres mer effektivt, med tydelig eierskap og ansvar innenfor hvert domene - og teamet sitter tett på sine brukere med deres forretningsbehov.
• Bedre skalerbarhet: Systemet skaleres mer effektivt, både teknologisk og organisatorisk.

Implementering av domenebasert data-arkitektur

Overgangen fra en monolitisk struktur til en domenebasert modell krever nøye planlegging og involvering av alle relevante parter.

Her er noen trinn for å komme i gang:

1. Skap et felles mål: Formuler klare mål og engasjer virksomheten rundt fordelene med domenebasert arkitektur.
2. Start med ett domene: Velg ett domene som pilotprosjekt. Bygg en MVP (Minimum Viable Product) og gjør erfaringer. Husk å etablere kjøreregler for operabilitet samtidig!
3. Utvid gradvis: Bruk erfaringene fra pilotprosjektet til å utvide til flere domener. Juster og forbedre prosessene kontinuerlig.
4. Involver alle parter: Sørg for at alle relevante team er involvert fra starten av, inkludert sentrale brukere, data engineers, data scientists og ledere.
5. Kommuniser erfaringene: Del erfaringene fra det nye domenebaserte arbeidet med de som fortsatt jobber på den gamle datavarehusmonolitten. Dette kan hjelpe til med en smidigere overgang.

Med et klart mål, trinnvis implementering og involvering, kan overgangen fra monolitt-datavarehus til en domeneinndelt dataplattform bidra til økt fleksibilitet, raskere utvikling og bedre utnyttelse av dataene.

Lyst til å lære mer?

Denne artikkelen fra 2021 av Piethein Strengholt gir en praktisk beskrivelse av hvordan du kan komme igang med datadomener.

Hør også gjerne på podcasten “Datautforskerne”, episode 4, der Eystein Kleivenes og Magne Bakkeli snakker om datavarehusmonolitten. Episoden er tilgjengelig på Spotify, Apple og Acast.

Lik og abonnér!