Våre tjenester
Data Engineering og data-arkitektur
Datasiloer hindrer verdi fra data
Dataintegrasjon er prosessen med å koble sammen forskjellige data av forskjellige formater for samlet analyse.
Etter hvert som organisasjoner fortsetter å samle mer data, har de sannsynligvis flere datakilder som de bruker isolert for en rekke forskjellige grunner. Men siloede data kan skape utfordringer - problemer med datakvalitet, informasjon ut av sammenheng, dupliserte anstrengelser som kaster bort verdifull tid og ressurser, etc. - noe som gjør det vanskelig for en virksomhet å maksimere verdien av dataene sine.
Skybaserte dataarkitekturer gir muligheten til å ta inn nye datakilder på minutter og skalere lagring og databehandling like raskt. Denne fleksibiliteten øker potensialet for å få mer verdi ut av dataene dine - men for mange virksomheter har den raske oppsamlingen av data resultert i mer data - men uten systematikk og deling på tvers.
Du trenger erfarne data engineers og data-arkitekter
Å bryte ned datasiloene gir mulighet til å utnytte data på tvers av virksomheten, og bli enige om sentrale definisjoner som potensielt kan skape forvirring.
Når det er gjort godt, muliggjør dataintegrasjon at virksomheten din kan møte forretningskrav, øke datakvaliteten og levere mer verdifulle data til dine forretningsbrukere, som igjen kan skifte fokus fra å hente inn og sammenstille data til å bruke data til læring og forbedring.
Noen ganger holder det å hente inn rådata, andre ganger trenger vi å ble enige om hvordan dataene skal henge sammen i helhet.
Til dette trengs erfarne data engineers og data-arkitekter, som sørger for at dataflytene er bygget mest mulig effektiv, og at dataene er tilrettelagt for analyse og rapportering.
Nyere teknikker og verktøy for data engineering og datamodellering kan forenkle og akselerere prosessen dramatisk - inkludert steg som datavask, datatransformasjon og sammenstilling mot å gjøre dataene klare for analyse.
Våre tjenester knyttet til data engineering og data-arkitektur
Vi leverer:
1. Løsningsdesign og data-arkitektur
Vi kan hjelpe deg med å forstå behovene og kravene knyttet til et dataprodukt, og bidra til at du får et best mulig løsningsmønster og -design for dataflyt og datatransformasjon. Feil problem løst, eller feil løsning, kan potensielt begrense verdien til brukerne, og gi store forvaltningskostnader over tid.
2. Data-integrasjon
Vi vil hjelpe deg med å velge de riktige verktøyene og teknikkene for data-integrasjon for dine ulike data, og bestemme hvor du bør integrere dataene dine, som for eksempel i en datastrøm (publish/subscribe), data lake, et staginglag i et datavarehus eller data lakehouse. Vi vil også hjelpe deg å prioritere hvilke data som skal integreres - og hvilke som ikke skal det - for å kontrollere kostnadene dine knyttet til integrasjon, transformasjon og lagring av dataene dine.
3. Data pipelines / dataflyt
Vi designer og implementerer dataflyter ved hjelp av moderne verktøy for å automatisere arbeidsflyter og testing, standardisere og akselerere datatransformasjon, fjerne flaskehalser i data engineering, og involvere flere personer med ulike dataroller i utviklingsprosessen av en dataflyt. Dette gjør at at dataene dine til blir mer nyttige for beslutningsstøtte og analyse.
4. Datatransformasjon og datamodellering
Mange av dine data må renses, kombineres med andre data, og forbedres med avledet forretningslogikk for å skape et pålitelig forretningsklart lag i ditt data lakehouse eller datavarehus. Vi hjelper deg med å transformere rådata til handlingsorientert informasjon ved å bruke velprøvde prinsipper, teknologier og teknikker for å skape robuste analytiske løsninger for klare til bruk.
5. Rammeverk for ELT og ETL
Vi har laget gjenbrukbare rammeverk for ELT- og ETL-mønstre som lar deg raskt ta inn data med konsistente navnekonvensjoner, reviderbare prosesser, og lettforståelig opphav for dataene fra kildene.
6. Datavask og datakvalitet / data observability
Vi vil hjelpe deg med å etablere standarder og terskler for datakvalitet, bestemme din beste tilnærming til datavask (noen ganger gir manuelle regler mer mening enn kostbar teknologi), optimalisere dine eksisterende datavaskverktøy, og få støtte fra din organisasjon til å støtte initiativer som fremmer kontroll over datakvalitet (data observability).
Vår kompetanse innen data engineering og data-arkitektur
Våre data engineers og data-arkitekter har kompetanse på oppgaver som:
- jobbe med dataarkitektur for dataprodukter basert på forretningsbehovene
- modellere data til riktig nivå i henhold til brukertilfellene / use casene - i tett dialog med dine brukere og eksperter som kjenner dataene best
- bygge robuste og automatiserte dataflyter for å innhente, prosessere og lagre data.
- jobbe etter smidig metodikk og leveranser med en kontinuerlig utvikling av dataflyter og dataprodukter
- sette opp og forbedre overvåkning, sikkerhet og tilgangsstyring
- dokumentere dataflyter og sørge for at dataene får knyttet opp tekniske og forretningsmessige metadata, slik at dataene blir gjenfinnbare og brukbare over tid
Hvorfor du bør velge Glitni for data engineering og data-arkitektur
- Vi ser helheten slik at dere får varig verdi av dataflytene
Vi identifiserer de riktige problemstillingene og knytter de sammen med effektive teknologiske løsninger, og har like god dialog med teknologer som behovseiere. Spesielt er dette viktig for å oversette behov til riktig nivå av datatransformasjon. Noen ganger gir det for eksempel mest mening å transformere data for et spesifikt dataprodukt og ikke gjøre datamodelleringen generell. - Vi har erfaring med alle vanlige verktøy for ETL og ELT - også de nyere
Dataplattformer har utviklet raskt de siste 5 årene. Der vi før brukte primært bredere verktøykasser som IBM Cloud Pak for Integration, Informatica PowerCenter, Azure Data Factory og Google Dataflow, har vi i dag Vi har i større grad en fragmentert verktøykasse.
Vi deler opp verkøyene benyttet til data engineering og datamodellering i underkategorier som:- data-innhenting (f.eks Fivetran, Stitch)
- data-orkestrering (f.eks Airflow, Astromener, Prefect)
- data observability (f.eks Great Expectations, Monte Carlo)
- datalagring (f.eks Google BigQuery, Azure Data Lake Gen2, Snowflake)
- dataprosessering (f.eks Google BigQuery, Databricks, Snowflake. Azure Synapse Analytics)
- datatransformasjon (f.eks Dbt, Google Datafold, Databricks Delta Live Tables)
Vi hjelper deg å navigere i hva som bør brukes til hva, og hvordan alle data engineers i teamet bruker disse mest mulig effektivt.
- Vi bidrar til at alle jobber effektivt med nye teknikker
Kanskje opplever du at det er krevende å utvikle, teste og produksjonssette endringer i dataflytene. Vi bidrar til at alle data engineers og data-arkitekter jobber effektivt etter moderne teknikker. Vi bidrar til å sette opp effektive CI/CD-pipelines, gode kode- og dokumentasjonsstandarder og riktig nivå for overvåking og logging. - Vi har med malverk og metode som sparer dere tid
Glitni har med egne maler og kodeeksempler for datainnhenting, dataorkestrering, datatransformering og lagring. Malene og eksemplene gir oss et godt gangspunkt for å tilpasse til din virksomhet sine behov. - Vi jobber sammen, slik at dere bygger kompetanse
Vi jobber som et integrert team sammen med dere og andre data engineers og data-arkitekter dere benytter. Det er viktig at deres egne ressurser deltar aktivt i utviklingsarbeidet, slik at dere kan videreutvikle dataflyter selv når vi ikke er der lenger. En slik samarbeidsform sikrer også at det ikke er noen handovers fra konsulentene til dere.
Møt våre erfarne data engineers og data-arkitekter!
Ved å jobbe med oss får du tilgang til et team av eksperter som kan hjelpe deg med å løsningsdesign, datamodellering og data engineering - og bistå resten av teamet med nye teknikker og teknologier.
Lars Snekkerhaugen
Data Platform Engineer
Lars er en erfaren Data Engineer og Data Platform Engineer som er kjent med moderne dataplattformer i Azure og AWS, Databricks og Snowflake.
Les mer
Monica Kappelslåen Plassen
Data Platform Engineer
Monica er en allsidig data engineer og dataarkitekt med god erfaring innen design og utvikling knyttet til dataplattformer.
Les mer
Knut Arne Smeland
Data Platform Engineer
Knut Arne er en erfaren data engineer og plattformutvikler som brenner for å bygge modulære og robuste plattformer med minimal kompleksitet.
Les mer
Halvar Trøyel Nerbø
Data Platform Engineer
Trøyel er en engasjert Data Platform Engineer som har spesialisert på å bygge datalake- og lakehouse-baserte dataplattformer i skyen.
Les mer
Runar Alvseike
Data Platform Engineer
Runar er en dreven Data Engineer innen BI og Data & Analytics, hvor hovedtyngden av erfaringen er brukt på å bygge opp data lakehouse-baserte dataplattformer.
Les mer
Sindre Grindheim
Data Platform Engineer
Sindre er en erfaren Data Platform Engineer innen arkitektur og implementasjon av moderne dataplattformer i Azure og Google Cloud, Databricks og Snowflake.
Les mer
Ta kontakt!
Kontakt oss gjerne for en prat om hvordan du best kan etablere og videreutvikle din dataplattform for å skape verdi fra data!
Magne Bakkeli
91 66 22 69
magne.bakkeli@glitni.no