dbt | Oppsummering av Coalesce 2022

Konferansen dbt Coalesce 2022 gikk av stabelen forrige uke i New Orleans, USA - med endags-konferanser i London og Sydney. Gjennom uken fikk man presentasjoner av høy kvalitet og et livlig chatteforum på dbts Slack-kanal hvor man diskuterte innleggene med deltakere fra hele verden som deler sin kjærlighet for data.

dbt har fått økende popularitet blant utviklere i de senere årene. Det er flere grunnner til dette - bl.a. muliggjør dbt effektiv og skalerbar datamodellering hvor utviklere og andre interessenter har oversikten over hva som eksisterer av dataprodukter og hvordan de er definert med forretningslogikk og datakilder. Tiden med komplekse SSIS-jobber uten oversikt over kilder, forretningslogikk og potensielle skjema-endringer er muligens forbi for mange som tar dbt i bruk.

Under Coalesce 2022 ble det lansert to spennende produkter i dbt Core (åpen kildekode) og dbt Cloud (dbt hostet i skyen av dbt Labs).

Semantic Layer er lansert i Public Preview for dbt Cloud-kunder

Med lanseringen av Semantic Layer utvides dbts tjenesteportefølje med et semantisk lag på toppen av datamodellene, slik at man kan tilgjengeliggjøre definerte måltall og KPIer på tvers av organisasjonen og sikre at alle bruker de samme definisjonene og datagrunnlaget.

I lys av denne lanseringen blir det interessant å se hvordan dbt Labs posisjoner produktet i markedet sammenlignet med konkurrerende tjenester som ønsker å kapre kunder i sin plattform, noe Lookers løsning Looker Universal Semantic Model er et eksempel på.

For at det nye produktet Semantic Layer skal lykkes er dbt Labs avhengige av å utvide sin integrasjonsportefølje.

Semantic Layer er foreløpig gjort tilgjengelig i dbt Cloud i en Public Preview-periode.

dbt Core utvides med Python-støtte

Utvidelsen med Python-støtte i dbt Core lar utviklere skrive i Python for å utvikle dbt-modeller for transformasjon av data.

Endelig har man muligheten å utvikle data pipelines ved å mikse SQL og Python - som passer veldig godt i en “lakehouse”-setting hvor man kan utnytte de samme datakildene og lande data i samme område som man har et datavarehus.

Dette gir stor verdi i situasjoner hvor man eksempelvis kan anvende eksisterende Python-pakker for å komme raskere frem til målet med færre kodelinjer sammenlignet med SQL. Det man har kodet i Python kompileres av dbt som eksekverer dette i dataplattformen (per dags dato støttes dette i Databricks, BigQuery og Snowflake).

dbt Cloud får nytt brukergrensesnitt

dbt Cloud får et nytt UI med signifikante endringer ila oktober og november 2022. Dette har vært i preview en stund, men blir nå standard for alle.

• Flere oppgraderinger gjør at brukergrensesnittet blir raskere (dette har vært noe som har skapt friksjon for bruken av dbt Clouds UI).
• Oppgradert visualiseringer for kjøretid, feil og andre nøkkeltall av data pipelines.
• Lansering av flere tjenester som fremmer utvikler-produktivitet, deriblant innebygget formattering av SQL og “git diff view” - for å se hva som har endret seg i dine filer før man gjør en pull request (kommer i november 2022).

Coalesce 2023

Vi gleder oss til neste års Coalesce som da blir holdt i San Diego og det blir spennende å se hvilken retning dbt Labs ønsker å ta dbt.

Hvis du vurderer å komme igang med dbt, eller du lurer på hvordan konsekvensene av disse lanseringene slår ut på deres implementering av dbt - ta gjerne kontakt med oss for en hyggelig prat.