Wij hebben meerdere bedrijven mogen helpen aan goede, gedegen & bewezen data management strategie. Nu mogen we daarvan iets praktisch terug geven, aan de community die ons ook zo goed heeft geholpen toen wij het nodig hadden.
Wij bieden bij deze een open-source library aan met onze kennis & kunde van jaren data management strategie.
De bibliotheek bevat programmatuur voor gestandaardiseerd verwerken van gegevens tbv het creeëren & combineren van een datamodel. De standaardisatie is gebaseerd op configuratie, zgn configuration-driven.
Gebruikers van de bibliotheek kunnen snel en gemakkelijk grote hoeveelheden gegevens te verwerken en te verplaatsen, terwijl ze volledige controle hebben over de configuratie van het proces. Of u nu op zoek bent naar een snellere manier om gegevens te migreren of gewoon wilt profiteren van de voordelen van een gestandaardiseerde aanpak, onze open source library voor Azure Databricks is de ideale oplossing.
Voorwaarden
Uiteraard zijn er enkele eisen waaraan moet worden voldaan om onze open source library te gebruiken. Zo moet de juiste infrastructuur beschikbaar zijn en gaan we er vanuit dat u bepaalde producten gebruikt:
- Azure Data Lake Storage
- Azure Data Factory
- Azure Databricks
De gelaagdheid steekt als volgt in elkaar:
- Orchestratie & beheer van data gebeurt via Azure Data Factory
- Data opslag wordt gefaciliteerd in Azure Data Lake Storage
- Volgens configuratie gestandaardiseerde dataset verwerking door Azure Data Bricks
Early Adopters
Onze data management filosofie heeft zichzelf bewezen door gebruikt te worden door een aantal grote organisaties.
We werken daarom aan de details van onze open-source library uit met een aantal early adopters, dwz bedrijven die onze data management filosofie hebben geadopteerd en ermee werken.
Bent u geïnteresseerd om met onze data mangement filosofie te werken, gestandaardiseerd door configuratie uw data te verplaatsen & verwerken? Neem contact met ons op!
1) Vrij naar databricks.com, 2020 aug 18 How to accelerate your ETL pipelines from 18 hours to as fast as 5 minutes with Azure Databricks