Er wordt een nieuw data platfom gebouwd op Azure, gebruikmakend van Databricks, SQL Server en PowerBI voor dashboarding. De dashboards worden gepubliceerd op een webportaal, waarop klanten inloggen en hun informatie kunnen inzien. Als Senior Data Engineer ben je verantwoordelijk voor de technische implementatie van deze oplossing. Er zijn diverse bronsystemen, waaronder een legacy systeem dat minder goed gedocumenteerd is en gestructureerde en ongestructureerde databronnen. De informatie die de klanten te zien krijgen is van hoge kwaliteit en daarbij wordt goed gelet op het juist en compleet updaten van het data platform. Je zult schaalbare datapijplijnen ontwikkelen en onderhouden en bijdragen aan het optimaliseren van datastromen en -dataverzameling samen met teams van mensen uit de business organisatie.
Belangrijke activiteiten
- Bouwen en mede ontwerpen van een nieuw data platform;
- Verder opzetten van datawarehouse- en informatiebusarchitectuur conform bronze-silver-gold;
- Opschonen en voorbereiden van data voor analyse;
- Automatiseren van datapijplijnen;
- Implementeren van oplossingen voor dataopslag;
- Waarborgen van datakwaliteit en -integriteit;
- Dashboards opstellen op basis van bedrijfsvereisten.