Het Kadaster registreert en verstrekt gegevens over de ligging van vastgoed in Nederland en de daarmee samenhangende rechten, zoals eigendom en hypotheek. Als zelfstandig bestuursorgaan is dat onze wettelijke taak. Onze gegevens bieden houvast bij het onderzoeken van maatschappelijke vraagstukken, of het nu gaat om de beste route voor een nieuwe snelweg, actuele ontwikkelingen op de woningmarkt of het in beeld brengen van leegstand.
Omschrijving werkzaamheden
Je bent verantwoordelijk voor het bouwen van de dataoplossingen op het platform. Je werkt in een klein team intensief samen met de overige teamleden. Je hebt daarbij een hoge mate van zelfstandigheid. Daarnaast heb je de vrijheid en verantwoordelijkheid om mee te denken met nieuwe toepassingen, die het dataplatform van Databricks kunnen verrijken. Jouw rol in één zin: de ruwe data in het dataplatform, werkbaar maken (d.m.v. Tools als PowerBI).
Kort gezegd zorg jij ervoor als data engineer in een Databricks-platformbeheerteam dat de omgeving stabiel, veilig, kostenefficiënt en gebruiksvriendelijk is, zodat data scientists, data analisten en engineers er optimaal gebruik van kunnen maken.
Belangrijkste technieken, methoden en tools
- Microsoft Azure Cloud
- Databricks
- Bouwen van dataoplossingen op het platform
- Agile werken
- ServiceNow
- Projectmatig werken
- Kennis van Python
Verantwoordelijkheden
De belangrijkste taken en verantwoordelijkheden zijn
- Migreren van verschillende soorten data naar het platform.
- Meedenken met nieuwe toepassingen die het dataplatform kunnen verrijken.
- Bedenken welk testtype de voorkeur heeft en kun het vervolgens ontwerpen en toepassen.
- Ondersteunen teams met oplossingen op hun vragen.
- Lezen en maken van LLD's (low level designs).
Een data engineer binnen een platformbeheerteam dat Databricks beheert, heeft een veelzijdige rol die zich richt op zowel de infrastructuur als de ontwikkeling van data-oplossingen.
De belangrijkste taken zijn:
Beheer en optimalisatie van Databricks-infrastructuur
- Onderhouden en configureren van Databricks-clusters (autoscaling, compute-resources, netwerkconfiguratie).
- Beheren van Unity Catalog.
- Optimaliseren van kosten en performance (cluster policies en job-scheduling).
Automatisering en CI/CD
- Opzetten en beheren van Infrastructure as Code (IaC) voor Databricks-omgevingen (Terraform).
- Automatiseren van deployment pipelines voor notebooks en jobs.
- Versiebeheer en monitoring van Databricks-code en assets.
Ondersteuning van data teams
- Samenwerken met data scientists en data engineers om ETL/ELT-pipelines efficiënter te maken.
- Adviseren over best practices in Databricks (bijv. Delta Lake-optimalisatie, gebruik van Photon Engine).
- Troubleshooting en ondersteuning bij performance issues en foutopsporing.
Security en Compliance
- Beheren van toegangscontrole (bijv. Via Unity Catalog, SCIM-integratie, RBAC).
- Implementeren van audit logging en monitoring (bijv. Via Azure Monitor, Databricks SQL audit logs).
- Zorgen voor data governance en naleving van security policies (GDPR, ISO27001).
Integraties en API-beheer
- Koppelen van Databricks met externe databronnen.
- Beheren van API-integraties en data-uitwisseling met andere systemen.
- Onderhouden en ontwikkelen van custom connectors of Databricks Jobs API-implementaties.
Taken
- Ontwerpen valideren aan de hand van de best practises van Microsoft en de kadaster richtlijnen.
- Landingszone beschikbaar stellen aan diverse platformteams.
- Platformteams ondersteunen en begeleiden bij vragen en kennisopbouw.
- Ontwikkelen en implementeren van oplossingen.
- Assisteren bij troubleshooting en probleemoplossing.
- Documenteren van oplossingen en best practices.
Let op: Door de huidige wetgeving rondom de Wet DBA en de aard van de werkzaamheden bieden wij deze opdracht uitsluitend aan op basis van een tijdelijk loondienstverband. Factureren als zzp'er is niet mogelijk, ook niet vanuit je eigen BV. Zzp'ers worden daarom tijdelijk op onze payroll geplaatst.
6 maanden | 32 - 40 uur per week | 0,88 - 1 fte
Dutch native or near native
Knock-outcriteria:
- Bachelor- of masterdiploma in computerwetenschappen, informatica, of een gerelateerd vakgebied.
- Minimaal 3 jaar ervaring in een vergelijkbare functie als Data Engineer.
- Minimaal 3 jaar ervaring in SQL, Python (PySpark, Scala of Java is een pré);
- Je weet op welke manieren je (big) data kunt opslaan en welke tools je daarvoor gebruikt;
- Overige Azure certificeringen zijn een pluspunt;
- Bekendheid met overheid compliance-normen zoals ISO 27001, GDPR, AVG en andere relevante voorschriften;
- Taalniveau Nederlands minimaal B2.