Sr. Devops Engineer
Het team Informatie Voorziening bij Kadaster is op zoek naar een Senior DevOps Engineer.
Informatie Voorziening is het team binnen het Kadaster voor Data Engineering. Vanuit verschillende bronnen wordt data verzameld, analyses gemaakt en wordt het resultaat beschikbaar gesteld voor derden. Data wordt beschikbaar gesteld middels data exports (copy van data naar andere postgress DB’s) en REST API’s (FastAPI).
Het team onderhoud de ELT en ETL processen. Het gebruik van Databricks zal een steeds grotere rol gaan spelen binnen dit team en het Kadaster.
Opdrachtomschrijving
Je komt als Senior DevOps Engineer te werken in een relatief nieuw team. Het team is ontstaan vanuit de visie om als Kadaster meer data gericht te werken. Momenteel zijn we vooral druk met de bestaande software te migreren naar een Cloud(ready) omgeving, in de toekomst zal het werk meer bestaan uit het Data Enginering. Focus zal in eerste instantie liggen op het migreren van de Jenkins pipelines naar ons eigen DevOps platform (MAP) o.b.v. Tekton, Docker, Terraform, ArgoCD en Helm charts.
Binnen de dienst zijn er momenteel veel puntoplossing en per oplossing is er één DevOps pipeline, doel is om over te stappen op ons MAP platform, maar ook generieke DevOps pipelines te maken waardoor ons beheer een stuk eenvoudiger wordt.
Belangrijkste technieken, methoden en tools
- Python;
- Databricks;
- Dbt;
- SQL (PostgresSQL/SparkSQL);
- PySpark;
- FastAPI server;
- Docker;
- Prefect;
- Kubernetes;
- CI/CD tooling (Git/Gitea, Tekton en ArgoCD);
- Artifactory;
- Azure container registry;
- Azure Datalake;
- Postgres database;
- Microsoft Azure;
- Tekton;
- OpenShift.
