Senior Engineer, Data Engineering
4 dagen geleden
Maassluis, Gem. Maassluis; Zuid-Holland, Nederland
Lely
Voltijd
Gratis via e-mail of Google
Bewaar deze vacature en houd uw zoekopdracht georganiseerd
Maak een gratis account aan om vacatures op te slaan, waarschuwingen aan te maken en vanaf uw dashboard terug te keren naar deze vermelding.
Gratis via e-mail of Google
Als u doorgaat, gaat u akkoord met onze Voorwaarden & Privacybeleid.
Overview In deze rol vorm je het hart van ons lakehouse-platform door data uit diverse bronnen betrouwbaar en schaalbaar beschikbaar te maken voor analytics en rapportage. Je werkt in het DWHM-team aan robuuste dataprodukten en draagt bij aan continue verbeteringen in software, cloud en operationeel eigenaarschap. Je combineert engineering met data governance om productieomgevingen betrouwbaar te houden. Dit biedt een kans om impact te hebben op de transformatie van data-gedreven besluitvorming binnen een wereldwijde agrarische organisatie.
Arbeidsvoorwaarden / Benefits
tot 8 weken vakantie per jaar
sterke pensioenregeling
ontwikkelingsmogelijkheden via Lely Academy
moderne Lely Campus met uitgebreide sportfaciliteiten
gratis shuttlebus naar metro Maassluis
barista koffie en bedrijfsrestaurant
Verantwoordelijkheden
Bouwen en verbeteren van data-ingestieprocessen voor diverse databronnen in Databricks
Ontwerpen en implementeren datawarehouse
- en Delta Lake-patronen (CDC, SCD Type 2, incremental loading, deduplicatie) Beheren van Databricks-componenten (Workflows, Unity Catalog, Compute Clusters) en onderhouden van IaC (Databricks Asset Bundles, OpenTofu/Terraform) Onderzoeken van nieuwe bron
- en integratietypen, uitvoeren van proof-of-concepts en bijdragen aan platformontwikkeling Eigenaarschap nemen voor betrouwbaarheid van productieomgevingen (monitoring, incidentanalyse, kostenbewaking) Kwaliteit waarborgen via design reviews, tests en het verbeteren van engineeringprocessen binnen een agile werkomgeving Actieve bijdrage aan agile werkwijze door backlog refinement, inschattingen en risicobeheersing Belangrijkste vereisten Minimaal 5 jaar relevante ervaring als Data Engineer of vergelijkbaar in data
- en cloudomgevingen Sterke Python-engineeringvaardigheden (OO, modulaire architecturen, testbare code) Sterke SQL-vaardigheden voor data-extractie, transformatie en validatie Ervaring met dataontsluiting uit API's, SQL-databases en file-based bronnen (FTP/SFTP) Hands-on ervaring met Databricks (Workflows, Spark, Delta Lake, Unity Catalog) Kennis van Delta Lake
- en datawarehouse-patronen (CDC, SCD2, incremental loading, deduplicatie) Ervaring met unit testing en integratietesten, CI/CD en tooling zoals GitLab Kennis van cloudtechnologieën, bij voorkeur Azure Ervaring met monitoring, incident debugging en productiebetrouwbaarheid Pragmatische houding ten aanzien van AI-ondersteunde softwareontwikkeling Woonachtig in Nederland Samenwerking in cross-functionele teams Pragmatisch en oplossingsgericht Analytisch en kwaliteitsgericht Python (OO en modulaire architecturen) SQL voor data-extractie en validatie Databricks (Workflows, Spark, Delta Lake, Unity Catalog)
- en Delta Lake-patronen (CDC, SCD Type 2, incremental loading, deduplicatie) Beheren van Databricks-componenten (Workflows, Unity Catalog, Compute Clusters) en onderhouden van IaC (Databricks Asset Bundles, OpenTofu/Terraform) Onderzoeken van nieuwe bron
- en integratietypen, uitvoeren van proof-of-concepts en bijdragen aan platformontwikkeling Eigenaarschap nemen voor betrouwbaarheid van productieomgevingen (monitoring, incidentanalyse, kostenbewaking) Kwaliteit waarborgen via design reviews, tests en het verbeteren van engineeringprocessen binnen een agile werkomgeving Actieve bijdrage aan agile werkwijze door backlog refinement, inschattingen en risicobeheersing Belangrijkste vereisten Minimaal 5 jaar relevante ervaring als Data Engineer of vergelijkbaar in data
- en cloudomgevingen Sterke Python-engineeringvaardigheden (OO, modulaire architecturen, testbare code) Sterke SQL-vaardigheden voor data-extractie, transformatie en validatie Ervaring met dataontsluiting uit API's, SQL-databases en file-based bronnen (FTP/SFTP) Hands-on ervaring met Databricks (Workflows, Spark, Delta Lake, Unity Catalog) Kennis van Delta Lake
- en datawarehouse-patronen (CDC, SCD2, incremental loading, deduplicatie) Ervaring met unit testing en integratietesten, CI/CD en tooling zoals GitLab Kennis van cloudtechnologieën, bij voorkeur Azure Ervaring met monitoring, incident debugging en productiebetrouwbaarheid Pragmatische houding ten aanzien van AI-ondersteunde softwareontwikkeling Woonachtig in Nederland Samenwerking in cross-functionele teams Pragmatisch en oplossingsgericht Analytisch en kwaliteitsgericht Python (OO en modulaire architecturen) SQL voor data-extractie en validatie Databricks (Workflows, Spark, Delta Lake, Unity Catalog)