Data Engineer Migratie naar "Databricks" op Azure-Platform

3 weken geleden

Amsterdam, Nederland Matchd Voltijd
Vacaturebeschrijving

Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het uiteindelijk stapsgewijs uitfaseren van het huidige DWH. Deze migratie moet ervoor zorgen dat de meest belangrijke historische en actuele gegevens nauwkeurig worden overgebracht naar het dataplatform, terwijl de consistentie en betrouwbaarheid van de gegevens behouden blijven. Tegelijkertijd wordt er gekeken naar alle huidige processen en functionaliteit binnen het huidige DWH en te bepalen in hoeverre dit mee gemigreerd kan worden.

Het is voor deze opdracht daarom ook van belang om de data na bewerking (koppelen, afleiden) inhoudelijk goed te controleren, zodat we geen verkeerde statistieken publiceren. In deze functie wordt nauw samengewerkt met de andere data engineers die ook inhoudelijk veel ervaring hebben met de data. In het kort omvatten de werkzaamheden het meewerken met het team en meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks komen. Hieronder valt ook het deployen van ontwikkelomgeving naar productie.

Werkzaamheden:

De data engineer levert een plan van aanpak Oracle DWH naar Azure Dataplatform in Powerpoint, Word of PDF.

Daarin staan de volgende onderwerpen beschreven:

  • Huidige DWH met alle bronnen incl. De koppelingen;
  • Huidige DWH met alle afnemers;
  • Identificeren van de op te leveren dataproducten;
  • Identificeren van complexiteit en afhankelijkheid van dataproducten om een volgordelijkheid te bepalen;
  • Stappenplan (ook in tijd) om alle (geschoonde) dataproducten over te zetten, dit omvat bronschema's, schema's/datamarts en alle aanverwante DWH objecten om het huidige DWH uit te kunnen faseren.

Daarnaast help je de teams met:

  • Coachen en kennis overdragen naar de teamleden. Resultaat: teamleden kunnen na afloop van de opdracht zelfstandig bestaande pipelines migreren;
  • Het najagen van kennisdelen en use case uitwerkingen om tot best practices te komen gedurende de migraties van datawarehouses en cloudVPS naar azure dataplatform. Resultaat: Organiseren van minimaal 2 events;
  • Het omschrijven van bestaande datapipelines naar geautomatiseerde datapipelines in Databricks in de Cloud. Resultaat: bestaande code is gemigreerd naar Azure omgeving (Databricks/Azure Devops/Azure blob storage);
  • Je controleert of de resultaten van een gemigreerde datapipeline exact dezelfde resultaat opleveren als in de oude omgeving. Resultaat: gemigreerde code is nauwkeurig gecontroleerd op onjuistheden;
  • Meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks en Azure komen. Resultaat: Geoptimaliseerde data pipelines in Databricks;
  • Je geeft advies en denkt mee over hoe we onze datapipelines met behulp van Git kunnen deployen in productie. Resultaat: een goed systeem om te kunnen deployen van ontwikkel omgeving naar productie omgeving;
  • Actief samenwerken met de overige datateamleden door tijdens het werk jouw kennis over te dragen, onder andere door feedback te geven op code van collega's. Resultaat: teamleden kunnen met vragen terecht bij de kandidaat en kunnen door ondersteuning betere pipelines bouwen en code schrijven;
  • Het integreren en modelleren van data conform richtlijnen en standaarden van de data office en conform architectuur principes. Resultaat: de pipelines hebben een goede architectuur waar we op voort kunnen bouwen. Naast de coaching en 2 events organiseren.

12 maanden - 36 uur - 1,00 fte.

Dutch native or near native;

  • Jebeschikt minimaal over een HBO werk- en denkniveau;
  • Je beschikt over minimaal 5 jaar werkervaring, die is opgedaan in complexe IT omgevingen en beschikt over recente werkervaring als data engineer in een grotere, complexe data georiënteerde omgeving;
  • Ervaring met Azure Bricks, SQL, Python, CI/CD en Git;
  • Ervaring in het coachen en kennis overdragen binnen het vakgebied data engineering;
  • Begrip van en ervaring met data architectuur en data modellering;
  • Ervaring met het organiseren en geven van technische workshops en data events waarbij het demonstreren van technieken en het bepalen van best practices binnen het data werkgebied centraal staat, bij voorkeur binnen de financiële sector (1500 +FTE);
  • Ervaring met het werken in een devops team, bij voorkeur binnen de financiële sector (1500 +FTE) of G4 gemeente.

Herken jij jezelf in dit profiel? Solliciteer dan direct We streven ernaar om binnen één werkdag contact met je op te nemen.

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    3 weken geleden

    Amsterdam, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    3 weken geleden

    Amsterdam, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    6 dagen geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    6 dagen geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    VacaturebeschrijvingHet doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    3 weken geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    3 weken geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    4 weken geleden

    Amsterdam, Nederland Gemeente Amsterdam Voltijd

    De functieHet doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het uiteindelijk...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    3 weken geleden

    Amsterdam, Nederland Gemeente Amsterdam Voltijd

    De functieHet doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het uiteindelijk...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    5 dagen geleden

    Amsterdam, Noord-Holland, Nederland Gemeente Amsterdam Voltijd

    Job DescriptionThe main goal of this assignment is to guide the AMI-F and AMI-P data teams in successfully migrating the current Oracle DWH to the Microsoft Azure Data platform of Amsterdam. The focus is on ensuring minimal disruption to existing business processes, aligning with the new data platform architecture, and gradually phasing out the current DWH....

  • Data Engineer

    10 uur geleden

    Amsterdam, Nederland ABN AMRO Bank Voltijd

    Your job We are looking for a data engineer with passion, overview and technical skills. As a member of a DevOps team you are responsible for development but also daily operations. In a short period of time you are able to obtain extensive knowledge of our large and complex data models to be able to make the necessary future changes, support production...

  • Data & Azure Cloud Engineer

    6 dagen geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Je gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen. Er wordt gewerkt aan het neerzetten van een domein brede...

  • Data & Azure Cloud Engineer

    2 weken geleden

    Amsterdam, Nederland Matchd Voltijd

    Vacaturebeschrijving Je gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen.Er wordt gewerkt aan het neerzetten...

  • Data & Azure Cloud Engineer

    2 weken geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Je gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen.Er wordt gewerkt aan het neerzetten...

  • Data & Azure Cloud Engineer

    5 dagen geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Je gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen.Er wordt gewerkt aan het neerzetten...

  • Data & Azure Cloud Engineer

    6 dagen geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    VacaturebeschrijvingJe gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen.Er wordt gewerkt aan het neerzetten...

  • Data Engineering Specialist

    5 dagen geleden

    Amsterdam, Noord-Holland, Nederland RedVenture Voltijd

    Als partner in de mantel van de Gemeente Amsterdam zijn we op zoek naar een Data Engineering SpecialistDuur: t/m Locatie: Noord-HollandOptie tot verlenging: JaFunctie: Data Engineering SpecialistOpdrachtomschrijvingDoel:Begeleiden van de datateams AMI-F en AMI-P bij de migratie van het Oracle DWH naar het Microsoft Azure Dataplatform van Amsterdam, met...

  • Data Engineering Specialist

    5 dagen geleden

    Amsterdam, Noord-Holland, Nederland RedVenture Voltijd

    Als partner in de mantel van de Gemeente Amsterdam zijn wij momenteel op zoek naar een specialist op het gebied van Data Engineering.Duur: t/mLocatie: Noord-HollandOptie tot verlenging: JaFunctie: Data Engineering SpecialistOpdrachtomschrijvingDoel: Assisteren van de datateams AMI-F en AMI-P bij de overgang van het Oracle DWH naar het Microsoft Azure...

  • Azure Data Engineer

    5 dagen geleden

    Amsterdam, Noord-Holland, Nederland HSD Campus Voltijd

    Draag met data van hoge kwaliteit bij aan een betrouwbare Nederlandse bankensector, als Azure data engineer toezicht banken bij DNB. Jij hebt impact Bij DNB heb je impact op financiële stabiliteit en duurzame welvaart. Als Azure data engineer toezicht banken ben, je samen met je collega's, verantwoordelijk voor bancaire toezichtdata van zo...

  • Azure Data Architect

    6 dagen geleden

    Amsterdam, Nederland Avanade Voltijd

    Come join us As an Azure Data & AI Architect, you'll have the unique opportunity to shape our clients' digital future. You will work on defining client roadmaps, integrating intelligent processes, and planning solutions on the Microsoft Azure platform, covering a range of services such as Azure Databricks, Azure Data Factory, Azure Synapse Analytics, and...

  • Pre-sales Solutions Engineer

    4 weken geleden

    Amsterdam, Nederland Databricks Voltijd

    Req ID FEQ325R52At Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make informed decisions that push their business forward. We provide a...