Data Engineer Migratie naar "Databricks" op Azure-Platform

1 week geleden

Amsterdam, Noord-Holland, Nederland Gemeente Amsterdam Voltijd
Job Description

The main goal of this assignment is to guide the AMI-F and AMI-P data teams in successfully migrating the current Oracle DWH to the Microsoft Azure Data platform of Amsterdam. The focus is on ensuring minimal disruption to existing business processes, aligning with the new data platform architecture, and gradually phasing out the current DWH. The migration aims to accurately transfer essential historical and real-time data to the data platform while maintaining data consistency and reliability. Simultaneously, an evaluation of all current processes and functionalities within the existing DWH will be conducted to determine the extent to which they can be migrated.

It is crucial for this assignment to thoroughly validate the processed data (linking, derivation) to avoid publishing incorrect statistics. In this role, close collaboration with other data engineers, who have significant data expertise, is essential. The tasks involve working with the team, brainstorming, and providing insights on transitioning from our current practices to an optimized and efficient data processing and enrichment process in Databricks. This includes deploying the development environment to production.

Responsibilities:

The data engineer will deliver a migration plan from Oracle DWH to Azure Data platform in PowerPoint, Word, or PDF format.

It will include the following topics:

  • Current DWH with all sources including connections;
  • Current DWH with all recipients;
  • Identification of the required data products;
  • Assessment of data product complexity and dependencies to establish a sequence;
  • Step-by-step plan (including timeline) to transfer all (cleansed) data products, covering source schemas, schemas/datamarts, and all related DWH objects to phase out the current DWH.

Additionally, you will assist the teams with:

  • Coaching and transferring knowledge to team members. Outcome: team members can independently migrate existing pipelines upon completion of the assignment;
  • Promoting knowledge sharing and use case elaboration to establish best practices during data warehouse migrations and cloud VPS to Azure data platform transitions. Outcome: Organizing at least 2 events;
  • Translating existing data pipelines to automated pipelines in Databricks in the Cloud. Outcome: existing code is migrated to the Azure environment (Databricks/Azure DevOps/Azure Blob Storage);
  • Validating if the results of a migrated data pipeline match exactly with the outcomes in the old environment. Outcome: migrated code is meticulously checked for inaccuracies;
  • Brainstorming and advising on the transition from our current practices to an optimized and efficient data processing and enrichment process in Databricks and Azure. Outcome: Optimized data pipelines in Databricks;
  • Providing advice and insights on deploying our data pipelines to production using Git. Outcome: a robust system for deploying from development to production environments;
  • Collaborating actively with other data team members by sharing your knowledge during work, including providing feedback on colleagues' code. Outcome: team members can seek guidance from the candidate and enhance pipeline building and code writing through support;
  • Integrating and modeling data according to the data office guidelines and standards and architectural principles. Outcome: the pipelines have a solid architecture for future development. In addition to coaching and organizing 2 events.

12 months - 36 hours - 1.00 FTE.

Requirements

Dutch native or near-native proficiency required;

  • You have at least a HBO level of education;
  • Minimum of 5 years of experience in complex IT environments, with recent work experience as a data engineer in a larger, complex data-focused environment;
  • Experience with Azure Bricks, SQL, Python, CI/CD, and Git;
  • Experience in coaching and knowledge transfer within the field of data engineering;
  • Understanding of and experience with data architecture and data modeling;
  • Experience in organizing and conducting technical workshops and data events showcasing techniques and determining best practices within the data domain, preferably in the financial sector or G4 municipality;
  • Experience working in a DevOps team, preferably in the financial sector or G4 municipality.

If you see yourself in this profile, apply now We aim to contact you within one working day.

Company Profile

With a team of colleagues, we strive to ensure that Amsterdam remains an attractive capital city. A place where living, working, and schooling are enjoyable. With opportunities for entrepreneurs and visitors. Working for Amsterdam means contributing to something significant. To growth, safety, development, health. Of the city, of the people in Amsterdam. Thus, we pass on Amsterdam; to the future, to future generations. We aim to be a good employer who ensures that all colleagues feel seen and valued. We cherish the differences among colleagues as these variances lead to better outcomes for our organization and our city.

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    VacaturebeschrijvingHet doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    4 weken geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data Engineer Migratie naar "Databricks" op Azure-Platform

    3 weken geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het...

  • Data & Azure Cloud Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Je gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen. Er wordt gewerkt aan het neerzetten van een domein brede...

  • Data & Azure Cloud Engineer

    2 weken geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Je gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen.Er wordt gewerkt aan het neerzetten...

  • Data & Azure Cloud Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    Vacaturebeschrijving Je gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen.Er wordt gewerkt aan het neerzetten...

  • Data & Azure Cloud Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Matchd Voltijd

    VacaturebeschrijvingJe gaat aan de slag in een team dat IT activiteiten uitvoert in opdracht van het Chief Innovation Toezicht (CIOT). Het team ondersteunt de Toezichtdivisies van DNB door het toepassen van moderne data & analytics technieken in het proces van risico identificatie bij onder toezicht staande instellingen.Er wordt gewerkt aan het neerzetten...

  • Data Engineering Specialist

    1 week geleden

    Amsterdam, Noord-Holland, Nederland RedVenture Voltijd

    Als partner in de mantel van de Gemeente Amsterdam zijn we op zoek naar een Data Engineering SpecialistDuur: t/m Locatie: Noord-HollandOptie tot verlenging: JaFunctie: Data Engineering SpecialistOpdrachtomschrijvingDoel:Begeleiden van de datateams AMI-F en AMI-P bij de migratie van het Oracle DWH naar het Microsoft Azure Dataplatform van Amsterdam, met...

  • Data Engineering Specialist

    1 week geleden

    Amsterdam, Noord-Holland, Nederland RedVenture Voltijd

    Als partner in de mantel van de Gemeente Amsterdam zijn wij momenteel op zoek naar een specialist op het gebied van Data Engineering.Duur: t/mLocatie: Noord-HollandOptie tot verlenging: JaFunctie: Data Engineering SpecialistOpdrachtomschrijvingDoel: Assisteren van de datateams AMI-F en AMI-P bij de overgang van het Oracle DWH naar het Microsoft Azure...

  • Azure Data Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland HSD Campus Voltijd

    Draag met data van hoge kwaliteit bij aan een betrouwbare Nederlandse bankensector, als Azure data engineer toezicht banken bij DNB. Jij hebt impact Bij DNB heb je impact op financiële stabiliteit en duurzame welvaart. Als Azure data engineer toezicht banken ben, je samen met je collega's, verantwoordelijk voor bancaire toezichtdata van zo...

  • Azure Data Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland De Nederlandsche Bank Voltijd

    Jij hebt impact Bij DNB heb je impact op financiële stabiliteit en duurzame welvaart. Als Azure data engineer toezicht banken ben, je samen met je collega's, verantwoordelijk voor bancaire toezichtdata van zo hoog mogelijke kwaliteit. Banken leveren data aan DNB aan die gebruikt worden in het (inter)nationale toezicht. Die data worden met behulp van...

  • Azure Data Architect

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Avanade Voltijd

    Come join usAs an Azure Data & AI Architect, you'll have the unique opportunity to shape our clients' digital future. You will work on defining client roadmaps, integrating intelligent processes, and planning solutions on the Microsoft Azure platform, covering a range of services such as Azure Databricks, Azure Data Factory, Azure Synapse Analytics, and...

  • Sr. Solutions Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Databricks Voltijd

    At Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make informed decisions that push their business forward. We provide a user-friendly and...

  • Azure Data Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland CGI Voltijd

    Position Description: Are you a seasoned Engineer with solid knowledge of Microsoft Azure Cloud? We're excited to hear from you! Your role in our team You possess extensive expertise in Microsoft Azure, covering Azure Data Factory, Azure Synapse Analytics, Azure Storage, Azure Databricks, Azure HDInsight, Azure Function, Spark, Python, and SQL. We...

  • Data Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Snaphunt Voltijd

    The OfferCollaborative work enviornmentNo-ego no-nonsense cultureTech playgroundThe JobAs a Data Engineer at RevoData, your input really matters and you'll play a crucial role in our mission. At the end of everyday, you close your laptop knowing you've truly made a difference. Manage big data volumes to ensure streamlined data processing Stay on top of...

  • Data Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Hot ITem Groep Voltijd

    Job DescriptionAls Data Engineer maak je oplossingen die echt impact hebben. Bij ons draait het niet alleen om het inzetten van techniek, maar ook om het begrijpen en benutten van de data zelf. Of je nu een datahub voor de grootste pech-hulpverlener van Nederland bouwt of een modern datafundament ontwikkelt voor een openbaar vervoerbedrijf, door jou kan de...

  • Data Engineering Associate

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Metyis Voltijd

    We are looking for a Data professional to join our Data Engineering team. As a Data Engineer Associate, you are responsible for turning our clients' business a more data-driven one, where data is used to drive action in every team, every day.What we offer: Interact with senior stakeholders at our clients on regular basis to drive their business towards...

  • Senior Data Engineer

    1 maand geleden

    Amsterdam, Noord-Holland, Nederland Talentor Netherlands Voltijd

    Become part of the most revolutionary transition to fossil free transportation in history A leading European fossil free transportation startup with offices in Amsterdam and Arnhem is looking for a DataBricks specialist. Join the transition at an unique starting phase of a new company with a real purpose ...Become part of the most revolutionary transition to...

  • Senior Data Engineer

    1 week geleden

    Amsterdam, Noord-Holland, Nederland Talentor Netherlands Voltijd

    Become part of the most revolutionary transition to fossil free transportation in history A leading European fossil free transportation startup with offices in Amsterdam and Arnhem is looking for a DataBricks specialist. Join the transition at an unique starting phase of a new company with a real purpose ...Become part of the most revolutionary transition to...