Big Data Developer

4 dagen geleden

Ede, Gelderland, Nederland Dexian Voltijd

Job Title: Data Engineer (AWS, Python, PySpark, Terraform, CI/CD)

Remote

C2H role

Job Overview: We are seeking a skilled Data Engineer with experience in Python programming, PySpark, and cloud technologies. The ideal candidate will be proficient in building and maintaining data pipelines on AWS using EMR, ECS, and other AWS services. The role involves writing efficient code, optimizing performance, automating deployments, and working with various orchestration and CI/CD tools.

Required Skills & Qualifications:

  • Strong expertise in Python programming (Scala programming skills are a plus).
  • Experience with PySpark for processing large volumes of data and optimizing Spark jobs.
  • Proficiency in SQL and Shell scripting.
  • Familiarity with Luigi or Airflow for workflow orchestration.
  • Experience with CI/CD tools such as Jenkins, Terraform, and GitHub Actions.
  • Familiarity with AWS Cloud Services, including S3, EMR, EC2, Lambda, Glue, StepFunctions, VPC, OpenSearch.

Key Responsibilities:

  • Build and maintain Big Data pipelines on AWS (EMR, ECS) for unstructured data processing.
  • Write and optimize Python and Scala code for data processing.
  • Develop PySpark code to process and analyze large datasets.
  • Tune Spark jobs to improve execution time and efficiency.
  • Write modularized Terraform code to provision AWS resources (e.g., Lambda, Step Functions, EC2, EMR, ECS, VPC, S3).
  • Create and maintain CI/CD pipelines for code deployment, including Terraform and other data processing scripts.
  • Write Luigi workflows for data pipeline orchestration.
  • Develop and maintain Shell scripts for automation tasks.

Desired Technologies & Knowledge:

  • AWS Cloud Services: S3, EMR, EC2, Lambda, Glue, StepFunctions, VPC, OpenSearch.
  • Orchestration Tools: Airflow, Luigi.
  • CI/CD Tools: Jenkins, Terraform, GitHub Actions.
  • Data Processing: Python, PySpark, SQL, Shell Scripting.
  • Semantic Search: Vector DB Search, Similarity Scoring, Embeddings (pre-trained/custom), Semantic Indexing.

Nice to Have:

  • Knowledge of Semantic Search algorithms and vector databases.
  • Familiarity with machine learning models related to embeddings and semantic indexing.

Dexian is a leading provider of staffing, IT, and workforce solutions with over 12,000 employees and 70 locations worldwide. As one of the largest IT staffing companies and the 2nd largest minority-owned staffing company in the U.S., Dexian was formed in 2023 through the merger of DISYS and Signature Consultants. Combining the best elements of its core companies, Dexian's platform connects talent, technology, and organizations to produce game-changing results that help everyone achieve their ambitions and goals.

Dexian's brands include Dexian DISYS, Dexian Signature Consultants, Dexian Government Solutions, Dexian Talent Development and Dexian IT Solutions. Visit https://dexian.com/ to learn more.

Dexian is an Equal Opportunity Employer that recruits and hires qualified candidates without regard to race, religion, sex, sexual orientation, gender identity, age, national origin, ancestry, citizenship, disability, or veteran status

  • Big Data Developer

    4 dagen geleden

    Ede, Gelderland, Nederland Dexian Voltijd

    Job Title: Data Engineer (AWS, Python, PySpark, Terraform, CI/CD) Remote C2H role Job Overview: We are seeking a skilled Data Engineer with experience in Python programming, PySpark, and cloud technologies. The ideal candidate will be proficient in building and maintaining data pipelines on AWS using EMR, ECS, and other AWS services. The role involves...

  • Big Data Solutions Specialist

    4 dagen geleden

    Ede, Gelderland, Nederland Dexian Voltijd

    About DexianDexian is a leading provider of staffing, IT, and workforce solutions with over 12,000 employees and 70 locations worldwide. Our platform connects talent, technology, and organizations to produce game-changing results that help everyone achieve their ambitions and goals. We offer a wide range of services, including staffing, recruitment,...

  • Data Engineer Expert

    4 dagen geleden

    Ede, Gelderland, Nederland Dexian Voltijd

    Job DescriptionWe are seeking a highly skilled Data Engineer to join our team at Dexian. As a leading provider of staffing, IT, and workforce solutions, we offer unparalleled opportunities for growth and development.About the RoleAs a Data Engineer at Dexian, you will be responsible for building and maintaining big data pipelines on AWS, utilizing EMR and...

  • Senior Developer in de Flexmarkt

    16 uur geleden

    Ede, Gelderland, Nederland Pivoton Voltijd

    Wij zoeken een **ontwikkelaar die zich wil blijven ontwikkelen** in onze dynamische omgeving waarin ruimte is voor innovatie en continue verbetering. Jij bent een creatieve geest die met gemak complexe problemen oplost en hoogwaardige softwareoplossingen ontwikkelt. We gebruiken Oracle plsql, SqlAlchemy en Outsystems om data op te halen uit een Oracle...

  • Full Stack Developer NL

    2 dagen geleden

    Ede, Gelderland, Nederland Pivoton Voltijd € 3.000 - € 6.000

    Je komt terecht in een Scrumban-team van enthousiaste developers, testers en requirements engineers die samenwerken aan het uitwerken van epics op onze roadmap.Onze WerkwijzeWij werken Agile en kijken naar innovatie en continue verbetering.We zetten Oracle plsql en SqlAlchemy in om data op te halen uit een Oracle database.We werken met Outsystems en Python...

  • Python Programmeerder

    24 uur geleden

    Ede, Gelderland, Nederland Pivoton Voltijd

    **Wij zijn een gerenommeerde IT-partner** in de flexmarkt. Ons team werkt volgens de Agile-methodologie en we hebben een hechte band met onze collega's. Jij bent een creatieve geest die met gemak complexe problemen oplost en hoogwaardige softwareoplossingen ontwikkelt. We gebruiken Oracle plsql, SqlAlchemy en Outsystems om data op te halen uit een Oracle...

  • Senior Ontwikkelaar

    1 dag geleden

    Ede, Gelderland, Nederland Pivoton Voltijd

    Wij zijn een gerenommeerde IT-partner in de flexmarkt, en dat is niet voor niets Sinds 2022 maken wij onderdeel uit van zvoove, Europees marktleider in software toepassingen in de flexmarkt. Ons hechte team van ongeveer 35 collega's werkt volgens de Agile-methodologie, waar flexibiliteit en samenwerking onze drijfveren zijn. Je komt terecht in een (Scrumban)...

  • Databasebeheerder MS SQL Server

    2 weken geleden

    Ede, Gelderland, Nederland Jelling Voltijd

    Max. € 4.500,- | Ben jij een echte puzzelaar, en ben je op zoek naar een uitdagende functie als Databasebeheerder? Reageer dan directFunctieomschrijvingBen jij een echte puzzelaar met een passie voor data? Dan hebben wij de perfecte vacature voor je beschikbaar Voor een werkgever in regio Ede zijn wij op zoek naar een ervaren MS SQL Server Specialist. Je...

  • Senior Python Developer

    2 dagen geleden

    Ede, Gelderland, Nederland Pivoton Voltijd

    Pivoton: onze missionWij zijn de IT-business partner voor de flexmarkt. Met 40 jaar ervaring hebben wij een schat aan kennis opgebouwd op het gebied van het uitzendproces, IT-oplossingen en wet- en regelgeving.Een unieke SaaS-oplossingWe bieden unieke SaaS-oplossingen voor de flexmarkt. Onze expertise is erkend in Europa en dat wil zeggen veel voor ons!Agile...

  • Python Ontwikkelaar

    3 dagen geleden

    Ede, Gelderland, Nederland Pivoton Voltijd

    Pivoton is dé IT-business partner voor de flexmarkt. Met 40 jaar ervaring hebben wij een schat aan kennis opgebouwd op het gebied van het uitzendproces, IT-oplossingen en wet- en regelgeving. Onze SaaS-oplossingen voor de flexmarkt zijn uniek. Wij zijn een gerenommeerde IT-partner in de flexmarkt, en dat is niet voor niets Sinds 2022 maken wij onderdeel uit...

  • Python Ontwikkelaar

    1 week geleden

    Ede, Gelderland, Nederland Pivoton Voltijd

    Pivoton is dé IT-business partner voor de flexmarkt. Met 40 jaar ervaring hebben wij een schat aan kennis opgebouwd op het gebied van het uitzendproces, IT-oplossingen en wet- en regelgeving. Onze SaaS-oplossingen voor de flexmarkt zijn uniek. Wij zijn een gerenommeerde IT-partner in de flexmarkt, en dat is niet voor niets Sinds 2022 maken wij onderdeel uit...

  • SQL DBA

    2 weken geleden

    Ede, Gelderland, Nederland Jelling Voltijd

    Max. € 4.500,- | Ben jij op zoek naar een leuke uitdaging als Database Administrator? Solliciteer dan snel FunctieomschrijvingDatabase Administrator gezochtWij zijn momenteel op zoek naar een ervaren Database Administrator voor onze gewaardeerde werkgever. In deze rol ben je verantwoordelijk voor het optimaliseren van het berichtenverkeer binnen de...

  • Python Developer

    4 weken geleden

    Ede, Nederland 4CEE Voltijd

    Ben jij een ervaren Python Developer en wil je werken aan de toekomst van digitale facturatie? Bij Tradeinterop krijg je de kans om onze e-facturatie- en e-procurementoplossingen te ontwikkelen en te onderhouden. Dit zijn systemen die in korte tijd grote hoeveelheden data verwerken. Dat vraagt om betrouwbare, schaalbare en onderhoudbare software die 24/7...

  • Data Analist

    4 weken geleden

    Ede, Nederland Woonstede Voltijd

    Als data-analist til je Woonstede naar een hoger niveau. Je komt terecht in het team Proces Informatie en ICT bij Woonstede, een hechte groep van 12 collega’s met diverse specialisaties. Van Functioneel Beheerders tot Helpdeskmedewerkers, iedereen draagt vanuit zijn of haar expertise bij aan het optimaliseren van processen, systemen en...

  • Databasebeheerder (middelbaar)

    4 weken geleden

    Ede, Nederland NLwerkt Voltijd

    Max. € 4.500,- | Ben jij een echtepuzzelaar, en ben je op zoek naar een uitdagende functie alsDatabasebeheerder? Reageer dandirect!FunctieomschrijvingBenjij een echte puzzelaar met een passie voor data? Dan hebben wij deperfecte vacature voor je beschikbaar! Voor een werkgever in regioEde zijn wij op zoek naar een ervaren MS SQL Server Specialist. Jegaat...

  • Softwareontwikkelaar met Agile Geest

    2 dagen geleden

    Ede, Nederland Pivoton Voltijd

    Pivoton is dé IT-business partner voor de flexmarkt. Met 40 jaar ervaring hebben wij een schat aan kennis opgebouwd op het gebied van het uitzendproces, IT-oplossingen en wet- en regelgeving.Wij bieden unieke SaaS-oplossingen voor de flexmarkt en zijn een gerenommeerde IT-partner in deze sector.Ondanks ons groeiende succes, blijven we een informele cultuur...

  • Python Ontwikkelaar

    1 week geleden

    Ede, Nederland Pivoton Voltijd

    Pivoton is dé IT-business partner voor de flexmarkt. Met 40 jaar ervaring hebben wij een schat aan kennis opgebouwd op het gebied van het uitzendproces, IT-oplossingen en wet- en regelgeving. Onze SaaS-oplossingen voor de flexmarkt zijn uniek. Wij zijn een gerenommeerde IT-partner in de flexmarkt, en dat is niet voor nietsSinds 2022 maken wij onderdeel uit...

  • Databasebeheerder (middelbaar)

    3 weken geleden

    Ede, Nederland NLwerkt Voltijd

    Max. € 4.500,- | Ben jij op zoek naar eenleuke uitdaging als Database Administrator? Solliciteer dansnel! FunctieomschrijvingDatabaseAdministrator gezocht!Wij zijn momenteel opzoek naar een ervaren Database Administrator voor onze gewaardeerdewerkgever. In deze rol ben je verantwoordelijk voor hetoptimaliseren van het berichtenverkeer binnen de...

  • Fysiotherapeut

    4 dagen geleden

    Ede, Nederland Fysius Rugexperts Voltijd

    Werken bij een organisatie die gespecialiseerd is in rug - en nekklachten? Kom werken bij Fysius! We leiden je intern op tot Rugexpert en bieden een onbeperkt opleidingsbudget aan, zodat jij je kan blijven ontwikkelen in het vak! **Wat houdt het in om Rugexpert te zijn bij Fysius Ede?** In het team van Twan, Linda en Bryan zoeken we iemand die met een...

  • Online Marketeer

    2 weken geleden

    Ede, Nederland Webvriend B.V. Voltijd

    **Online marketeer** Jouw belangrijkste taak als online marketeer? Steeds blijven aansluiten bij je klanten en maximale impact creëren. Met een team van specialisten als rugdekking. Als je daar goed op gaat, leren we je graag kennen! **Impact maken** Wat jij doet, maakt direct impact. Zo simpel is het. Dat doe je als online marketeer bij Webvriend niet...

  • Fysiotherapeut Ede

    1 week geleden

    Ede, Nederland Fysius Rugexperts Voltijd

    Word je onze nieuwe collega? Bij Fysius neem je deel aan ons interne opleidingsprogramma, waar we je zullen begeleiden tot een expert in rug - en nekklachten. Na afronding van deze interne opleiding ontvang je gelijk 21 accreditatiepunten. En hier stopt het niet: we bieden een onbeperkt opleidingsbudget, zodat je voortdurend kunt blijven groeien en leren....

  • Financial Accountant

    6 dagen geleden

    Ede, Nederland Givaudan Voltijd

    Step into our world of creativity and joy! Financial Accountant - Join us and celebrate the beauty of human experience. Create for happier, healthier lives, with love for nature. Together, with kindness and humility, we deliver food innovations, craft inspired fragrances and develop beauty and wellbeing solutions that make people look and feel good....