Senior Data Engineer

Vielleicht nennst du dich Senior Data Engineer, Pipeline-Architekt:in, Spezialist:in für „Warum sind diese TOS-Daten so ein Chaos?“ … oder vielleicht einfach Sam. Wie auch immer du dich nennst: Bei Terminal.exe, der KI-nativen Datenplattform von All Your BI für Betreiber von Containerterminals, baust du das Herzstück der Plattform: die Pipelines und das Datenmodell, die aus fragmentierten, schwer vertrauenswürdigen Terminaldaten eine verlässliche Grundlage für den Arbeitsalltag der Betreiber machen.

Zet nu de volgende stap in uw carrière. Scroll naar beneden om de volledige functieomschrijving te lezen en te solliciteren.
Was dich erwartet

• 
  

• Ein Gehalt zwischen 85.000 € und 99.000 € pro Jahr, einschließlich Urlaubsgeld, abhängig von deiner Erfahrung.

  
  

• 5.000 € pro Jahr für deine persönliche Weiterentwicklung, wobei du wirklich mitbestimmen kannst, wofür du das Geld ausgibst.

  
  

• 25 Urlaubstage + die Möglichkeit, bis zu 10 weitere zu kaufen + lokale Feiertage + die Möglichkeit eines Sabbaticals von bis zu 4 Monaten.

  
  

• Zwei Auslandsreisen pro Jahr mit dem gesamten Team + gelegentliche Drinks und Team-Ausflüge.

  
  

• 500 € Budget für dein Homeoffice und einen großartigen Laptop.

  
  

• Von Zeit zu Zeit ein verdientes „Hey, gut gemacht, Buddy“

  
  

• Vollständig remote, innerhalb Europas.

  
  

Benefits in der EU: Die oben genannten Zusatzleistungen kommen von AYBI und gelten für alle, überall. Gesetzliche Leistungen (Rente, Gesundheit, Sozialversicherung, Urlaub, Lohnfortzahlung im Krankheitsfall, Kündigungsfrist) richten sich nach dem Land, in dem du angestellt bist, und werden über deinen lokalen Vertrag oder einen EOR abgewickelt.

Über uns

All Your BI ist eine Remote-first-Datenagentur mit Sitz in Rotterdam. Seit 2019 sind wir von einer Boutique-Beratung zu einem internationalen Datenteam mit mehr als 60 Datenheld:innen in ganz Europa gewachsen. Wir erbringen vollständig betreute BI-Services für Logistik- und Industrieunternehmen, helfen ihnen dabei, Datenverschwendung zu reduzieren und ihre Unternehmen voranzubringen. Wir leben für den WOW-Moment: das Funkeln in den Augen der Nutzer:innen, wenn sie neue Erkenntnisse gewinnen und Chancen entdecken.

Über Terminal.exe

Terminal.exe ist die SaaS-Plattform von All Your BI für Containerterminals. Sie führt fragmentierte Daten aus TOS, Wartung, Gate und Sensoren in einem einheitlichen, kontrollierten Modell zusammen. So arbeiten alle Standorte mit denselben Zahlen, statt ihre Berichte von Grund auf neu zu erstellen. Die Plattform wächst schnell. Du hilfst dabei, die technischen Grundlagen zu gestalten, die als Nächstes skalieren müssen: eine mandantenfähige Datenarchitektur, Pipelines mit nahezu Echtzeit-Aktualisierung aus einem 24/7-Betrieb und ein standardisiertes Datenmodell, das weltweit an verschiedenen Terminals funktioniert.

So sieht die Aufgabe aus

Du entwirfst und entwickelst die Pipelines, die Daten aus Terminalbetriebssystemen (wie Navis N4) in unsere Plattform übertragen, sowie die Transformationsschicht, die aus Rohdaten aus dem operativen Betrieb kuratierte, dokumentierte Datensätze macht.

Konkret arbeitest du an:

• 
  

• ELT-Pipelines von lokalen Terminaldatenbanken zu unserer Azure-basierten Plattform, mit Aktualisierung nahezu in Echtzeit (3-Minuten-Microbatch) für operative Berichte und täglicher Batch-Verarbeitung für Analysen. Die Extraktion nutzt wasserzeichenbasierte inkrementelle Abfragen über Kafka (Azure Event Hubs) in ein PostgreSQL-Staging-System.

  
  

• Einer mandantenfähigen Datenarchitektur auf Azure PostgreSQL mit Trennung auf Datenbankebene pro Mandant und einer standardisierten Schichtenstruktur aus STG → ODS → DataMart, die von unserem internen deklarativen Transformations-Framework (dewi) gesteuert wird.

  
  

• Unseren internen, in Go geschriebenen Connector-Tools, die du mitentwickelst und erweiterst.

  
  

• Der Überwachung der Datenqualität: Erkennung von Datenlücken, Aktualitätswarnungen und Abgleich.

  
  

• Dem standardisierten Terminal-Datenmodell: Zuordnung von Quelldaten aus unterschiedlichen TOS-Versionen und -Konfigurationen zu gemeinsamen Definitionen für Bewegungen, Anläufe und Geräteereignisse.

  
  

Du arbeitest direkt mit Mitarbeitenden aus dem Terminalbetrieb zusammen, ohne zwischengeschaltete Ebenen.

Was du mitbringst

• 
  

• Einstellung und Erfahrung: Neugier und echtes Interesse daran, architektonische Verantwortung zu übernehmen, sowie 5+ Jahre Erfahrung im Data Engineering, einschließlich der End-to-End-Verantwortung für produktive Datenplattformen. Dieses Produkt wird aktiv weiterentwickelt. Wir brauchen jemanden, der sich wohl damit fühlt, Entscheidungen zu treffen, statt sie nur umzusetze