Data Engineer, ShipTech Analytics

Teknik, data och digitalt · Data, AI och analys · Data engineering · Business intelligence

I korthet

Als Data Engineer bei ShipTech Analytics bauen Sie die Daten- und Analyseinfrastruktur für das globale Transportnetz von Amazon auf. Sie entwickeln Streaming- und Batch-Datenpipelines, Datenprodukte und Tools, die NRT-Datenverarbeitung, Self-Service-Analysen und KI-gestützte Automatisierung ermöglichen. Die Rolle erfordert Erfahrung in Data Engineering, SQL, Programmierung (Python, Java, Scala, NodeJS) und Big-Data-Technologien wie Spark und Hadoop sowie Kenntnisse von AWS-Cloud-Services.

Ansvarsområden

Design und Erstellung skalierbarer Near-Real-Time (NRT) Streaming- und Batch-Datenpipelines zur Unterstützung des globalen Transportnetzwerks von Amazon.
Erstellung von Datenprodukten und -werkzeugen, die den gesamten Datenlebenszyklus optimieren, einschließlich Datenerfassung, -verarbeitung, Backfilling, Speicherung, Vending und operativen Support-Modulen.
Enge Zusammenarbeit mit Stakeholdern aus den Bereichen Betrieb und Analytik, um Anforderungen zu verstehen, Lösungen zu entwerfen und Datensätze und Datenwerkzeuge bereitzustellen, die eine schnellere, fundiertere Entscheidungsfindung ermöglichen.
Übernahme der Datenqualität und Implementierung von Verbesserungen für Datensätze, die operative Exzellenz ermöglichen und das Kundenerlebnis verbessern.
Zusammenarbeit mit funktionsübergreifenden Teams zur Standardisierung von Analysefunktionen und zur Entwicklung von KI-gestützter Automatisierung.
Nutzung von AWS-Cloud-Technologien zur Umwandlung von Rohdaten in umsetzbare Metriken.
Förderung der kontinuierlichen Verbesserung durch Code-Reviews, Design-Diskussionen, operative Best Practices und Sicherheitskonformität.

Krav

Mehr als 3 Jahre Erfahrung im Data Engineering.
Erfahrung mit Datenmodellierung, Data Warehousing und Erstellung von ETL-Pipelines.
Erfahrung mit SQL.
Erfahrung in mindestens einer modernen Skript- oder Programmiersprache wie Python, Java, Scala oder NodeJS.
Erfahrung im Aufbau/Betrieb hochverfügbarer, verteilter Systeme zur Extraktion, Erfassung und Verarbeitung großer Datenmengen.
Erfahrung mit Big-Data-Technologien wie Hadoop, Hive, Spark, EMR.

Önskade kvalifikationer

Erfahrung mit AWS-Technologien wie Redshift, S3, AWS Glue, EMR, Kinesis, FireHose, Lambda und IAM-Rollen und -Berechtigungen.
Erfahrung mit Nicht-Relationalen Datenbanken / Datenspeichern (Objektspeicher, Dokumenten- oder Key-Value-Speicher, Graphdatenbanken, Spaltenfamilien-Datenbanken).
Kenntnisse von Batch- und Streaming-Datenarchitekturen wie Kafka, Kinesis, Flink, Storm, Beam.

Förmåner

Möglichkeit, die Daten- und Analyseinfrastruktur für das globale Transportnetz von Amazon aufzubauen.
Arbeit an innovativen KI-gestützten Lösungen.
Nutzung von AWS-Cloud-Technologien.
Möglichkeiten zur Code-Review, Design-Diskussion und Verbesserung operativer Praktiken.
Teil eines Teams, das an der Modernisierung von Systemen und dem Aufbau von Near-Real-Time-Architekturen arbeitet.
Gelegenheit, andere zu betreuen und neue Ideen zu prototypisieren.
Zusammenarbeit über geografische Grenzen hinweg in einem globalen Team.
Einbindung in die Gestaltung der Zukunft der Datenanalyse.

Färdigheter

PythonJavaScalaNodeJSSQLdata modelingdata warehousingETLHadoopHiveSparkEMRRedshiftS3AWS GlueKinesisFireHoseLambdaIAMKafkaFlinkStormBeam

#data engineering#analytics#transportation#AWS#streaming#batch processing#AI

Om Amazon

Earth's most customer-centric company

Amazon is guided by four principles: customer obsession rather than competitor focus, passion for invention, commitment to operational excellence, and long-term thinking. We are driven by the excitement of building technologies, inventing products, and providing services that change lives. We embrace new ways of doing things, make decisions quickly, and are not afraid to fail. We have the scope and capabilities of a large company, and the spirit and heart of a small one.\n\nTogether, Amazonians research and develop new technologies from Amazon Web Services to Alexa on behalf of our customers:…

Se alla lediga jobb hos Amazon Läs mer om Amazon Webbplats