Kafka / Confluent Experte (m/w/d)

Leistungsbeschreibung

Projektbeschreibung:

• Aufbau von Kafka & Confluent-Fähigkeit

Projekt-Ziel:

• Ereignisse in Echtzeit veröffentlichen können

Aufgaben:

• Schaffung des Rahmens für den Einsatz von Event Streaming mit Kafka und Confluent.
• Absprache mit den Datenarchitekten zur Definition und Einrichtung von Event-Themen unter Verwendung des Business Information Model
• Einrichtung von Datenproduzenten, um Ereignisse zu erzeugen und an die Event-Streaming-Plattform zu senden.
• Implementierung von Datenkonsumenten zur Verarbeitung und Transformation eingehender Ereignisse.
• Implementierung von Mechanismen zur Fehlerbehandlung, um fehlgeschlagene Ereignisse und Ausnahmen zu behandeln.
• Einrichtung von Überwachungs- und Warnsystemen für die Event-Streaming-Infrastruktur.
• Integration mit Datenspeicherlösungen, um verarbeitete Ereignisse aufzubewahren.
• Implementierung von Zugriffskontrollmechanismen, um einzuschränken, wer die Ereignisströme lesen oder schreiben darf.
• Sicherstellung der Datenverschlüsselung im Ruhezustand und bei der Übertragung.
• Berücksichtigung von Compliance-Anforderungen wie GDPR, HIPAA oder branchenspezifischen Vorschriften.
• Einrichtung von Clustern und Partitionen, um die Last zu verteilen und Ausfälle zu bewältigen.
• Überwachen Sie die Systemleistung und skalieren Sie die Ressourcen nach Bedarf.
• Dokumentieren Sie die Event-Streaming-Architektur, einschließlich Datenformaten, Schemata und Verarbeitungslogik.
• Bereitstellung von Schulungen und Dokumentation für Entwickler, Bediener und andere wichtige Beteiligte.
• Durchführung gründlicher Tests der Event-Streaming-Einrichtung, einschließlich Unit-Tests, Integrationstests und End-to-End-Tests.
• Validierung der Leistung, Zuverlässigkeit und Skalierbarkeit des Systems unter verschiedenen Last- und Fehlerszenarien.
• Planen Sie eine reibungslose Bereitstellungsstrategie unter Berücksichtigung von Rolling Updates und Fallback-Verfahren und nutzen Sie dabei GitHub.
• Erstellen Sie einen Wartungsplan für Updates, Patches und die laufende Überwachung.

Anforderungen

Qualifikationen:

• Bachelor/Master-Abschluss in Informationsarchitektur
• 3-5 Jahre Erfahrung in der agilen Softwareentwicklung
• 3-5 Jahre Erfahrung in der Software-Architektur.
• 3-5 Jahre Erfahrung in der Event-Steaming-Architektur
• Expertenwissen in: Apache Kafka, Confluent, Java, Teraform, Docker, NoSQL und Kubernetes
• Erfahrung mit Domain Driven Design
• Effektive Kommunikationsfähigkeiten und kundenorientierter Ansatz

Über den Auftraggeber

Volumen: 80 Stunden onsite, 920 Stunden offsite und 40 Stunden Reisezeit für projektbedingte Reisen

Einsatzort: Remote, Essen