Projekt anfragen
Perforierte Frontblende eines Servers im Rechenzentrum, blau beleuchtet

Daten

Data Engineering, Datenbanken und Datenplattformen

Ihre Daten liegen in Anwendungen, Dateien und Ereignisströmen. SKAFFON bringt sie in eine Plattform, die Analyse und Weiterverarbeitung trägt: von der Datenbankmigration über den PostgreSQL-Betrieb bis zu Pipelines.

Datenlage schildern Datenbank migrieren
  • Datenbankmigration mit Rückfallweg
  • PostgreSQL auf Wunsch im Managed-Betrieb
  • Open-Source-Bausteine, anbieterneutral

Autor: Ibrahim Yesilay, Gründer und Geschäftsführer Stand:

01Architektur

Vom Quellsystem bis zur Auswertung: vier Stufen und ein durchgehender Betrieb

Eine Datenplattform erfüllt vier Aufgaben. Welche Technik sie übernimmt, hängt von Datenmenge, Aktualität und Betriebsmodell ab. Quer dazu liegt der Betrieb mit Backup, Hochverfügbarkeit, Zugriffskontrolle und Beobachtbarkeit.

Bausteine einer Datenplattform Vier Stufen von links nach rechts: Ingest, Storage, Processing, Serving. Darunter durchgehend der Betrieb mit Backup, Hochverfügbarkeit, Zugriffskontrolle und Beobachtbarkeit. 1 · INGEST2 · STORAGE3 · PROCESSING4 · SERVING Daten hereinholenDaten speichernDaten verarbeitenDaten bereitstellen AnwendungsdatenbankenDateienEreignisströme PostgreSQLtransaktionale Daten S3-ObjektspeicherRohdaten, Dateien, Archive Apache AirflowOrchestrierung dbtTransformation in SQL AbfragenReportsAnwendungenML-Pipelines WerkzeugeAblageAblaufNutzung CDC · Apache KafkaBatch-Importe Daten und Dateien SQL als versionierter Code aufbereitete Daten QUERSCHNITT · BETRIEB BackupHochverfügbarkeitZugriffskontrolleBeobachtbarkeit
Ingest, Storage, Processing und Serving, getragen vom Betrieb.
Bausteine einer Datenplattform Vier Stufen von oben nach unten: Ingest, Storage, Processing, Serving. Darunter der Betrieb als durchgehender Querschnitt mit Backup, Hochverfügbarkeit, Zugriffskontrolle und Beobachtbarkeit. 1 · INGEST Daten hereinholen Anwendungsdatenbanken Dateien Ereignisströme Werkzeuge CDC · Apache Kafka Batch-Importe 2 · STORAGE Daten speichern PostgreSQL transaktionale Daten S3-Objektspeicher Rohdaten, Dateien, Archive Ablage Daten und Dateien 3 · PROCESSING Daten verarbeiten Apache Airflow Orchestrierung dbt Transformation in SQL Ablauf SQL als versionierter Code 4 · SERVING Daten bereitstellen Abfragen Reports Anwendungen ML-Pipelines Nutzung aufbereitete Daten QUERSCHNITT · BETRIEB BackupHochverfügbarkeitZugriffskontrolleBeobachtbarkeit
Ingest, Storage, Processing und Serving, getragen vom Betrieb.

02Die vier Stufen im Detail

Was in jeder Stufe passiert

  1. 01

    Daten hereinholen

    Stufe 1

    Batch-Importe für Daten, die nicht minutenaktuell sein müssen. Change Data Capture (CDC) und Kafka für Ereignisse und laufende Änderungen.

  2. 02

    Daten ablegen

    Stufe 2

    PostgreSQL für transaktionale und strukturierte Daten, S3-kompatibler Objektspeicher für Rohdaten, Dateien und Archive.

  3. 03

    Daten aufbereiten

    Stufe 3

    Airflow orchestriert die Abläufe. dbt macht Transformationen als versionierten SQL-Code nachvollziehbar.

  4. 04

    Daten nutzbar machen

    Stufe 4

    Abfragen, Berichte, Anwendungen und ML-Pipelines greifen auf aufbereitete Daten zu. Für KI-Anwendungen siehe MLOps und KI-Plattformen.

03

PostgreSQL für Transaktionen, Objektspeicher für alles andere

Transaktionale und strukturierte Daten gehören in PostgreSQL. Rohdaten, Dateien und Archive liegen besser im S3-kompatiblen Objektspeicher.

Auf Kubernetes lässt sich PostgreSQL mit einem Operator wie CloudNativePG betreiben. Ob das für Sie sinnvoll ist, hängt von Ihrem Kubernetes-Betrieb ab, siehe Kubernetes-Beratung.

  • Backup mit Wiederherstellungstests
  • Hochverfügbarkeit und Zugriffskontrolle
  • Monitoring als Teil des Betriebs

PostgreSQL als Managed Service

Nahaufnahme der Laufwerksschächte eines Rack-Servers mit grünen Status-LEDs

04Vor der Architektur

Vier Fragen entscheiden über Ihre Plattform

Diese Punkte klären wir zuerst, bevor Technik gewählt wird.

  • Wie aktuell müssen Daten sein: Stunden, Minuten oder Sekunden? Das entscheidet über Batch oder Streaming.
  • Wo dürfen Daten liegen, und wer darf darauf zugreifen? Standort, Verschlüsselung und Mandantentrennung bestimmen die Plattformwahl.
  • Welche Verfügbarkeit und Wiederherstellungszeit braucht das Geschäft tatsächlich? Daraus folgt die Betriebsarchitektur, nicht umgekehrt.
  • Welche Systeme müssen angebunden werden, und wer ist für ihre Datenqualität verantwortlich?

05Einstieg

Wo Ihr Datenprojekt gerade steht, entscheidet über den Einstieg

Anbieterneutral

Die Plattform folgt Ihren Anforderungen, nicht einem Anbieter

Die genannten Technologien sind überwiegend Open Source und laufen bei verschiedenen Anbietern, auch in der souveränen Cloud oder auf eigener Infrastruktur.

Schildern Sie uns Ihre Datenlage

Quellen, gewünschte Aktualität und Betriebsanforderungen reichen als Start. Für den Aufbau einer Datenplattform beraten wir im Rahmen einer Projektanfrage.

Projekt anfragen Kontakt aufnehmen