Projekt anfragen
Nahaufnahme metallischer Kühlrippen in blauem Licht vor dunklem Hintergrund

KI-Infrastruktur

GPU- und KI-Infrastruktur für Unternehmen

Ihre Modelle sollen im eigenen Verantwortungsbereich laufen: kontrolliert, überwacht und mit klarem Zugriffsschutz. SKAFFON plant, baut und betreibt dafür GPU-Cluster, Kubernetes-Plattform, Modell-Serving und Überwachung.

Projekt anfragen Kontakt
  • Für IT-Leitung und CTOs
  • Vier Leistungen, ein zusammenhängendes Projekt
  • Eigene Räume, europäische Cloud oder Air-Gap

Autor: Ibrahim Yesilay, Gründer und Geschäftsführer Stand:

01Einstieg

Wo Ihr KI-Vorhaben gerade steht, entscheidet den ersten Schritt

Die Einstiegsfrage ist selten „Welche GPU?“, sondern: Was soll das System tun, welche Daten dürfen wohin und wer betreibt es danach? Die Tabelle ordnet typische Ausgangslagen der passenden Leistung zu.

Ausgangslagen bei KI-Vorhaben und die jeweils passende SKAFFON-Leistung
AusgangslageZentrale FrageLeistung
Use Cases sind grob bekannt, aber Architektur, Kosten und Make-or-Buy sind offenWas ist technisch sinnvoll und was kostet der Betrieb?Technische KI-Beratung
Ein Sprachmodell soll im eigenen Verantwortungsbereich laufen, Daten dürfen die Grenze nicht verlassenWelches Modell, auf welcher Hardware, hinter welcher API?Private LLMs
Es gibt Bedarf an Rechenleistung für mehrere Teams und Workloads, Hardware ist zu planen oder zu beschaffenWie wird der GPU-Cluster dimensioniert, vernetzt und abgenommen?GPU-Cluster
Mehrere Modelle und Teams, Training und Releases sollen reproduzierbar und kontrolliert laufenWie kommt ein Modell von der Pipeline in den Betrieb und zurück?MLOps und KI-Plattformen

Die vier Seiten überschneiden sich bewusst nicht. Eine Anfrage kann an einer Stelle beginnen und trotzdem in einem zusammenhängenden Projekt enden.

02Referenzarchitektur

Fünf Schichten zwischen GPU und Zugriffsschutz

Unabhängig von Hersteller und Standort besteht eine betreibbare KI-Plattform aus fünf Schichten. Die Anfrage läuft von der Anwendung bis zur GPU, die Telemetrie geht den Weg zurück.

Referenzarchitektur einer KI-Plattform in fünf Schichten Fünf Schichten von unten nach oben: GPU-Knoten mit Netzwerk und Storage, Kubernetes mit GPU Operator, Serving, Beobachtbarkeit, Zugriffskontrolle. Ein Pfeil Anfrage führt von oben nach unten, ein Pfeil Telemetrie von unten nach oben. 5 Zugriffskontrolle 4 Beobachtbarkeit 3 Serving 2 Kubernetes und GPU Operator 1 GPU-Knoten Identität, Netzwerkgrenzen, Audit-Log DCGM-Exporter, Prometheus, Metriken der Serving-Schicht Inference-Engine und API-Schicht (z. B. vLLM, KServe) Treiber, Container Toolkit, Device Plugin, Scheduling Server mit GPUs, Netzwerk und Storage Anfrage Telemetrie
Die Reihenfolge entspricht dem Weg einer Anfrage und dem Verantwortungsfluss im Betrieb.
Referenzarchitektur einer KI-Plattform in fünf Schichten Fünf Schichten von unten nach oben: GPU-Knoten mit Netzwerk und Storage, Kubernetes mit GPU Operator, Serving, Beobachtbarkeit, Zugriffskontrolle. Ein Pfeil Anfrage führt von oben nach unten, ein Pfeil Telemetrie von unten nach oben. 5 Zugriffskontrolle Identität, Netzwerkgrenzen,Audit-Log 4 Beobachtbarkeit DCGM-Exporter, Prometheus,Metriken der Serving-Schicht 3 Serving Inference-Engine undAPI-Schicht (z. B. vLLM, KServe) 2 Kubernetes undGPU Operator Treiber, Container Toolkit,Device Plugin, Scheduling 1 GPU-Knoten Server mit GPUs, Netzwerkund Storage Anfrage Telemetrie
Die Reihenfolge entspricht dem Weg einer Anfrage und dem Verantwortungsfluss im Betrieb.

03Schicht für Schicht

Was in jeder Schicht entschieden wird

  1. 01

    GPU-Knoten: Hardware, Netz, Storage

    Schicht 1

    Server mit NVIDIA-GPUs, Netzwerkanbindung und Storage. Für große Modelle oder verteiltes Training kommen schnelle Interconnects hinzu: NVLink innerhalb eines Servers, RDMA-fähiges Netzwerk zwischen Servern. Welche GPU-Klasse sinnvoll ist, hängt von Speichergröße und Workload ab, nicht vom Datenblatt allein.

  2. 02

    Kubernetes und GPU Operator

    Schicht 2

    Der NVIDIA GPU Operator automatisiert laut NVIDIA-Dokumentation die Bereitstellung der GPU-Software auf Kubernetes-Knoten, darunter Treiber, Container Toolkit, Device Plugin, GPU Feature Discovery und DCGM-basierte Überwachung. Das Cluster selbst entspricht dem, was wir unter Kubernetes-Beratung und Managed Kubernetes beschreiben.

  3. 03

    Serving: Latenz, Durchsatz, Auslastung

    Schicht 3

    Modelle laufen hinter einer API, etwa mit vLLM als Inference-Engine und KServe als Kubernetes-nativer Serving-Schicht. Hier entscheiden sich Latenz, Durchsatz und Auslastung.

  4. 04

    Beobachtbarkeit: Sind die GPUs ausgelastet?

    Schicht 4

    Der DCGM-Exporter stellt GPU-Telemetrie im Prometheus-Format bereit (NVIDIA DCGM-Exporter). Zusammen mit Metriken der Serving-Schicht ergibt sich, ob GPUs ausgelastet sind, ob Anfragen warten und wann Kapazität nachzuziehen ist.

  5. 05

    Zugriffskontrolle: Wer darf welches Modell mit welchen Daten?

    Schicht 5

    Authentifizierung an der API, Mandanten- und Namespace-Trennung, Protokollierung und Netzwerkgrenzen gehören von Anfang an in die Architektur, nicht ans Ende des Projekts. Der Sicherheitsrahmen dazu steht im Bereich Cybersecurity.

04Standort

Eigene Räume, europäische Cloud oder Air-Gap

Die Architektur ist vom Standort weitgehend unabhängig, die Randbedingungen sind es nicht.

  • Eigenes Rechenzentrum oder Colocation: volle Kontrolle über Daten und Hardware, aber Beschaffung, Strom, Kühlung und Lieferzeiten liegen bei Ihnen. Vertiefung unter GPU-Cluster.
  • Europäische Cloud-Infrastruktur: schneller verfügbar, dafür abhängig von Kapazität und Vertragsbedingungen des Anbieters. Zur Einordnung siehe Souveräne Cloud.
  • Air-Gap: Systeme ohne Verbindung zum Internet. Modellgewichte, Container-Images und Updates werden über kontrollierte Übergabewege eingebracht; Details zum Betrieb stehen bei den privaten LLMs.
Makroaufnahme eines Prozessor-Chips mit goldfarbenen Anschlusspins vor dunkelblauem Hintergrund

Abgrenzung

Keine GPU-Miete, sondern eine Plattform für Ihre Umgebung

SKAFFON betreibt keine öffentliche GPU-Cloud zur Miete und besitzt keine eigenen GPUs. Wir planen, bauen und betreiben die Plattform auf Ihrer Hardware oder auf GPU-Kapazität europäischer Cloud-Anbieter in Ihrer Umgebung.

05Angebot

Woran sich der Umfang Ihres Angebots bemisst

Am Anfang steht ein technisches Gespräch über Workload, Datenklassen, vorhandene Infrastruktur und Betriebsmodell. Daraus entsteht ein Angebot, dessen Umfang sich an diesen Faktoren orientiert.

  • Zahl und Art der Workloads
  • Zahl der Umgebungen
  • Standort und Datenanforderungen
  • Gewünschter Betriebsumfang
  • Reifegrad Ihrer bestehenden Kubernetes-Plattform

06Weiterlesen

Die Nachbarthemen der KI-Plattform

Einstieg ins Projekt

Sie wissen, welcher Baustein fehlt? Dann beginnen wir dort.

Wählen Sie die passende Leistung in der Tabelle oben. Wenn Sie unsicher sind, beschreiben Sie Ihr Vorhaben, wir ordnen es technisch ein. Einen Überblick über das gesamte Angebot finden Sie unter Leistungen.

Projekt anfragen Kontakt