KI-Infrastruktur · Technische Beratung
Technische KI-Beratung für Unternehmen
Welche Ihrer KI-Ideen technisch und wirtschaftlich tragen, welche Architektur dazu passt und was der Betrieb braucht: SKAFFON beantwortet das für IT-Leitung und CTOs mit einer nachvollziehbaren Rechnung statt mit Folien.
01Ausgangslage
Vier Situationen, in denen die Architekturfrage plötzlich dringend wird
Es ist technische Beratung zu Infrastruktur, Architektur und Betrieb, keine Strategie-, Organisations- oder Agenturberatung. Das Ergebnis sind konkrete Deliverables: Assessment-Bericht, Zielarchitektur, Kostenmodell und ein umsetzbarer Plan.
-
Viele Ideen, keine belastbare Rangfolge
Mehrere Fachbereiche haben Use Cases, aber niemand kann sagen, welche davon technisch und wirtschaftlich tragen.
-
Cloud-API, eigenes Modell oder Mischform?
Die Frage ist offen, und Datenschutz, Kosten und Qualität ziehen in verschiedene Richtungen.
-
Der PoC läuft, der Betrieb ist ungeklärt
Der Funktionsnachweis steht, aber niemand weiß, was der Produktionsbetrieb braucht.
-
GPU-Beschaffung ohne Dimensionierung
Hardware soll gekauft werden, und die Frage, wie viel davon nötig ist, hat keine Rechenkette hinter sich.
02Entscheidungsweg
Von der Use-Case-Liste zum PoC-Plan in vier Schritten
Der Weg ist bewusst als Filter gebaut: Zuerst fällt die Datenfrage, dann die Variante, erst danach rechnen wir Größe und Kosten.
03Assessment, Block 1
Fünf Kriterien, mit denen jeder Use Case gleich bewertet wird
Das KI-Readiness-Assessment folgt vier Blöcken, die hier offen beschrieben sind, damit Sie vorab prüfen können, was wir erheben. Jeder Anwendungsfall wird mit denselben Kriterien auf einer Skala von 1 bis 5 bewertet; die Gewichtung legen wir mit Ihnen gemeinsam fest.
| Kriterium | Leitfrage |
|---|---|
| Geschäftlicher Nutzen | Welche messbare Aufgabe wird schneller, günstiger oder besser? |
| Datenlage | Liegen die nötigen Daten vor, in brauchbarer Qualität und Zugriffsform? |
| Technische Machbarkeit | Reicht ein vorhandenes Modell, oder ist Anpassung nötig? |
| Fehlertoleranz | Was passiert bei falscher Ausgabe, und gibt es eine menschliche Kontrolle? |
| Betriebsaufwand | Last, Verfügbarkeit, Pflege von Modell und Daten |
04Assessment, Block 2
Fünf Fragen zur Datenkontrolle, bevor ein Modell gewählt wird
- Welche Datenklassen fließen in Prompts, Kontext und Trainingsdaten?
- Dürfen diese Daten die Organisation, den Standort oder das Land verlassen? Gibt es vertragliche Bindungen (Kunden, Behörden)?
- Müssen Zugriffsrechte auf Quelldokumente auch in der KI-Antwort gelten (z. B. bei RAG)?
- Welche Eingaben und Ausgaben müssen protokolliert werden, und wie lange?
- Wer ist fachlich und wer technisch verantwortlich?
05Assessment, Block 3
Gehostete API, privates LLM, RAG oder Fine-Tuning: wann welche Variante trägt
Je Anwendungsfall empfehlen und begründen wir eine Variante. Auch privates LLM (on-premises oder in einer von Ihnen gewählten Umgebung), RAG, Fine-Tuning oder eine Kombination sind möglich.
| Variante | Passt, wenn | Zu beachten |
|---|---|---|
| Gehostete Modell-API | Daten dürfen extern verarbeitet werden, Last ist schwankend | Abhängigkeit vom Anbieter, laufende Kosten pro Nutzung |
| Privates LLM auf eigener Infrastruktur | Datengrenze strikt, Last gleichmäßig und hoch genug | GPU-Beschaffung und Betrieb, Modellpflege |
| RAG auf Basis eines Modells | Wissen aus eigenen Dokumenten soll genutzt werden | Qualität der Daten und Rechtekonzept entscheiden über das Ergebnis |
| Fine-Tuning | Stil oder Aufgabe lassen sich mit Kontext allein nicht abbilden | Datenaufbereitung, Evaluation, Pflegeaufwand |
Die Modellwahl umfasst Kandidaten, Lizenzprüfung und einen Vergleichstest auf Ihren Beispieldaten.
06Assessment, Block 4
GPU-Sizing: eine Rechenkette mit offenen Annahmen
Aus der gewählten Variante folgt ein Sizing mit dokumentierten Annahmen: Modellgröße, Präzision, Kontextlänge und Gleichzeitigkeit.
Das Ergebnis nennt die benötigte GPU-Klasse und -Anzahl, die offenen Messungen für den PoC und die Hebel, mit denen sich der Bedarf senken lässt. Daneben liefern wir ein Kostenmodell: Investition und laufende Kosten für die Varianten, mit offengelegten Annahmen.
07Projektablauf
Fünf Etappen, jede mit einem greifbaren Ergebnis
- 01
Bestandsaufnahme und Readiness
Ergebnis: Assessment-BerichtReife von Daten, Plattform, Betrieb und Zugriffskontrolle.
- 02
Use-Case-Bewertung und Architekturentscheidung
Ergebnis: priorisierte ListeZielarchitektur je gewähltem Use Case.
- 03
Sizing und Kostenmodell
Ergebnis: DimensionierungKostenvergleich der Varianten mit offengelegten Annahmen.
- 04
Proof of Concept
Ergebnis: MesswerteBegrenzter Funktionsnachweis mit vorab definierten Erfolgskriterien und Messwerten aus Ihrer Umgebung.
- 05
Umsetzungsplan
Ergebnis: RoadmapRoadmap in Richtung Private LLM, GPU-Cluster und MLOps-Plattform, soweit passend; dazu Plattform, Betrieb und Verantwortlichkeiten für den Weg in den Produktionsbetrieb.
08Werkzeugkasten
Technologien, die wir einsetzen können, wenn sie zu Ihrem Fall passen
Eine Technologie nennen wir nur dort, wo sie zu Ihrem Fall passt.
Rechenleistung und Plattform
- NVIDIA-GPUs
- Kubernetes
- OpenTofu
Serving und Modellverwaltung
- vLLM
- KServe
- MLflow
Vektorsuche für RAG
- PostgreSQL mit pgvector
09Ihr Beitrag
Was wir von Ihnen brauchen, damit die Ergebnisse tragen
- Zugang zu den Fachverantwortlichen der Use Cases
- Beispieldaten, soweit zulässig, gegebenenfalls anonymisiert
- Informationen zu vorhandener Infrastruktur und Identity
- Einen technischen und einen fachlichen Ansprechpartner
- Ohne Beispieldaten kann ein PoC nur eingeschränkt Aussagen treffen; das halten wir dann im Ergebnis fest.
Datenschutz
Datenzugriff und Recht: wo unsere Arbeit endet
Produktivdaten brauchen wir nicht, solange kein PoC mit echten Daten vereinbart ist. Rechtliche Bewertungen wie die Datenschutz-Folgenabschätzung oder die regulatorische Einordnung von KI-Systemen bleiben bei Ihrer Rechts- und Datenschutzfunktion; wir liefern dafür die technischen Grundlagen.
10Abgrenzung
Infrastrukturberatung statt KI-Strategie oder Agenturarbeit
Das bekommen Sie bei uns
- Technische Entscheidungen zu Infrastruktur, Architektur und Betrieb von KI-Systemen
- Assessment, Zielarchitektur, Sizing, Kostenmodell und PoC
Dafür sind wir die falsche Adresse
- Strategie-, Change- oder Organisationsberatung zu KI oder Schulungen für Fachbereiche
- Prompt-Design, Chatbot-Oberflächen oder Marketing-Anwendungen im Agenturstil
- Ein Rechtsgutachten
11Umfang und Angebot
Vier Faktoren, die den Beratungsumfang bestimmen
Der Umfang richtet sich nach der Zahl der Use Cases, dem Anteil an offenen Architekturfragen, Standort- und Datenvorgaben und danach, ob ein PoC gewünscht ist. Das Angebot mit Umfang und Preismodell entsteht nach einem ersten Gespräch.
Welche Ihrer KI-Ideen soll ein Assessment zuerst prüfen?
Beschreiben Sie kurz Use Cases, Datenlage und Zielbetrieb. Den Überblick über die Bausteine finden Sie unter GPU- und KI-Infrastruktur.