KI-Integration · Anwendungsseite
KI in Unternehmenssoftware integrieren
Eine KI-Funktion, die in Ihrer Anwendung zuverlässig läuft: mit gemessener Qualität, geprüften Berechtigungen und kontrolliertem Datenfluss. Wir sagen Ihnen auch, wenn ein Sprachmodell nicht der richtige Baustein ist.
- OpenAI-kompatible Schnittstellen
- RAG mit Berechtigungsprüfung im Abruf
- Evaluation gegen eine vereinbarte Testmenge
01
Wo KI-Vorhaben in Unternehmenssoftware stecken bleiben
Viele KI-Vorhaben scheitern nicht an der Technik, sondern an einem unscharfen Ziel und an fehlender Messung. SKAFFON bindet KI-Funktionen in Ihre Anwendungen ein: Sprachmodelle über OpenAI-kompatible Schnittstellen, Antworten auf Basis Ihrer Dokumente per RAG, Werkzeugaufrufe in Ihre Fachsysteme, mit Evaluation, Datenkontrollen und Betrieb.
Die Seite richtet sich an IT-Leitung, Produktverantwortliche und Entwicklungsleiter, die eine KI-Funktion in ein bestehendes oder neues System bringen wollen und prüfen müssen, ob und wie das zuverlässig geht. Sie behandelt die Anwendungsseite: Schnittstellen, Datenfluss, Qualität.
02
Fünf Fragen, bevor ein Modell ausgewählt wird
Diese Use-Case-Prüfung steht am Anfang. Wenn ein Sprachmodell nicht der richtige Baustein ist, sagen wir das.
- Aufgabe: Welche konkrete Tätigkeit soll unterstützt werden, wer nutzt das Ergebnis?
- Fehlertoleranz: Was passiert bei einer falschen Antwort? Hohe Folgen verlangen menschliche Prüfung vor Wirkung.
- Datenlage: Welche Daten braucht die Funktion, wo liegen sie, wer darf sie sehen?
- Messbarkeit: Woran erkennen wir, dass die Funktion besser ist als der heutige Weg?
- Alternativen: Reicht Suche, Regelwerk oder Klassifikation ohne Sprachmodell?
03
Welches Muster trägt Ihren Use Case?
Die Muster lassen sich kombinieren. Für den Anfang empfehlen wir das einfachste Muster, das den Use Case trägt, und messen, bevor wir ausbauen.
| Muster | Funktionsweise | Geeignet für | Grenzen |
|---|---|---|---|
| Direkter Modellaufruf | Anwendung sendet Eingabe und Anweisung an das Modell, verarbeitet die Antwort | Zusammenfassen, Umformulieren, Klassifizieren, Extrahieren aus mitgegebenem Text | Modell kennt Ihre Daten nicht; Antworten ohne Quellenbezug |
| RAG (Retrieval-Augmented Generation) | Relevante Textstellen aus Ihrem Bestand werden gesucht und dem Modell mitgegeben | Fragen an interne Dokumente, Wissenssuche, Support-Unterstützung | Qualität hängt an Aufbereitung und Suche; Berechtigungen müssen im Abruf gelten |
| Werkzeugaufruf (Tool Calling) | Modell wählt definierte Funktionen Ihrer Anwendung, Anwendung führt aus | Abfragen in Fachsystemen, Vorbereitung von Aktionen | Jede Funktion ist eine Angriffsfläche; Schreibaktionen mit Bestätigung und eng gefasster Berechtigung |
04
Ein Aufruf, zwei Betriebswege: gehostet oder selbst betrieben
Wir binden Modelle über OpenAI-kompatible Schnittstellen an. Anwendung und Modell sind dadurch entkoppelt, und derselbe Aufruf kann gegen einen gehosteten Dienst oder gegen ein selbst betriebenes Modell laufen. Der Inferenz-Server vLLM stellt einen OpenAI-kompatiblen HTTP-Server mit Endpunkten wie /v1/chat/completions und /v1/embeddings bereit.
Ob gehostet oder selbst betrieben, hängt an Datenschutz, Kosten und Leistung. Orchestrierungs-Bibliotheken wie LangChain setzen wir optional ein, wenn sie den Aufwand senken; erforderlich sind sie nicht, und manche Integrationen sind ohne sie einfacher zu betreiben.
- Selbstbetrieb: Private LLMs
- Betrieb der Inferenz: LLM Inference
05
RAG: Die Arbeit liegt in der Aufbereitung
Bei RAG entscheidet nicht das Modell, sondern was davor und daneben passiert.
- 01
Aufnahme
VorbereitenDokumente werden bereinigt, in sinnvolle Abschnitte geteilt und mit Metadaten versehen: Quelle, Stand, Berechtigung.
- 02
Speicherung
AblegenVektoren liegen in einer Vektor-Datenbank oder, für viele Fälle ausreichend, in PostgreSQL mit pgvector, das exakte und näherungsweise Suche mit HNSW- und IVFFlat-Indizes unterstützt. Daten und Berechtigungen bleiben so an einem Ort (PostgreSQL-Datenbanken).
- 03
Abruf mit Berechtigung
AbfragenDie Suche liefert nur, was die fragende Person sehen darf; die Prüfung geschieht im Abruf, nicht im Modell.
- 04
Aktualität
PflegenÄnderungen an Dokumenten führen zu aktualisierten Einträgen; veraltete Inhalte verschwinden.
- 05
Quellenangabe
BelegenAntworten verweisen auf die verwendeten Stellen, damit Nutzer prüfen können.
06
Referenzarchitektur im Überblick
Von der Anwendung über die KI-Dienstschicht zum Modell, dazu der Abrufpfad und die Datenkontroll-Grenze.
07
„Funktioniert gut“ messbar machen: der Evaluationsablauf
Ohne Messung bleibt „funktioniert gut“ eine Meinung. Zielwerte legen wir mit Ihnen fest; wir geben hier keine vor.
- 01
Testmenge anlegen
Repräsentative Fragen oder Aufgaben mit erwarteten Antworten oder Bewertungskriterien, gemeinsam mit Fachanwendern. Reale Eingaben werden vorab bereinigt.
- 02
Kriterien festlegen
Zum Beispiel inhaltliche Richtigkeit, Vollständigkeit, Quellentreue, Ablehnung bei fehlender Grundlage, Antwortzeit.
- 03
Basislinie messen
Ergebnis des einfachsten Musters und, soweit vorhanden, des heutigen Wegs.
- 04
Änderungen einzeln bewerten
Anderes Modell, andere Anweisung, anderer Abruf: jeweils gegen dieselbe Testmenge.
- 05
Testmenge pflegen
Sie wächst mit Fehlerfällen aus dem Betrieb; die Auswertung läuft bei jeder relevanten Änderung in der Pipeline.
- 06
Nach Kriterien freigeben
Ergebnis: FreigabeMaßstab sind die vorab vereinbarten Kriterien, nicht Bauchgefühl.
08
Welche Daten das Modell sehen darf
Der Datenfluss wird vor Beginn festgelegt, nicht im Nachhinein.
-
Datenfluss festlegen
Welche Daten verlassen Ihre Umgebung, an wen? Bei gehosteten Modellen ist das ein Vertrags- und Datenschutzthema, das vor Beginn geklärt wird; bei Selbstbetrieb bleiben Daten in Ihrer Umgebung.
-
Minimierung
Nur die für die Aufgabe nötigen Daten gehen an das Modell; sensible Felder werden vorab entfernt oder pseudonymisiert, wo die Aufgabe das erlaubt.
-
Protokollierung
Anfragen und Antworten werden im Rahmen Ihrer Datenschutzvorgaben protokolliert, mit definierter Aufbewahrung.
-
Pflichten aus der KI-Verordnung
Ob und welche Pflichten für Ihre Funktion gelten, hängt vom Einsatz ab; Rechtsgrundlage ist die Verordnung (EU) 2024/1689. Die rechtliche Einordnung gehört in Ihre Rechtsabteilung; wir beschreiben die technische Umsetzung.
09
Modellausgaben sind nicht vertrauenswürdig
Sprachmodell-Anwendungen haben eigene Risiken. Die OWASP Top 10 für LLM-Anwendungen (2025) benennen unter anderem Prompt Injection, Offenlegung sensibler Informationen, unsachgemäße Verarbeitung von Modellausgaben, übermäßige Handlungsbefugnis und Schwächen bei Vektoren und Einbettungen.
Entsprechend behandeln wir Modellausgaben als nicht vertrauenswürdige Eingabe, begrenzen die Befugnisse von Werkzeugaufrufen, prüfen Berechtigungen im Abruf und begrenzen Verbrauch und Kosten.
- Vertiefung: LLM Security
- Vertiefung: KI-Sicherheit
10
Was nach dem Livegang läuft
-
Überwachung
Antwortzeit, Fehler, Verbrauch und Qualitätskennzahlen.
-
Versionierung
Anweisungen, Modelle und Abruf-Konfiguration sind versioniert.
-
Begrenzung
Kosten- und Mengenbegrenzung je Anwendung.
-
Rückfallverhalten
Definiertes Verhalten bei Modellausfall. Betrieb der Plattform auf Wunsch über MLOps und KI-Plattformen und Managed Services.
11
Vom Use Case zur übergebenen Funktion
- 01
Use-Case-Prüfung
Ergebnis: Empfehlung, Muster, Messkriterien.
- 02
Prototyp
Am echten Schnittstellenkontext, mit Evaluation gegen die Testmenge.
- 03
Integration
In Ihre Anwendung mit Berechtigungen, Protokollierung und Fehlerbehandlung.
- 04
Härtung
Sicherheit, Last, Kosten und Betriebsbereitschaft.
- 05
Übergabe
Mit Dokumentation, Evaluationsverfahren und Einweisung.
12
Wann ein gemeinsames KI-Projekt Sinn ergibt, und wann nicht
Der Aufwand hängt von diesen Punkten ab: Muster (RAG und Werkzeugaufrufe sind aufwendiger als ein direkter Aufruf), Zahl und Qualität der Datenquellen, Anforderungen an Berechtigungen und Datenschutz, Evaluationsumfang und Betriebsanteil. Konkret wird das in der Use-Case-Prüfung.
Das bringt Sie weiter
- Sie haben einen konkreten Use Case sowie Daten und Fachanwender für Tests.
- Sie wollen eine KI-Funktion technisch in ein System bringen und messbar absichern.
Dafür sind wir die falsche Adresse
- Sie suchen eine KI-Strategieberatung auf Geschäftsführungsebene ohne technische Umsetzung.
- Der Use Case ist offen und es gibt weder Daten noch Fachanwender für Tests.
- Sie erwarten fehlerfreie Antworten eines Sprachmodells ohne menschliche Prüfung in einem Bereich mit hohen Fehlerfolgen.
- Sie suchen ein fertiges KI-Produkt von der Stange.
13
Häufige Fragen
Brauchen wir ein selbst betriebenes Modell, damit unsere Daten geschützt sind?
Nicht zwingend. Bei einem selbst betriebenen Modell bleiben die Daten in Ihrer Umgebung. Bei gehosteten Modellen ist der Datenfluss ein Vertrags- und Datenschutzthema, das vor Beginn geklärt wird. Welcher Weg passt, entscheiden Datenart, Kosten und Leistung.
Wie viele Dokumente braucht ein RAG-System, damit es sich lohnt?
Eine feste Zahl gibt es nicht. Entscheidend ist, ob die Fragen nur mit Ihren Dokumenten beantwortbar sind und ob die Dokumente gepflegt und berechtigungsfähig vorliegen. Das klären wir in der Use-Case-Prüfung.
Wer entscheidet, ob eine Antwort gut genug ist?
Die vorab mit Ihnen vereinbarten Kriterien und die gemeinsame Testmenge. Bei hohen Fehlerfolgen prüft zusätzlich ein Mensch, bevor eine Antwort Wirkung entfaltet.
Können wir das Modell später wechseln?
Ja, innerhalb der Grenzen der Schnittstelle. Durch OpenAI-kompatible Aufrufe sind Anwendung und Modell entkoppelt; ob ein neues Modell besser ist, zeigt die Evaluation gegen dieselbe Testmenge.
Beschreiben Sie Ihren Use Case und die beteiligten Daten
Daraus ergibt sich die Use-Case-Prüfung mit Empfehlung, Muster und Messkriterien. Weitere Leistungen finden Sie unter Software Engineering.