--- title: "KI in Unternehmenssoftware integrieren | SKAFFON" description: "KI-Integration in Unternehmenssoftware: Use-Case-Prüfung, Muster vom direkten LLM-Aufruf bis RAG, Evaluation, Datenkontrollen und Betrieb." url: https://skaffon.de/software/ki-integration/ --- ![Nahaufnahme von farbig hervorgehobenem Quellcode auf einem dunklen Bildschirm](/_astro/quellcode-bildschirm-nahaufnahme.CVXrgBK0_nBuV.jpg) 1. [Startseite](/) 2. [Software](/software/) 3. KI in Unternehmenssoftware integrieren KI-Integration · Anwendungsseite # KI in Unternehmenssoftware integrieren Eine KI-Funktion, die in Ihrer Anwendung zuverlässig läuft: mit gemessener Qualität, geprüften Berechtigungen und kontrolliertem Datenfluss. Wir sagen Ihnen auch, wenn ein Sprachmodell nicht der richtige Baustein ist. [Use Case besprechen](/projekt-anfragen/) [Zur Musterwahl](/software/ki-integration/#welches-muster-traegt-ihren-use-case) - OpenAI-kompatible Schnittstellen - RAG mit Berechtigungsprüfung im Abruf - Evaluation gegen eine vereinbarte Testmenge Autor: [Ibrahim Yesilay](/unternehmen/ibrahim-yesilay/), Gründer und Geschäftsführer Stand: 13.11.2026 ## Wo KI-Vorhaben in Unternehmenssoftware stecken bleiben Viele KI-Vorhaben scheitern nicht an der Technik, sondern an einem unscharfen Ziel und an fehlender Messung. SKAFFON bindet KI-Funktionen in Ihre Anwendungen ein: Sprachmodelle über OpenAI-kompatible Schnittstellen, Antworten auf Basis Ihrer Dokumente per RAG, Werkzeugaufrufe in Ihre Fachsysteme, mit Evaluation, Datenkontrollen und Betrieb. Die Seite richtet sich an IT-Leitung, Produktverantwortliche und Entwicklungsleiter, die eine KI-Funktion in ein bestehendes oder neues System bringen wollen und prüfen müssen, ob und wie das zuverlässig geht. Sie behandelt die Anwendungsseite: Schnittstellen, Datenfluss, Qualität. Die Infrastruktur dahinter GPU-Plattformen und Modellbetrieb beschreibt der Bereich [KI-Infrastruktur](/ki-infrastruktur/), die strategische Einordnung die [Technische KI-Beratung](/ki-infrastruktur/ki-beratung/). ## Fünf Fragen, bevor ein Modell ausgewählt wird Diese Use-Case-Prüfung steht am Anfang. Wenn ein Sprachmodell nicht der richtige Baustein ist, sagen wir das. - **Aufgabe:** Welche konkrete Tätigkeit soll unterstützt werden, wer nutzt das Ergebnis? - **Fehlertoleranz:** Was passiert bei einer falschen Antwort? Hohe Folgen verlangen menschliche Prüfung vor Wirkung. - **Datenlage:** Welche Daten braucht die Funktion, wo liegen sie, wer darf sie sehen? - **Messbarkeit:** Woran erkennen wir, dass die Funktion besser ist als der heutige Weg? - **Alternativen:** Reicht Suche, Regelwerk oder Klassifikation ohne Sprachmodell? ## Welches Muster trägt Ihren Use Case? Die Muster lassen sich kombinieren. Für den Anfang empfehlen wir das einfachste Muster, das den Use Case trägt, und messen, bevor wir ausbauen. __Musterwahl-Matrix: direkter Modellaufruf, RAG und Werkzeugaufruf im Vergleich__ | Muster | Funktionsweise | Geeignet für | Grenzen | | ------------------------------------ | -------------------------------------------------------------------------------- | -------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------- | | Direkter Modellaufruf | Anwendung sendet Eingabe und Anweisung an das Modell, verarbeitet die Antwort | Zusammenfassen, Umformulieren, Klassifizieren, Extrahieren aus mitgegebenem Text | Modell kennt Ihre Daten nicht; Antworten ohne Quellenbezug | | RAG (Retrieval-Augmented Generation) | Relevante Textstellen aus Ihrem Bestand werden gesucht und dem Modell mitgegeben | Fragen an interne Dokumente, Wissenssuche, Support-Unterstützung | Qualität hängt an Aufbereitung und Suche; Berechtigungen müssen im Abruf gelten | | Werkzeugaufruf (Tool Calling) | Modell wählt definierte Funktionen Ihrer Anwendung, Anwendung führt aus | Abfragen in Fachsystemen, Vorbereitung von Aktionen | Jede Funktion ist eine Angriffsfläche; Schreibaktionen mit Bestätigung und eng gefasster Berechtigung | ## Ein Aufruf, zwei Betriebswege: gehostet oder selbst betrieben Wir binden Modelle über OpenAI-kompatible Schnittstellen an. Anwendung und Modell sind dadurch entkoppelt, und derselbe Aufruf kann gegen einen gehosteten Dienst oder gegen ein selbst betriebenes Modell laufen. Der Inferenz-Server [vLLM](https://docs.vllm.ai/en/latest/serving/online%5Fserving/) stellt einen OpenAI-kompatiblen HTTP-Server mit Endpunkten wie `/v1/chat/completions` und `/v1/embeddings` bereit. Ob gehostet oder selbst betrieben, hängt an Datenschutz, Kosten und Leistung. Orchestrierungs-Bibliotheken wie LangChain setzen wir optional ein, wenn sie den Aufwand senken; erforderlich sind sie nicht, und manche Integrationen sind ohne sie einfacher zu betreiben. - Selbstbetrieb: [Private LLMs](/ki-infrastruktur/private-llm/) - Betrieb der Inferenz: [LLM Inference](/ki-infrastruktur/llm-inference/) ![Draufsicht auf sich kreuzende und verzweigende Gleise mit Weichen im Abendlicht](/_astro/gleisweichen-kreuzungen-luftaufnahme.D6zZPiVd_1kazPx.jpg) ## RAG: Die Arbeit liegt in der Aufbereitung Bei RAG entscheidet nicht das Modell, sondern was davor und daneben passiert. 1. 01 ### Aufnahme Vorbereiten Dokumente werden bereinigt, in sinnvolle Abschnitte geteilt und mit Metadaten versehen: Quelle, Stand, Berechtigung. 2. 02 ### Speicherung Ablegen Vektoren liegen in einer Vektor-Datenbank oder, für viele Fälle ausreichend, in PostgreSQL mit [pgvector](https://github.com/pgvector/pgvector), das exakte und näherungsweise Suche mit HNSW- und IVFFlat-Indizes unterstützt. Daten und Berechtigungen bleiben so an einem Ort ([PostgreSQL-Datenbanken](/daten/postgresql-datenbanken/)). 3. 03 ### Abruf mit Berechtigung Abfragen Die Suche liefert nur, was die fragende Person sehen darf; die Prüfung geschieht im Abruf, nicht im Modell. 4. 04 ### Aktualität Pflegen Änderungen an Dokumenten führen zu aktualisierten Einträgen; veraltete Inhalte verschwinden. 5. 05 ### Quellenangabe Belegen Antworten verweisen auf die verwendeten Stellen, damit Nutzer prüfen können. ## Referenzarchitektur im Überblick Von der Anwendung über die KI-Dienstschicht zum Modell, dazu der Abrufpfad und die Datenkontroll-Grenze. Referenzarchitektur KI-Integration Referenzarchitektur KI-Integration ## „Funktioniert gut“ messbar machen: der Evaluationsablauf Ohne Messung bleibt „funktioniert gut“ eine Meinung. Zielwerte legen wir mit Ihnen fest; wir geben hier keine vor. 1. 01 ### Testmenge anlegen Repräsentative Fragen oder Aufgaben mit erwarteten Antworten oder Bewertungskriterien, gemeinsam mit Fachanwendern. Reale Eingaben werden vorab bereinigt. 2. 02 ### Kriterien festlegen Zum Beispiel inhaltliche Richtigkeit, Vollständigkeit, Quellentreue, Ablehnung bei fehlender Grundlage, Antwortzeit. 3. 03 ### Basislinie messen Ergebnis des einfachsten Musters und, soweit vorhanden, des heutigen Wegs. 4. 04 ### Änderungen einzeln bewerten Anderes Modell, andere Anweisung, anderer Abruf: jeweils gegen dieselbe Testmenge. 5. 05 ### Testmenge pflegen Sie wächst mit Fehlerfällen aus dem Betrieb; die Auswertung läuft bei jeder relevanten Änderung in der Pipeline. 6. 06 ### Nach Kriterien freigeben Ergebnis: Freigabe Maßstab sind die vorab vereinbarten Kriterien, nicht Bauchgefühl. ## Welche Daten das Modell sehen darf Der Datenfluss wird vor Beginn festgelegt, nicht im Nachhinein. - ### Datenfluss festlegen Welche Daten verlassen Ihre Umgebung, an wen? Bei gehosteten Modellen ist das ein Vertrags- und Datenschutzthema, das vor Beginn geklärt wird; bei Selbstbetrieb bleiben Daten in Ihrer Umgebung. - ### Minimierung Nur die für die Aufgabe nötigen Daten gehen an das Modell; sensible Felder werden vorab entfernt oder pseudonymisiert, wo die Aufgabe das erlaubt. - ### Protokollierung Anfragen und Antworten werden im Rahmen Ihrer Datenschutzvorgaben protokolliert, mit definierter Aufbewahrung. - ### Pflichten aus der KI-Verordnung Ob und welche Pflichten für Ihre Funktion gelten, hängt vom Einsatz ab; Rechtsgrundlage ist die [Verordnung (EU) 2024/1689](https://eur-lex.europa.eu/eli/reg/2024/1689/oj). Die rechtliche Einordnung gehört in Ihre Rechtsabteilung; wir beschreiben die technische Umsetzung. ## Modellausgaben sind nicht vertrauenswürdig Sprachmodell-Anwendungen haben eigene Risiken. Die [OWASP Top 10 für LLM-Anwendungen (2025)](https://genai.owasp.org/llm-top-10/) benennen unter anderem Prompt Injection, Offenlegung sensibler Informationen, unsachgemäße Verarbeitung von Modellausgaben, übermäßige Handlungsbefugnis und Schwächen bei Vektoren und Einbettungen. Entsprechend behandeln wir Modellausgaben als nicht vertrauenswürdige Eingabe, begrenzen die Befugnisse von Werkzeugaufrufen, prüfen Berechtigungen im Abruf und begrenzen Verbrauch und Kosten. - Vertiefung: [LLM Security](/cybersecurity/llm-security/) - Vertiefung: [KI-Sicherheit](/cybersecurity/ki-sicherheit/) ![Makroaufnahme goldener Kontaktstifte eines Prozessors](/_astro/prozessor-kontaktstifte-makro.CqRXjEuR_Z36htH.jpg) ## Was nach dem Livegang läuft - ### Überwachung Antwortzeit, Fehler, Verbrauch und Qualitätskennzahlen. - ### Versionierung Anweisungen, Modelle und Abruf-Konfiguration sind versioniert. - ### Begrenzung Kosten- und Mengenbegrenzung je Anwendung. - ### Rückfallverhalten Definiertes Verhalten bei Modellausfall. Betrieb der Plattform auf Wunsch über [MLOps und KI-Plattformen](/ki-infrastruktur/ki-plattform-mlops/) und [Managed Services](/managed-services/). ## Vom Use Case zur übergebenen Funktion 1. 01 ### Use-Case-Prüfung Ergebnis: Empfehlung, Muster, Messkriterien. 2. 02 ### Prototyp Am echten Schnittstellenkontext, mit Evaluation gegen die Testmenge. 3. 03 ### Integration In Ihre Anwendung mit Berechtigungen, Protokollierung und Fehlerbehandlung. 4. 04 ### Härtung Sicherheit, Last, Kosten und Betriebsbereitschaft. 5. 05 ### Übergabe Mit Dokumentation, Evaluationsverfahren und Einweisung. ## Wann ein gemeinsames KI-Projekt Sinn ergibt, und wann nicht Der Aufwand hängt von diesen Punkten ab: Muster (RAG und Werkzeugaufrufe sind aufwendiger als ein direkter Aufruf), Zahl und Qualität der Datenquellen, Anforderungen an Berechtigungen und Datenschutz, Evaluationsumfang und Betriebsanteil. Konkret wird das in der Use-Case-Prüfung. ### Das bringt Sie weiter - Sie haben einen konkreten Use Case sowie Daten und Fachanwender für Tests. - Sie wollen eine KI-Funktion technisch in ein System bringen und messbar absichern. ### Dafür sind wir die falsche Adresse - Sie suchen eine KI-Strategieberatung auf Geschäftsführungsebene ohne technische Umsetzung. - Der Use Case ist offen und es gibt weder Daten noch Fachanwender für Tests. - Sie erwarten fehlerfreie Antworten eines Sprachmodells ohne menschliche Prüfung in einem Bereich mit hohen Fehlerfolgen. - Sie suchen ein fertiges KI-Produkt von der Stange. ## Häufige Fragen Brauchen wir ein selbst betriebenes Modell, damit unsere Daten geschützt sind? Nicht zwingend. Bei einem selbst betriebenen Modell bleiben die Daten in Ihrer Umgebung. Bei gehosteten Modellen ist der Datenfluss ein Vertrags- und Datenschutzthema, das vor Beginn geklärt wird. Welcher Weg passt, entscheiden Datenart, Kosten und Leistung. Wie viele Dokumente braucht ein RAG-System, damit es sich lohnt? Eine feste Zahl gibt es nicht. Entscheidend ist, ob die Fragen nur mit Ihren Dokumenten beantwortbar sind und ob die Dokumente gepflegt und berechtigungsfähig vorliegen. Das klären wir in der Use-Case-Prüfung. Wer entscheidet, ob eine Antwort gut genug ist? Die vorab mit Ihnen vereinbarten Kriterien und die gemeinsame Testmenge. Bei hohen Fehlerfolgen prüft zusätzlich ein Mensch, bevor eine Antwort Wirkung entfaltet. Können wir das Modell später wechseln? Ja, innerhalb der Grenzen der Schnittstelle. Durch OpenAI-kompatible Aufrufe sind Anwendung und Modell entkoppelt; ob ein neues Modell besser ist, zeigt die Evaluation gegen dieselbe Testmenge. ## Beschreiben Sie Ihren Use Case und die beteiligten Daten Daraus ergibt sich die Use-Case-Prüfung mit Empfehlung, Muster und Messkriterien. Weitere Leistungen finden Sie unter [Software Engineering](/software/). [Projekt anfragen](/projekt-anfragen/)