Weltkarte

KI-Gateway: Externe KI nutzen, Datenhoheit behalten

Ein KI-Gateway prüft jede Anfrage mit lokalen KI-Modellen, bevor diese das Unternehmen verlassen. Sensible Daten werden erkannt, maskiert oder bleiben auf Ihren lokalen Modellen.

 Kostenloses Erstgespräch vereinbaren  So funktioniert es
KI-Gateway

Die besten KI-Modelle nutzen, ohne dass sensible Daten das Haus verlassen.

Ein KI-Gateway ist die beste Möglichkeit, um große Cloud-Modelle zu nutzen und dabei die Datensicherheit zu gewährleisten.

  • Lokale Prüfung jeder Anfrage
  • Maskierung sensibler Daten
  • Freie Wahl der KI-Modelle
  • Protokollierung & Nachweis
  • Betrieb auf eigenen Servern
  • Anbindung bestehender Anwendungen

Die Grundfunktionen eines KI-Gateways

Zwischen den Nutzern und den externen Modellen sitzt eine Prüfschicht, die jede Anfrage bewertet und nach Ihrem Regelwerk entscheidet, was damit passiert.

Ein Zugang statt vieler Accounts

Ihre Mitarbeiter arbeiten in einer individuellen Oberfläche mit Anmeldung. Chats lassen sich starten, fortführen und speichern, das Zielmodell wählt der Nutzer selbst.

Prüfung vor dem Versand

Jede Anfrage und jeder Anhang wird geprüft – auf sensibles Unternehmenswissen, Kunden- oder Personendaten und auf Inhalte, die Ihr Haus nicht verlassen dürfen.

Entscheidung nach Ihrem Regelwerk

Sie legen selbst fest, welche Daten maskiert und welche im Haus bleiben sollen. Ihre IT kann Regeln ändern, ohne dass wir eine neue Version ausliefern.

So funktionieren KI-Gateways.

Welche Datenkategorien bei Ihnen als sensibel gelten und wie streng das Regelwerk sein soll, legen Sie selbst fest.

1
Mögliche Anfragen
KI-Chat
Chats Ihrer Mitarbeiter
Anhänge
PDFs, Office-Dateien, Scans
Automatisierungen
n8n, Workflows, Skripte
Fachanwendungen
Ticketsystem, ERP, CRM
Eigenentwicklungen
Interne Tools und Dienste
KI-Agenten
Assistenten und Agenten
2
Pürfung durch das KI-Gateway

Die Prüfung passiert auf ihrer lokalen Infrastruktur

Jede Anfrage läuft durch dieselbe Prüfkette. Erst danach wird entschieden, welches Modell sie bekommt.

Klassifizieren
Lokales Modell erkennt sensible Inhalte
Maskieren
Kunden, Personen, Artikel durch Platzhalter ersetzen
Entscheiden
Extern, lokal oder blockieren
Markieren
Chats als sensibel oder unkritisch kennzeichnen
Zurückübersetzen
Platzhalter in der Antwort wiederherstellen
Protokollieren
Nachvollziehbar für Audit und Datenschutz
3
Das passende Modell
Lokale KI-Modelle

Anfragen mit sensiblen Inhalten bleiben im Haus und werden von Ihren eigenen Modellen beantwortet.

Externe KI-Modelle

Unkritische oder maskierte Anfragen gehen an das Modell, das der Nutzer wählt: zum Beispiel ChatGPT oder Claude.

Welche Datenkategorien bei Ihnen als sensibel gelten und wie streng das Regelwerk sein soll, legen wir gemeinsam fest.

Was ein gutes KI-Gateway können muss.

Die Details, an denen sich in der Praxis entscheidet, ob das Gateway im Alltag funktioniert und von Nutzern akzeptiert wird.

Eigene Chat-Oberfläche.

Chats starten, fortführen und speichern, Anhänge hochladen und das Zielmodell wählen. Wie bei ChatGPT oder Claude, aber auf Ihrer Infrastruktur und mit Anmeldung über Ihr Firmenkonto.

OpenAI-kompatible Schnittstelle.

Bestehende Automatisierungen und Anwendungen werden nicht umgebaut. In den meisten Werkzeugen genügt es, die Adresse der KI-Schnittstelle auf das Gateway umzustellen.

Prüfung von Anhängen.

Auch Dokumente werden vor dem Versand geprüft: Text wird aus PDFs und Office-Dateien extrahiert, gescannte Unterlagen werden per Texterkennung lesbar gemacht.

Maskierung über den ganzen Chat.

Wird ein Kunde in der dritten Nachricht zu [K1], bleibt er das auch in der zwölften. Nur so bleiben die Antworten des externen Modells schlüssig und lassen sich sauber zurückübersetzen.

Einmal sensibel, immer geschützt.

Berührt ein Chat eine kritische Datenkategorie, bleibt er dauerhaft auf dem geschützten Pfad. Nutzer können Einstufungen korrigieren, jede Änderung wird protokolliert.

Modellwechsel mit Neubewertung.

Wechselt ein Nutzer mitten im Chat das Modell, geht der gesamte Verlauf an einen neuen Empfänger. Das Gateway bewertet die Historie deshalb vor dem Wechsel neu.

So werden KI-Gateways eingeführt.

Ein KI-Gateway wird schrittweise eingeführt und getestet, damit das Regelwerk zuverlässig arbeitet und niemanden behindert.

1
Analyse und Systemaufnahme Wo wird das Gateway betrieben?
2
Regelwerk festlegen Datenkategorien und Entscheidungen
3
Beobachtungsbetrieb Wie gut läuft die Erkennung?
4
Durchsetzung Aktivierung der Regeln und Erkennung
5
Betrieb und Weiterentwicklung Optimierung und weitere Anbindungen
Ohne Gateway Mit KI-Gateway
Daten gehen ungeprüft hinaus
Jede Anfrage wird lokal geprüft
Verbot oder Wildwuchs
Kontrollierte Freigabe
Jede Anwendung regelt es selbst
Ein Regelwerk für alle
Bindung an einen Anbieter
Modelle frei austauschbar
Kein Nachweis
Lückenlose Protokollierung
Warum CodingStars
Betrieb On-Premise
Individuell in .NET
Anmeldung per SSO
Ihre lokalen Modelle
Know-how-Transfer an Ihr IT-Team

Häufige Fragen zum KI-Gateway

Ein KI-Gateway ist eine zentrale Prüfschicht zwischen Ihren Anwendungen und den KI-Modellen. Jede Anfrage und jeder Anhang wird lokal geprüft, bei Bedarf maskiert und anhand von Regeln an ein lokales oder externes Modell weitergeleitet.

Teilweise müssen bestehende Anwendungen umgebaut werden, wenn diese nicht auf kompatible Schnittstellen zugreifen. Für Tools wie n8n und vielen Eigenentwicklungen genügt es, die Schnittstelle neu anzubinden.

Die Genauigkeit der Einstuftungen sind abhängig von den verwendeten Modellen, Regelwerken und Systempropts. Es lohnt sich Fehlalarme zu protokollieren und das Regelwerk nachzuschärfen. Im Betrieb können Nutzer Einstufungen korrigieren, die zurück in die Grundlagen fließen können.

Ein KI-Gateway wird in der Regel auf der eigenen Infrastruktur betrieben, damit keine Daten ungeprüft das Haus verlassen. Ein KI-Gateway kann auf einem Windows Server betrieben werden, die Prüfung erfolgt mit lokalen KI-Modellen.

Sie müssen auf die Versprechen der Anbieter in Bezug auf Datenverarbeitung, Hosting, usw. vertrauen und können in der Regel nicht nachvollziehen, wie und wo Ihre Daten verarbeitet werden. Bei der Nutzung von KI-Gateways steuern Sie selbst, welche Daten Sie an welchen Anbieter senden.

Gespeicherte Chats enthalten alle Inhalte im Klartext, auch die, die nach außen maskiert wurden. Sie brauchen deshalb ein Zugriffskonzept und Aufbewahrungsfristen und sollten mit Datenschutzbeauftragtem und Betriebsrat abgestimmt werden.

Nehmen Sie Kontakt mit uns auf.

Projektanfrage?
Lassen Sie sich beraten.
📞 05074 / 325 999 9
✉️ info@codingstars.de