Lokal und Cloud kombinieren

Wer ein lokales Modell eingerichtet hat, steht vor einer neuen Frage: Wann nehme ich welches? Die Antwort „immer lokal“ scheitert an den schweren Aufgaben, „immer Cloud“ macht die Einrichtung überflüssig. Was trägt, ist eine Regel.

Zwei Achsen

Jede Aufgabe hat zwei Eigenschaften, die über ihren Ort entscheiden:

Vertraulichkeit. Dürfen die Daten dein Haus verlassen? Das ist keine Geschmacksfrage, sondern eine nach Verträgen, Datenschutz und Berufsrecht.

Schwierigkeit. Reicht ein kleines Modell – oder braucht es lange Schlussketten, viel Kontext, zuverlässige Werkzeugaufrufe?

Drei der vier Felder sind klar. Das schwierige ist oben rechts – und dafür gibt es ein Muster.

Muster 1: Vorverarbeitung lokal

Das lokale Modell muss die Aufgabe nicht lösen. Es reicht, wenn es die Daten so vorbereitet, dass der Rest hinausdarf:

• Namen, Adressen, Kundennummern durch Platzhalter ersetzen
• aus hundert Seiten die zwei relevanten Absätze heraussuchen
• Freitext in eine Tabelle mit festen Feldern überführen

Das sind Aufgaben, die kleine Modelle gut können. In die Cloud geht danach nicht die Akte, sondern ein anonymer Auszug. Prüf die Anonymisierung an Stichproben – ein Modell übersieht gelegentlich einen Namen im Fließtext.

Muster 2: Lokal für die Masse

Tausend Mails einordnen, zehntausend Produktbeschreibungen auf fehlende Angaben prüfen, ein Archiv verschlagworten: viele gleichartige, einfache Schritte. In der Cloud zahlst du jeden einzelnen, lokal nur den Strom. Ab welchem Volumen sich das rechnet, zeigt die Beispielrechnung in Lokale KI vs. Cloud.

Muster 3: Cloud für das Schwere, bewusst

Planung über viele Schritte, große Dokumente im Ganzen, Agenten mit vielen Werkzeugen – hier sind die großen Cloud-Modelle deutlich besser. Für nicht vertrauliche Aufgaben ist das die richtige Wahl, ohne schlechtes Gewissen.

Muster 4: Lokaler Agent, enge Aufgabe

Ein Agent mit lokalem Modell funktioniert, wenn die Aufgabe schmal ist: wenige Werkzeuge, kurze Abläufe, klares Ergebnis. Je mehr Werkzeuge und Schritte, desto häufiger ruft ein kleines Modell das falsche Werkzeug auf oder verliert den Faden. Halte lokale Agenten deshalb bei einer Sache.

Der Rückfall ist keine Technikfrage

Viele Werkzeuge bieten an, automatisch auf ein Cloud-Modell zu wechseln, wenn das lokale nicht weiterkommt. Für nicht vertrauliche Aufgaben ist das bequem. Für vertrauliche ist es genau der Abfluss, den du verhindern wolltest – ausgelöst ausgerechnet von den schwierigen Fällen.

Deshalb: Für vertrauliche Aufgaben ist der Rückfall aus. Scheitert das lokale Modell, endet der Lauf mit einer Meldung, und ein Mensch entscheidet.

Wo Daten unbemerkt hinausgehen

Auch bei lokalem Modell gibt es Wege nach draußen:

• Websuche. Deine Frage – samt eingefügtem Kontext – geht an eine Suchmaschine.
• Nebenmodelle. Bild, Sprache oder Suche in Dokumenten laufen manchmal über einen anderen, entfernten Dienst.
• Connectors. Ein verbundener Cloud-Dienst bekommt, was du durch ihn schickst.
• Telemetrie und Absturzberichte des Werkzeugs.

Für vertrauliche Arbeit lohnt sich ein eigenes Profil des Werkzeugs, in dem all das ausgeschaltet ist.

Die Regel in drei Zeilen

Schreib sie auf – für dich und für jeden, der mitarbeitet:

Immer lokal:   Personal, Verträge, Kundendaten, alles unter
               Verschwiegenheit. Kein Rückfall auf die Cloud.
Cloud erlaubt: Öffentliches, eigene Texte, anonymisierte Auszüge.
Im Zweifel:    lokal. Über Ausnahmen entscheidet <Name>.

Messen statt meinen

Ob das lokale Modell für eine Aufgabe „reicht“, ist eine Frage, die sich messen lässt: dieselben zehn Fälle, einmal lokal, einmal in der Cloud, gleiche Bewertung. Wie du so einen Testsatz baust, ist die erste Station im nächsten Pfad – Agenten im Betrieb.