Lokal und privat
Was ist lokale KI?
Lokale KI betreibt ein Modell auf Hardware, die Sie kontrollieren. Was sich bei Datenschutz und Kosten ändert, was sie an Hardware verlangt und wo sie wirklich mithält.
Alle Erklärungen · Zuletzt geprüft:
Was sich ändert
Daten sind der eigentliche Grund. Ein Prompt an ein gehostetes Modell wird von diesem Anbieter unter dessen Bedingungen verarbeitet. Ein Prompt an ein lokales Modell wird nirgendwohin geschickt — die einzige Fassung dieser Zusage, die nicht von fremder Politik abhängt.
Es entfällt zudem die Abrechnung pro Token, es entfallen Ratenbegrenzungen und die Möglichkeit, dass ein Modell unter Ihnen abgeschaltet wird. Ein heruntergeladenes Modell funktioniert weiter.
Die Kostenform, nicht die Kosten
Lokale KI ist nicht automatisch günstiger. Sie wandelt variable Kosten in fixe: Sie kaufen oder mieten Hardware, danach ist Inferenz am Rand nahezu kostenlos.
Bei hohem, stetigem Volumen ist das ein guter Handel, bei gelegentlicher Nutzung ein schlechter. Eine GPU, die den halben Tag stillsteht, ist teurer als die API-Aufrufe, die sie ersetzte.
Die ehrlichen Grenzen
Modelle, die auf einer einzelnen Maschine bequem laufen, sind in der Regel nicht die größten verfügbaren. Bei den schwersten Reasoning-Aufgaben ist der Abstand zu einem gehosteten Frontier-Modell real.
Für sehr viele Alltagsaufgaben — Zusammenfassen, Entwerfen, Extrahieren, Klassifizieren, Routine-Code — ist der Abstand viel kleiner als angenommen, und die Datenschutz- und Kosteneigenschaften wiegen oft schwerer als das letzte Stück Leistungsfähigkeit.
Am nützlichsten als Hybrid
Das übliche Muster ist weder nur lokal noch nur Cloud. Es ist lokal für alles Sensible oder Volumenstarke, gehostet für die schwersten Fragen, und eine Richtlinie, die entscheidet, was was ist — genau wofür ein Router da ist.
Häufige Fragen
- Welche Hardware brauche ich?
- Das hängt ganz von Modellgröße und Quantisierung ab, und wer Ihnen eine einzelne Zahl nennt, rät. Die bestimmende Grenze ist der verfügbare Speicher: Die Gewichte müssen hineinpassen, und was hineinpasst, bestimmt, was Sie ausführen können.
- Ist lokale KI per Definition privat?
- Der Modellaufruf ja. Der Rest der Anwendung womöglich nicht — Suche, Telemetrie und andere Integrationen können weiterhin nach außen gehen. Datenschutz ist eine Eigenschaft des Gesamtsystems, nicht einer Komponente.
- Können lokale Modelle meine Dokumente nutzen?
- Ja. Retrieval funktioniert genauso, und wenn Retrieval und Modell lokal sind, verlassen die Dokumente Ihre Hardware zu keinem Zeitpunkt.
Ausprobieren statt darüber lesen
ClawAI betreibt lokale Modelle über Ollama und llama.cpp, und der Nur-lokal-Routing-Modus hält die gesamte Fallback-Kette bei lokalen Anbietern, statt nach einem Cloud-Modell zu greifen.