Zum Inhalt springen
biwak

Ratgeber

Einführung

Was heißt „die KI läuft lokal“, und was heißt es nicht?

Lokale Dateien, lokale Werkzeuge und ein lokales Sprachmodell unterscheiden: welche Daten wohin gehen, was ohne Internet geht und was ein eigenes Modell kostet.

Mit KI-Unterstützung erstellt

Veröffentlicht

Aktualisiert 6 Min. Lesezeit

Die drei Orte

  • Wo die Dateien liegen. Das ist die leichteste und häufigste Zusage: „Wir speichern nichts in der Cloud.“ Sie sagt nichts darüber, was währenddessen gesendet wurde.
  • Wo das Programm läuft. Ein Programm auf Ihrem Rechner statt eines Browserfensters. Angenehm, und für die Vertraulichkeit fast belanglos.
  • Wo das Modell rechnet. Hier entscheidet es sich. Alles, was das Modell sehen muss, um zu antworten, geht dorthin, wo das Modell ist.

Deshalb ist „keine Cloud-Speicherung“ nicht dasselbe wie lokale Verarbeitung. Der Satz ist wahr und beantwortet eine andere Frage. Wer ihn als Antwort auf die Vertraulichkeitsfrage anbietet, weicht aus, manchmal ohne es zu merken.

Vier Betriebsarten, und wo Biwak steht

Was jeweils den Rechner verlässt
Stufe 1 · reiner WebdienstDateien, Verlauf, EingabenHochgeladene Inhalte und der Verlauf werden beim Dienst verarbeitet und dort gespeichert. Der Umfang hängt von Produkt, Einstellungen und angeschlossenen Diensten ab.
Stufe 2 · Programm bei Ihnen, Modell beim AnbieterAuftragstext, Kontext, DateiausschnitteDateien und Werkzeuge bleiben auf dem Rechner; was das Modell für den Auftrag braucht, geht zum Anbieter. Wo er rechnet und wer dort zugreifen kann, entscheidet über den Rest.
Stufe 3 · Modell bei einem Anbieter im EWR, ohne AufbewahrungDer Auftragstext, verarbeitet im EWRDie Drittlandfrage entspannt sich, die Zugangsfrage bleibt, und Zusagen zur Aufbewahrung sind meist vertraglich, nicht technisch abgesichert. Für das Berufsgeheimnis ist das nicht dasselbe wie Stufe 4.
BiwakZwischen Stufe 2 und 3Dateien, Gespräche und Sicherungspunkte bleiben auf Ihrem Rechner. Frage, Kontext und verwendete Dateiinhalte gehen über das Biwak-Konto in Frankfurt am Main an die PREM SA in Lugano, Schweiz, und von dort an Rechenpartner, die laut Prem in der EU sitzen und nicht öffentlich benannt sind. Speicherung und Training schließt der Anbieter aus, allerdings vertraglich, ohne technische Absicherung. Neue Modellaufträge brauchen eine Internetverbindung. Der Weg im Detail.
Stufe 4 · Modell in Ihrem NetzKeine externe Modellanfrage nötigWeitere Werkzeuge, Websuche, Telemetrie und Fernwartung sind gesondert zu prüfen; ein lokales Modell allein garantiert keinen abgeschotteten Ablauf. Biwak bietet diese Betriebsart nicht an.

Was die Aufsichtsbehörden dazu sagen

„Technisch geschlossene Systeme sind daher aus datenschutzrechtlicher Sicht vorzugswürdig.“
Datenschutzkonferenz, Orientierungshilfe „Künstliche Intelligenz und Datenschutz“, Version 1.0 vom 6. Mai 2024, Rn. 20

Die Orientierungshilfe zu technischen und organisatorischen Maßnahmen bei KI-Systemen vom Juni 2025 empfiehlt bewusste Entscheidungen über lokale Nutzung und nötige Onlineverbindungen. „Zu bevorzugen“ nennt sie die lokale Verarbeitung auf dem Endgerät für ein Nachtraining oder eine Feinabstimmung des Modells. Zugleich weist sie darauf hin, dass beim Betrieb auf den Endgeräten benötigte personenbezogene Daten womöglich an alle Geräte verteilt werden müssen, was die Risiken anders gewichtet. Beide Papiere sind Positionen der Aufsicht, kein Gesetz und kein Urteil.

Unsere Einschätzung: Ein Modell im eigenen Netz ist für die Vertraulichkeit der stärkste Weg. Es verlangt aber Rechenleistung, Pflege und Fachwissen, die in kleineren Büros oft fehlen. Was das konkret bedeutet, steht im nächsten Abschnitt.

Was ein eigenes Modell kostet

Wer ein Modell selbst betreiben möchte, muss drei Dinge gesondert prüfen:

  • Hardware. Der Bedarf hängt von Modellfassung, Quantisierung, Kontextgröße und gewünschter Geschwindigkeit ab. Prüfen Sie den verfügbaren Speicher und messen Sie mit Ihren Beispieldateien; eine pauschale Speichermenge belegt keine Eignung.
  • Modellqualität. Prüfen Sie dieselben Aufgaben mit denselben Abnahmekriterien wie beim bisherigen Werkzeug. Zusammenfassen, Zahlen auswerten und Quellen wiedergeben sind unterschiedliche Anforderungen; das Etikett „lokal“ sagt nichts über die Ergebnisqualität.
  • Betrieb. Modell- und Programmaktualisierung, Zugriffsverwaltung, Sicherung und Fehlerbehandlung verursachen Aufwand. Erfassen Sie ihn im eigenen Pilotversuch, statt eine allgemeine Wartungsdauer anzunehmen.

Auch bei Programmen für lokale Modelle lohnt ein zweiter Blick. Ollama bietet neben lokalen Modellen inzwischen Cloud-Modelle an; wer sicher nur lokal rechnen will, schaltet laut Ollama-FAQ die Cloud-Funktionen ab. LM Studio arbeitet nach eigener Dokumentation ohne Internet, sobald die Modelldateien geladen sind. Biwak nutzt für Modellaufträge den verwalteten Biwak-Zugang; einen kundeneigenen Modellserver kann man nicht eintragen. Wie sich Ollama und LM Studio dazu verhalten, zeigt der Vergleich mit Biwak.

Wie Sie es prüfen, statt es zu glauben

  • Ohne Netz testen. Führen Sie nach der Einrichtung eine neue Beispielaufgabe ohne Netzwerkverbindung aus. Das zeigt, ob dieser Ablauf lokal funktioniert, belegt aber nicht, dass im Onlinebetrieb nichts übertragen wird. Bei Biwak brauchen neue Modellaufträge eine Verbindung.
  • Verbindungen prüfen. Trennen Sie die Modellanfragen von weiteren Netzzugriffen der Werkzeuge, etwa Webseitenabrufen oder Updates.
  • Verarbeitungskette prüfen. Wer rechnet, in welchem Land, mit welchen Unterauftragsverarbeitern, und was sagen die Verträge zu Aufbewahrung und Training?
  • Nach Fernwartung fragen. Bildschirmfreigabe und inhaltsbezogene Telemetrie schaffen genau die Zugangsmöglichkeit, die das Wort „lokal“ ausschließen sollte.
  • Nach dem Protokoll fragen. Liegt es bei Ihnen, können Sie im Zweifel selbst nachsehen. Liegt es beim Anbieter, müssen Sie fragen, und die Antwort ist dann ein Nachweis über einen Nachweis.

Dateizugriff auf Ihrem Gerät und Konto- und Verbrauchsdaten beim Anbieter sind getrennt zu betrachten. Biwak braucht Letztere für Zugang, Kontingente und Abrechnung; was genau anfällt, steht in der Datenschutzerklärung.

Änderungen an diesem Artikel

  • 23. September 2026: Biwak als eigene Zeile in der Tabelle der Betriebsarten, mit der Kette über die PREM SA; die Aussage zur Orientierungshilfe vom Juni 2025 auf Nachtraining und Feinabstimmung eingegrenzt; Titel ohne das Wort „Offline“; der Verweis auf einen Fachbeitrag entfernt, dessen Wortlaut sich bei der Prüfung nicht abrufen ließ; Hinweis auf die Cloud-Modelle von Ollama ergänzt.
  • 10. September 2026: Aussagen zu vollständiger Abschottung, Hardware, Modellqualität und Wartungsaufwand eingegrenzt.

Häufige Fragen

Ist ein Werkzeug „lokal“, wenn es meine Dateien nicht hochlädt?

Nur im schwachen Sinn. Wenn der Auftragstext samt Ausschnitten aus Ihren Dateien an ein fremdes Modell geht, ist der Inhalt draußen, auch wenn die Datei geblieben ist. Bei einem Vertragsentwurf oder einer Patentanmeldung ist gerade der Inhalt das Geheimnis.

Welche Hardware brauche ich für ein lokales Modell?

Das hängt vom Modell, seiner Fassung, der Eingabegröße und der gewünschten Geschwindigkeit ab. Prüfen Sie die Anforderungen des Modells und testen Sie mit repräsentativen Aufgaben auf der vorgesehenen Hardware. Eine allgemeine Zahl in Gigabyte ist kein Nachweis für gute Ergebnisse.

Wie arbeitet Biwak mit Modellen?

Über Ihr Biwak-Konto. Für jeden Modellauftrag gehen Frage, Kontext und verwendete Dateiinhalte an die Biwak-Gegenstelle in Frankfurt am Main und von dort an die PREM SA in der Schweiz, die an Rechenpartner in der EU weiterleitet. Der Verbrauch wird auf das Kontingent Ihres Tarifs angerechnet.

Kann Biwak ohne Internet arbeiten?

Für neue Modellaufträge nicht: Dafür ist eine Internetverbindung zu Biwak erforderlich. Lokal gespeicherte Dateien und Sicherungspunkte bleiben auf Ihrem Gerät. Wer ganz ohne Netz arbeiten muss, braucht ein Modell auf eigener Hardware.

Quellen

  1. DSK: Orientierungshilfe Künstliche Intelligenz und Datenschutz, 6. Mai 2024 (PDF)
  2. DSK: Orientierungshilfe zu technischen und organisatorischen Maßnahmen bei KI-Systemen, Juni 2025 (PDF)
  3. Ollama: FAQ (lokaler Betrieb, Cloud-Modelle, Cloud-Funktionen abschalten)
  4. LM Studio: Offline Operation
  5. Biwak: Datenschutzerklärung, Abschnitt 14 (Anfragen an ein Sprachmodell)

Dieser Text ist keine Rechtsberatung. Er ist die Vorarbeit, die wir für uns selbst machen mussten, mit den Fundstellen, damit Ihre Anwältin nicht bei Null anfängt. Wo eine Frage von Ihren Umständen abhängt, steht es dabei.

Weiterlesen

Alle Artikel