Lokale KI mit Ollama: KI nutzen, Daten behalten

Wenn Sie einen bekannten KI-Chat im Browser nutzen, wird Ihr Text an die Server des Anbieters geschickt, dort verarbeitet und die Antwort zurückgesendet. Bei lokaler KI läuft das Modell selbst auf Ihrem Computer. Ihr Text bleibt dort, die Rechenarbeit macht Ihr Prozessor oder Ihre Grafikkarte.

Möglich wurde das durch offene Modelle, die von verschiedenen Firmen und Forschungsgruppen veröffentlicht werden, etwa aus den Familien Llama, Qwen, Mistral oder Gemma. Sie gibt es in verschiedenen Grössen, von kleinen Modellen für Laptops bis zu sehr grossen für leistungsstarke Rechner.

Ollama ist ein kostenloses Programm für macOS, Windows und Linux, das lokale Modelle herunterlädt, verwaltet und startet. Statt sich mit Modelldateien und Einstellungen zu befassen, wählen Sie ein Modell aus, und Ollama erledigt den Rest. Andere Programme, etwa Chat-Oberflächen oder Entwicklungswerkzeuge, können dann auf das lokale Modell zugreifen, als wäre es ein Online-Dienst.

1. Ollama von der offiziellen Website herunterladen und installieren.
2. Ein Modell auswählen, das zur eigenen Hardware passt, und herunterladen. Je nach Grösse sind das einige bis viele Gigabyte.
3. Das Modell im Terminal oder in einem Programm verwenden, das Ollama unterstützt.

Daneben gibt es Modelle, die direkt im Browser laufen, ohne Installation. Sie nutzen die Grafikkarte über moderne Browser-Technik und sind praktisch für einen ersten Versuch, aber meist kleiner als das, was mit Ollama möglich ist.

Die wichtigste Grösse ist der Arbeitsspeicher, bei Grafikkarten der Grafikspeicher. Als grobe Orientierung, die je nach Modell und Einstellung abweicht:

• 8 GB Arbeitsspeicher: kleine Modelle mit wenigen Milliarden Parametern. Gut für einfache Texte, Zusammenfassungen und kleinere Aufgaben.
• 16 GB: mittlere Modelle, die für viele Alltagsaufgaben schon gute Ergebnisse liefern.
• 32 GB und mehr: grössere Modelle, deutlich stärker beim Schreiben, Programmieren und Planen.

Computer mit Apple-Chips eignen sich gut, weil sich Prozessor und Grafik den Speicher teilen. Bei Windows-Rechnern hilft eine Grafikkarte mit viel eigenem Speicher. Ohne passende Hardware laufen Modelle trotzdem, aber langsam.

• Datenhoheit. Kundendaten, Offerten, interne Notizen werden für die KI nicht an einen Dritten übermittelt. Das vereinfacht die Fragen rund um das Datenschutzgesetz erheblich.
• Keine Kosten pro Anfrage. Nach der Installation kostet jede Anfrage nur Strom. Wer viel ausprobiert, spart.
• Unabhängigkeit. Keine Preisänderungen, keine geänderten Nutzungsbedingungen, kein Konto, das gesperrt werden kann.
• Planbarkeit. Sie wissen genau, welches Modell in welcher Version läuft.

Gerade für Treuhandbüros, Praxen, Kanzleien oder Betriebe mit sensiblen Kundendaten ist das ein starkes Argument. Mehr zur Organisation in solchen Betrieben steht im Artikel Treuhandbüro organisieren.

Lokale Modelle sind nicht nur etwas für Technikbegeisterte. Einige typische Einsätze aus dem Alltag kleiner Betriebe:

• Texte entwerfen: Offerten-Begleitschreiben, Antworten auf Anfragen, Stelleninserate, Produktbeschreibungen für den Shop.
• Zusammenfassen: lange E-Mails, Protokolle von Sitzungen, Verträge als erste Übersicht, nie als Ersatz für die rechtliche Prüfung.
• Übersetzen: zwischen Deutsch, Französisch und Italienisch, für Kundschaft aus allen Landesteilen. Bei wichtigen Texten trotzdem gegenlesen lassen.
• Software bauen: mit Werkzeugen, die KI-Agenten auf dem eigenen Computer arbeiten lassen, etwa für eine Verwaltungssoftware oder eine kleine App.

Gemeinsam ist diesen Aufgaben, dass oft vertrauliche Informationen im Spiel sind: Namen, Preise, Vertragsdetails. Genau dort spielt lokale KI ihren Vorteil aus. Ein Malerbetrieb in Chur muss sich keine Gedanken machen, wo die Offerte für die Villa eines Kunden landet, wenn das Modell im eigenen Büro läuft.

Lokale KI ist kein Wundermittel. Die grössten Cloud-Modelle sind bei komplexen Aufgaben weiterhin stärker als das, was auf einem normalen Laptop läuft. Die Unterschiede zeigen sich vor allem bei langen, verschachtelten Aufgaben, bei sehr grossen Projekten und bei Fachwissen, das selten vorkommt.

• Geschwindigkeit: Auf schwächerer Hardware dauern Antworten deutlich länger.
• Qualität: Kleine Modelle machen mehr Fehler und brauchen klarere Anweisungen.
• Ressourcen: Während das Modell läuft, ist der Computer stark ausgelastet und muss eingeschaltet bleiben.
• Pflege: Neue Modelle erscheinen regelmässig; Sie entscheiden selbst, wann Sie wechseln.

Mit einem API-Schlüssel nutzen Sie die Modelle eines Anbieters direkt, etwa über OpenRouter, Anthropic oder OpenAI, und bezahlen nach Verbrauch. Ihre Anfragen gehen dabei an diesen Anbieter. Lesen Sie seine Bedingungen zur Datenverarbeitung, bevor Sie vertrauliche Inhalte senden.

• Lokal, wenn Daten vertraulich sind, wenn Sie viel ausprobieren wollen oder wenn die Aufgabe überschaubar ist.
• API-Schlüssel, wenn das Projekt gross ist, wenn Tempo zählt oder wenn das lokale Modell an seine Grenzen kommt.
• Mischung, wenn Sie lokal beginnen und für einzelne anspruchsvolle Schritte auf ein grösseres Modell wechseln.

Wer einen API-Schlüssel verwendet, sollte ein Ausgabenlimit festlegen. So bestimmen Sie den maximalen Betrag selbst, statt ihn am Monatsende zu entdecken.

Bei Plannify wählen Sie das Modell, mit dem das Team von KI-Agenten arbeitet: ein kostenloses Modell direkt im Browser, ohne Installation, ein lokales Modell mit Ollama auf Ihrem Computer oder Ihren eigenen API-Schlüssel. Mit Ollama arbeiten die Agenten mit dem Modell auf Ihrem Rechner, und Ihr Projekt liegt verschlüsselt auf Ihrem Computer.

Auch kleinere Modelle liefern brauchbare Ergebnisse, weil das Team von bewährten Bausteinen und bekannten Fällen ausgeht und jede Datei prüft. Macht ein kleines Modell einen Fehler, geht die Arbeit zurück, bis es funktioniert. Für sehr grosse Projekte empfiehlt sich ein stärkeres Modell, lokal auf leistungsfähiger Hardware oder per API-Schlüssel mit Tageslimit.

Ihr Computer muss eingeschaltet bleiben, solange die Agenten arbeiten; schalten Sie ihn aus, pausiert die Arbeit. Gefährliche Befehle warten auf Ihre Zustimmung, und die Agenten arbeiten nur im Projektordner. Das Bauen ist gratis. Was Sie damit erstellen können, zeigen App erstellen und Branchensoftware erstellen.