Wer ChatGPT, Claude, Gemini oder Deepseek nutzt, schickt jede Anfrage in die Cloud – meist in die USA, manchmal nach China, selten nach Europa. Für viele Inhalte ist das unproblematisch. Bei vertraulichen Daten, internen Strategiepapieren oder personenbezogenen Informationen sieht die Sache anders aus. Die Antwort darauf heißt lokale KI: Open-Weights-Modelle wie Llama, Mistral oder Gemma laufen direkt auf dem eigenen Laptop – ohne dass auch nur ein Byte den Rechner verlässt. Keine Cloud, kein Konzern, keine geopolitische Abhängigkeit.
Die österreichische Tageszeitung “Der STANDARD” hat sich kürzlich angesehen, wie nützlich lokale LLMs im Alltag tatsächlich sind – und benennt die zwei zentralen Schwachstellen kommerzieller Modelle klar: hoher Energieverbrauch und Risiko für vertrauliche Daten. Lokale Modelle drehen dies um: Die Daten bleiben lokal. Der Energieverbrauch ist maximal so hoch wie die Leistung des Computernetzteils als vielleicht 40 oder maximal 60 Watt.
So überzeugend das klingt, ehrlich muss man auch die Nachteile benennen. Lokale KI braucht Hardware: Ein älterer Laptop reicht für kleine Modelle, ernsthaftes Arbeiten verlangt aber 32 GB RAM aufwärts, idealerweise einen Apple-Silicon-Mac oder eine dedizierte GPU (Grafikprozessor). Die Antworten sind manchmal langsamer, die Modelle (noch) nicht ganz auf dem Niveau von ChatGPT oder Claude, und das Setup mit Tools wie Ollama oder LM Studio ist für Einsteiger:innen eine kleine Hürde.
Der Trend zeigt aber klar in eine Richtung: Open-Weights-Modelle holen rasant auf, neue Generationen wie Gemma 4 liefern auf Mittelklasse-Hardware Ergebnisse, die vor zwei Jahren nur in der Cloud denkbar waren. Wer sich heute mit lokaler KI beschäftigt, baut Kompetenz für eine digital souveräne Zukunft auf – unabhängig von Washington, Peking und den Geschäftsmodellen großer Plattformen.
Zum Start sei allen Experimentierfreudigen https://lmstudio.ai/ oder https://www.nomic.ai/gpt4all empfohlen. Fortsetzung auf 51° Nord folgt.
