Seit heute probiere ich Hermes mit einem lokalen Sprachmodell: Qwen3.6-27B-UD-MLX. Ich bin sehr gespannt, welche Erfahrungen sich daraus in den nächsten Tagen und Wochen ergeben – vor allem im Hinblick auf Geschwindigkeit, Alltagstauglichkeit, Datenschutz und die Frage, wie weit lokale KI-Setups mit agentischen Qualitäten inzwischen produktives Arbeiten ermöglichen. Noch kann ich das alles nicht überblicken.
Hermes ist ein Open-Source-Agentenframework von Nous Research, das nicht nur mit Cloud-Modellen, sondern auch mit lokalen LLMs arbeiten kann.
Das von mir eingesetzte Modell Qwen3.6-27B-UD-MLX gehört zur Qwen3.6-Familie und ist in einer MLX-Variante (optimiert für Mac) verfügbar. Qwen3.6 wird unter anderem für Verbesserungen bei agentischem Coding, Tool Calling und längerem kontextbezogenem Arbeiten gelobt.
Spannend ist hier auch die technische Basis: MLX ist ein von Apple Machine Learning Research entwickeltes Framework für maschinelles Lernen auf Apple Silicon. Es ist auf die Unified-Memory-Architektur aktueller Macs optimiert und macht es dadurch attraktiver, größere Modelle lokal auszuführen. (GitHub)
Für mich ist das ein weiterer Schritt in Richtung souveräner, lokaler KI-Nutzung: weniger Abhängigkeit von Cloud-Diensten, mehr Kontrolle über Daten und neue Möglichkeiten, KI-Agenten direkt am eigenen Gerät zu erproben. Noch ist offen, wie stabil und praktisch das Setup im Alltag sein wird.
Ich werde berichten.
P.S.: Vielen DANK an dieser Stelle an Harry Russegger für den Support!
