Ein Journalist zieht die Cloud-Steckdose und betreibt große KI-Modelle lokal auf einem M5 Ultra — privat, praktisch, aber nicht ohne Hürden.
In Kürze
- Leistungsstarker M5 Ultra mit 256 GB unified memory macht lokale Modelle möglich
- Hermes Agent + Qwen 3.8 laufen lokal für Briefings, Steam‑Sortierung und Datenanalyse
- Vorteile: Kontrolle und Datenschutz; Herausforderungen: Einrichtung, Kosten und Zuverlässigkeit
Er zieht die Steckdose der Cloud: Ein Journalist testet lokale KI auf dem Mac
Weil ihm die Vorstellung, persönliche Daten in fremde Rechenzentren zu schicken, suspekt ist, setzt ein Journalist bewusst auf lokale Künstliche Intelligenz — auf dem eigenen Rechner. Er ist kein KI‑Experte, sieht das Projekt als Lernvorhaben und dokumentiert Schritt für Schritt, ob sich die Anschaffung leistungsfähiger Hardware für lokale Modelle rechnet.
Hardware und Kontext
Apple bewirbt seine neuen Mac‑Desktops als geeignet für lokale KI‑Aufgaben. Parallel dazu kommen Windows‑Maschinen mit der RTX Spark‑Plattform auf den Markt, die Systeme mit bis zu 128 GB RAM anbieten und auf sogenannte Agenten‑KI zielen — Programme, die Aufgaben autonom für dich erledigen. Als Testgerät wählt der Autor ein M5 Ultra Mac Studio mit 256 GB „unified memory”, also einem sehr großen gemeinsamen Arbeitsspeicher, der das lokale Betreiben großer Modelle erst ermöglicht.
Software und Modelle
Als Oberfläche nutzt er Hermes Agent, eine Open‑Source‑Desktop‑App für macOS, Windows und Linux, die lokale Modelle verwendet. Hermes selbst ist kostenlos, solange die Modelle auf dem eigenen Rechner bleiben.
Für den Start installiert er Qwen 3.8 Flash Next, ein Modell mit rund 125 Milliarden Parametern und einer Dateigröße von etwa 105 GB — ein ordentliches Kaliber für lokale Einsätze.
Weil die Auswahl an Modellen groß und unübersichtlich ist, plant er weitere Tests mit kleineren Qwen‑Varianten auf anderen Geräten:
- M6 Mac Mini
- M5 MacBook Air
- Asus TUF Gaming A14 mit AMD Strix Halo
- später ein RTX Spark‑System
Erste Erfahrungen und Anwendungen
- Fernsteuerung: Hermes koppelt er über einen Telegram‑Bot an sein Smartphone, so dass das System auch aus der Ferne steuerbar ist.
- Tagesbriefing: Der erste praktische Anwendungsfall ist ein automatisches Morgen‑Briefing. Ein cron‑Job fasst E‑Mails, Kalendertermine und Wetter zusammen. Nach einigen Bastelarbeiten — etwa der macOS‑Einstellung, damit der Rechner nicht im Schlafmodus aussetzt — lief das zuverlässig, wenn auch noch ausbaufähig.
- Steam‑Bibliothek sortieren: Über 400 Spiele verwaltet er in Steam; Hermes nutzte per Steam‑API die Spiel‑Metadaten, ordnete Titel nach Genres und persönlichen Kategorien (Favoriten, Couch‑Coop, „für die Frau” etc.). Für den Zugriff gab er der App kurzzeitig einen Steam‑API‑Schlüssel, den er nach Abschluss der Aktion wieder zurückzog.
- Datenauswertung: Sensible Aufgaben wie Finanzberechnungen oder der Vergleich geheimer Laptop‑Specs erledigt er lokal — gerade bei vertraulichen Daten ein zentraler Beweggrund, die Cloud zu meiden.
- Automatisierte Benchmarks: In Arbeit ist ein größeres Projekt für automatisierte Laptop‑Benchmarks (mehrere Durchläufe, Mittelwerte). Hermes hilft beim Erstellen des Codes, das Skript ist aber noch nicht fertig.
- Alltagsproblem: Die größte Hürde ist nicht immer die Technik, sondern zu wissen, was man praktisch von der KI verlangen soll. Viele Fähigkeiten entstehen erst durch Ausprobieren und Durchdenken, welche Aufgaben sich tatsächlich auslagern lassen. Und: Nicht alles läuft zuverlässig — manches muss nachjustiert werden.
Einschätzung und Haltung
Aus Sicht des Autors verschafft lokale KI mehr Kontrolle und Privatsphäre gegenüber Cloud‑Anbietern wie OpenAI, Google, Microsoft oder Anthropic. Gleichzeitig betrachtet er das System nüchtern als Werkzeug und bleibt skeptisch gegenüber der Idee, die KI als „digitalen Freund” zu behandeln. Er plant, weiter zu testen und zu prüfen, welche Aufgaben sich sinnvoll auf lokale Modelle übertragen lassen — und welche nicht.
Quellen
- Quelle: Hermes Agent / Qwen
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
