Lokales LLM-Setup auf dem M4 Pro Mac mini

Manchmal kommt man auf Ideen, die erstmal nach Overkill klingen. Einen M4 Pro Mac mini mit 48 GB RAM dauerhaft als eigenen LLM-Server laufen zu lassen, um keine Cloud-API mehr zu bezahlen? Hm, dachte ich zuerst. Aber je länger ich mir die Argumente angucke, desto nachvollziehbarer wird es.

Kevin Lewis beschreibt auf lws.io genau so ein Setup, und das Beste daran: Das Ganze soll in etwa 30 Minuten aufgesetzt sein. Als Hauptmodell für alles, was Reasoning oder Tiefe braucht, nutzt er Qwen3.6-35B-A3B, für einfache Chats und Routineaufgaben das leichtere Gemma-4-E4B. Dazu kommt oMLX als Inference-Server und Tailscale, um Mac mini, iPhone und MacBook zu verbinden. Sein Hermes-Agent läuft auf dem Mini, das Desktop-Client auf dem MacBook, und übers Handy chattet er per Telegram.

Was mich persönlich am meisten zum Schmunzeln bringt: Er nennt Cloud-APIs „gemietetes Land“. Und mal ehrlich – unrecht hat er nicht. Die können jederzeit die Preise ändern, dein Nutzungslimit erreichen oder im Hintergrund heimlich das Modell tauschen. Er erzählt, dass er regelmäßig zwei Abos à 200 $/Monat voll ausgereizt hat und dabei trotzdem nicht dasselbe bekam – mal lief das Modell gut, mal verschlechterte es sich ohne Vorwarnung. Das kenn ich zu gut.

Dann ist da der Datenschutz-Faktor. Bei einer API weißt du nie, was mit deinen Daten passiert, sobald sie raus sind. Ob sie begrenzt werden, verkauft oder offengelegt – irgendwie wird es ein operatives Sicherheitsrisiko. Wenn du mit sensiblen Code, Kundendaten oder proprietären Workflows arbeitest, ist das Senden an einen Drittanbieter eine Entscheidung, die du triffst, aber nicht zurücknehmen kannst. Sein Stichwort dafür ist „AI sovereignty“ – digitale Selbstbestimmung, wenn man so will.

Ehrlich gesagt fehlen mir beim Quelltext ein paar konkrete Zahlen zu Kosten oder Leistung – das wäre noch spannend gewesen. Aber der Sinn der Sache bleibt klar: Wer mal keine Lust hat, fremdes Land zu pachten, kann sich sein eigenes Stück bauen.