Ollama skifter gear på Mac: MLX-backend i preview
Ollama har netop lanceret en preview, hvor appen kan køre via Apples MLX-framework på Apple Silicon. Det lyder som en niche-nyhed for udviklere, men konsekvensen er ret enkel: lokal AI (LLM’er) på Mac kan blive både mere “Apple-native” og mere effektiv i den måde den bruger CPU/GPU og unified memory på.
MLX er Apples eget maskinlæringsframework, designet til netop Apple Silicon-arkitekturen og dens kombination af CPU, GPU og samlet hukommelse (unified memory). Når Ollama kan lægge et lag tættere på den hardware, du allerede har betalt for, handler det ikke kun om rå hastighed—det handler også om stabilitet, temperatur, strømforbrug og hvor gnidningsfrit det hele spiller sammen på macOS.
Hvad er MLX – og hvorfor giver det mening for Ollama?
Apple har i noget tid skubbet på for, at udviklere udnytter platformens egne byggesten til machine learning: tænk Metal, Core ML, Neural Engine og nu MLX. MLX er i praksis et værktøjssæt, der er optimeret til M-seriens måde at flytte data rundt på—og det er ofte dér, de lokale LLM-setups vinder eller taber. Ikke i “flere TFLOPs”-myten, men i praktiske ting som memory bandwidth og hvor meget overhead der opstår, når modeller og tensor-data skal frem og tilbage.
Ollama er blevet populær, fordi det gør lokal generativ AI realistisk for flere end de mest hardcore: download en model, kør den lokalt, få svar i terminalen eller via API—uden at sende dine prompts ud af huset. Med MLX-backend i preview signalerer Ollama, at Mac’en ikke bare er “en maskine der kan”, men en platform der prioriteres.
Det betyder det for dig i praksis: ydeevne, RAM og “on-device” privatliv
1) Mere naturlig udnyttelse af Apple Silicon
Apple Silicon (M1, M2, M3 og de nyere generationer) lever og dør på, hvor effektivt software udnytter den delte hukommelse. Når et LLM-workflow rammer rigtigt, kan du få en overraskende stabil oplevelse, selv på en relativt kompakt maskine—og ja, Mac mini er stadig lidt af en “value”-maskine til lokale modeller, fordi den leverer meget compute pr. krone og typisk kan stå og arbejde uden at genere.
2) Unified memory er både styrke og begrænsning
Lokale LLM’er er notorisk glubske. På Mac er RAM = unified memory, og det er fedt, fordi CPU og GPU deler samme pulje—men det betyder også, at du hurtigt kan ramme loftet. MLX kan hjælpe med at gøre forbruget mere effektivt, men det ændrer ikke fysikken: større modeller kræver stadig mere hukommelse. Hvis du arbejder seriøst med lokale modeller, er en MacBook med rigelig RAM stadig den mest friktionsfri løsning.
3) Lokal AI: færre cloud-afhængigheder
Det mest håndgribelige argument for Ollama—og ekstra meget på macOS—er privatliv. Når du kører on-device AI, bliver prompts og lokale data på din maskine. Det er ikke en garanti mod alt (logning, plugins, fejlkonfigurationer findes stadig), men det er et markant skridt væk fra “send det hele til en server, håb på det bedste”. Hvis du vil læse mere om Apple og privacy generelt, kan du også søge efter relaterede guides hos We❤️Apple.
Preview er preview: Hvad du bør holde øje med
Ollama kalder det selv preview, og det er værd at tage alvorligt. I denne fase handler det typisk om kompatibilitet (hvilke modeller kører bedst), stabilitet (crashes ved bestemte quantizations), og om ydeevnen er konsistent på tværs af M1/M2/M3/M4-familien. Det er også her, man ser de reelle trade-offs: nogle workloads bliver markant bedre, mens andre i starten kan være “bare anderledes”.
Derudover er det værd at se, hvordan MLX-tilgangen spiller med resten af Apples ML-økosystem. Core ML og Neural Engine er fantastiske til visse typer inference, men LLM’er—særligt open-source-varianter med forskellige quantization-metoder—kan være en helt anden disciplin. MLX kan være broen, men broen skal stadig asfalteres færdig.
Min vurdering: Det her er den mest “Mac-native” retning for lokal LLM
Det mest interessante her er ikke, at “endnu et AI-værktøj” får endnu en backend. Det er, at Ollama vælger at læne sig ind i Apples egen stack i stedet for kun at ride på generiske cross-platform-løsninger. For Mac-brugere—og især dem på Apple Silicon—er det ofte sådan, man får den dér oplevelse, hvor alt pludselig føles mindre som et hobbyprojekt og mere som et værktøj.
Mit bud: Hvis MLX-preview’en modnes hurtigt, kan Mac blive et endnu stærkere sted at køre lokale LLM’er i hverdagen—ikke nødvendigvis fordi den slår et high-end NVIDIA-setup i rå throughput, men fordi den leverer “god nok” performance med lav friktion, lavt støjniveau og fornuftig energieffektivitet. Det er en meget Apple-agtig måde at vinde på.
Hvis din “AI-workstation” lyder som en støvsuger, er det måske tid til at lade en Mac gøre det på den stille måde.
Se Mac mini til lokal AI →Fri fragt over 499,- og dag-til-dag levering
Hvad nu?
Hvis du allerede bruger Ollama på Mac, er MLX-preview’en værd at holde øje med via kilden hos Ollama: ollama.com/blog/mlx. Og hvis du er i gang med at sammensætte en maskine til on-device AI, er det især RAM/unified memory og termisk headroom der afgør, om oplevelsen er “sjov demo” eller “reelt værktøj” i din daglige macOS-rutine.
Del: