Czy lokalny LLM na Mac mini M6 ma sens?

Zostań wspierającym kanał i podcast na Patreonie:   / imagazinepl   🛍️ Fueran 4K/120 Dummy Adapter https://link.amazon/B05t2wRGs Czy lokalny LLM na Macu mini M6 ma w ogóle sens? Tym razem konfiguruję Maca mini jako headless server, czyli komputer działający bez monitora i klawiatury, do którego łączę się zdalnie z MacBooka Pro. Po drodze jest dummy HDMI, BetterDisplay i własna rozdzielczość 16:10, ale najważniejsza część zaczyna się później: AnythingLLM, oMLX, lokalny Qwen 3.5 9B, własna baza dokumentów i próba zbudowania prywatnego chatbota na podstawie transkrypcji podcastu. Sprawdzam, jak taki model radzi sobie z wyszukiwaniem konkretnych informacji, gdzie zaczyna halucynować, jak szybko działa na 24 GB RAM-u i czy rzeczywiście da się na nim sensownie pracować bez wysyłania danych do chmury. Wnioski są trochę brutalne: do prostych zadań, RAG-u i prywatnego przeszukiwania dokumentów lokalne AI ma sens, ale kiedy przyzwyczaimy się do współczesnych modeli online i agentów, powrót do małego lokalnego LLM-u potrafi boleć. Przy okazji pokazuję całą konfigurację, sposób działania embeddera, lokalnej bazy danych, cache, llama servera oraz wyjaśniam, dlaczego do poważniejszej zabawy z AI w Macu mini raczej wybrałbym 32 GB RAM-u niż 24 GB. Spis treści (timestamps): 00:00:00 Wstęo 00:00:14 Mac mini jako headless server 00:00:28 Dummy HDMI i zdalna praca bez monitora 00:01:37 BetterDisplay i własna rozdzielczość 16:10 00:02:23 Czy lokalny LLM na Macu mini ma sens? 00:02:55 Hermes, lokalne modele i ograniczenia 128 GB RAM-u 00:04:03 Prosty prywatny chatbot na 24 GB RAM-u 00:04:29 AnythingLLM i transkrypcje podcastu 00:05:12 Qwen 3.5 9B, oMLX i konfiguracja modelu 00:06:01 Pierwsze odpowiedzi i problemy z jakością 00:06:51 Jak działa lokalny RAG bez internetu 00:07:53 Test wyszukiwania informacji w transkrypcjach 00:10:45 Do czego lokalny LLM faktycznie się nadaje? 00:11:07 Konfiguracja oMLX, modelu i cache 00:11:58 Lokalna baza danych i embeddingi BGE-M3 00:13:05 Prywatność kontra możliwości modeli online 00:14:05 Mac mini M6 jako serwer do AI i transkrypcji 00:15:01 Jaką konfigurację RAM wybrać? 00:16:03 Lokalne AI czy ChatGPT? 00:16:13 Podsumowanie i dalsze testy Bądźmy w kontakcie: 👉🏻 WWW: https://imagazine.pl 👉🏻 Instagram:   / moridin   👉🏻 Mastodon: https://mastodon.online/@moridin Dzięki za oglądanie!