Ollama улучшила производительность локальных моделей на Mac, добавив поддержку открытой MLX-рамки от Apple. Это особенно важно для разработчиков, кто работает с большими языковыми моделями — теперь модели запускаются быстрее и эффективнее.
Новый уровень производительности для Mac
Поддержка MLX позволила Ollama оптимизировать использование памяти на устройствах с процессорами Apple Silicon (M1 и новее). Теперь разработчикам доступна повышенная производительность за счёт улучшенного кэширования и поддержки формата NVFP4 для сжатия моделей. Например, новые нейропроцессоры M5 обеспечивают значительные преимущества в скорости обработки токенов и времени отклика, что становится заметным при работе с объёмными моделями, такими как 35-миллиардная версия Qwen3.5 от Alibaba.Рост интереса к локальным моделям
Сейчас как никогда актуально экспериментировать с локальными AI-моделями. Успех OpenClaw, которая быстро набрала более 300,000 звезд на GitHub, вдохновил многих разработчиков проводить эксперименты на своих устройствах. Как показывает практика, рост цен на подписки на сервисы вроде ChatGPT и Claude Code заставляет пользователей искать альтернативы, и локальные решения становятся всё более привлекательными.Преимущества и ограничения
Использование локальных моделей предоставляет ряд преимуществ, среди которых высокая скорость и конфиденциальность. Например, возникают вопросы по безопасности, когда модели имеют доступ к системе пользователя. Однако настройка Ollama остаётся сложной — это в первую очередь инструмент командной строки. Чтобы воспользоваться новшествами, пользователям потребуется Mac с минимум 32 ГБ RAM, что ограничивает доступ для большинства обычных пользователей.В отличие от более традиционных настольных ПК с выделенными GPU, MLX использует общую память процессора и графического процессора, что открывает новые возможности для разработчиков. Несмотря на это, конкуренция с облачными моделями остаётся актуальной — лучшие результаты показывают именно они.