Apple представила новую архитектуру AI, которая позволяет использовать модели с 20 миллиардами параметров, полностью минуя ограничения, связанные с оперативной памятью (DRAM). Это открывает новые возможности для локальных приложений AI, что особенно важно для разработчиков, стремящихся оптимизировать производительность мобильных устройств.
Контекст: ограничения традиционных AI-моделей
На протяжении многих лет разработчикам приходилось выбирать между облачными AI-моделями, которые предлагают мощные вычислительные возможности, и ограниченными локальными решениями, которые не могли содержать большое количество параметров из-за ограничений объемов оперативной памяти. В связи с этим Apple и Google начали сотрудничество над третьей генерацией собственных моделей AI, что привело к возникновению новой архитектуры AFM 3.Эта архитектура включает в себя две модели для локального использования и три серверные, все работающие на серверах Google Cloud. Например, AFM 3 Core Advanced хранит веса в NAND-флеш памяти, а не в оперативной памяти, по сравнению с традиционными подходами, что дает возможность использовать значительно большее количество параметров.
Подробности и преимущества новой архитектуры
AFM 3 Core Advanced — это модель с 20 миллиардами параметров, функционирующая по инновационному принципу. Вместо переноса весов токен за токеном, модель принимает решение о загрузке необходимых параметров только один раз на запрос. Это позволяет значительно ускорить обработку, обеспечивая сокращение задержек. Исследователь Awni Hannun из Anthropic подчеркивает, что традиционные решения не могут обрабатывать 20 миллиардов параметров на приемлемом уровне точности. Принятый Apple подход позволяет адаптировать активное число параметров: от 1 до 4 миллиардов в зависимости от сложности задачи. Это приводит к более эффективному использованию ресурсов и лучшему пользовательскому опыту.Практические выводы для разработчиков
Для разработчиков из СНГ и России это означает, что Apple открывает доступ к мощным локальным AI-решениям, что сокращает зависимость от облачных платформ. Если вы создаете приложения с элементами AI, стоит обратить внимание на эту архитектуру для снижения затрат на серверные мощности. Локальные модели теперь могут конкурентоспособно решать задачи, требующие серьезных вычислительных ресурсов.Следующим шагом будет внедрение новой архитектуры в продуктах Apple и подготовка сторонних разработчиков к использованию её возможностей в своих приложениях.