Apple существенно расширила возможности локального искусственного интеллекта в новом чипе A20 Pro. Смартфон iPhone 18 Pro способен запускать модель Bonsai 27B приблизительно в два раза быстрее предыдущего поколения. Однако итоговая производительность по-прежнему зависит от объёма доступной оперативной памяти.
Ключевым изменением в A20 Pro стал Neural Engine, включающий два блока по 16 ядер. В сочетании с 12 ГБ более скоростной памяти LPDDR5X и пропускной способностью 115,2 ГБ/с это заметно ускоряет обработку и генерацию токенов. Во время демонстрации Адриен Гронден показал, как iPhone 18 Pro работает с моделью, содержащей 27 млрд параметров, без обращения к облачным серверам.
При этом у системы есть существенное ограничение. Обновлённая Bonsai 2 применяет 2-битную квантизацию и оказывается слишком требовательной для комфортного запуска непосредственно на iPhone 18 Pro. Когда памяти не хватает, скорость работы значительно падает. Более ранняя версия Bonsai с 1-битной квантизацией потребляет меньше ресурсов и может стабильно запускаться даже на устройствах с 4 ГБ оперативной памяти.
Таким образом, A20 Pro делает iPhone заметно более подходящим для локальных ИИ-задач, однако одной вычислительной мощности недостаточно. Каким бы производительным ни был Neural Engine, он не сможет компенсировать нехватку физической памяти для запуска слишком крупной модели.