Тестирование мобильных LLM: как малые модели работают на iPhone 17 Pro
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Artificial Analysis совместно с Liquid AI провели бенчмаркинг небольших языковых моделей, работающих локально на смартфонах. Исследование оценило интеллектуальные способности и скорость генерации моделей, помещающихся в 8 ГБ памяти, на примере iPhone 17 Pro.
Материал демонстрирует реальные возможности локального инференса на мобильных устройствах, что критично для понимания приватности и автономности ИИ-приложений без облака.
Команда Artificial Analysis представила результаты масштабного тестирования небольших языковых моделей, работающих непосредственно на мобильных устройствах. В рамках проекта «Benchmarking Pocket-Scale Inference» исследователи сосредоточились на моделях, которые после квантизации и с учетом кэша KV при контексте в 8K токенов помещаются в 8 ГБ оперативной памяти. Такой подход позволяет оценить потенциал локального инференса, который становится все более актуальным для пользователей, ценящих приватность и независимость от сетевых подключений.
Для сбора данных о производительности Artificial Analysis сотрудничали с компанией Liquid AI. Именно Liquid AI проводила измерения реального времени генерации на самих устройствах, а команда Artificial Analysis независимо валидировала этот процесс замера. Такой методологический подход обеспечивает высокую достоверность результатов, так как данные получены не в идеализированных лабораторных условиях, а в реальных сценариях использования смартфона.
В качестве тестовой платформы был выбран iPhone 17 Pro. На этом устройстве оценивались два ключевых аспекта: интеллектуальные способности моделей и их скорость работы. Интеллектуальная часть тестирования включала набор бенчмарков, подобранных для отражения реального использования мобильных устройств. В частности, проверялись навыки вызова инструментов (BFCL Tool calling), следование инструкциям (IFBench), точность знаний и отсутствие галлюцинаций (AA-Omniscience), а также научное рассуждение (GPQA Diamond) и количественные вычисления (MATH-500).
Особое внимание уделялось эффективности использования контекста. Исследователи анализировали, как модели справляются с бюджетом контекста в 16K токенов, отслеживая случаи превышения лимитов (Context Budget Overruns) и общую токен-эффективность. Это важно для понимания того, насколько стабильно работают локальные модели при длительных диалогах или обработке больших объемов текста на ограниченном железе.
Результаты представлены в виде сравнительных диаграмм, где средний балл интеллекта сопоставляется со временем генерации от начала до конца. Такой формат позволяет читателям увидеть баланс между качеством ответов и скоростью их получения. Хотя конкретные числовые значения для каждой модели не приведены в кратком описании, методология четко определяет критерии отбора: только те модели, которые физически помещаются в 8 ГБ памяти, попадают в финальную таблицу лидеров.
Данный бенчмарк заполняет важный пробел в понимании возможностей edge-AI. В отличие от облачных гигантов, мобильные модели ограничены энергией и памятью, что требует компромиссов между размером модели и ее способностями. Работа Artificial Analysis и Liquid AI предоставляет объективную картину того, какие именно задачи сегодня можно решать локально на флагманских смартфонах.
Для тех, кто интересуется более глубоким анализом, на страницах моделей доступны оценки по полному Индексу интеллекта Artificial Analysis. Однако для мобильных сценариев ключевым остается именно специализированный набор тестов, описанный выше. Методология и правила отбора моделей подробно изложены на странице методологии проекта, что позволяет воспроизвести или проверить результаты.