Локальный ИИ на смартфоне: Cortiq Mobile запускает модели без облака
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Приложение Cortiq Mobile позволяет запускать языковые модели прямо на Android и iOS, обеспечивая работу чата, перевода и принятия решений в полностью офлайн-режиме. Разработчики утверждают, что современные мобильные процессоры способны обрабатывать компактные LLM со скоростью до 162 токенов в секунду.
Технология демонстрирует возможность переноса вычислительных задач ИИ с серверов на локальные устройства, что критически важно для сценариев с ограниченным доступом к сети и строгими требованиями к приватности данных.
Команда разработчиков представила Cortiq Mobile — приложение с открытым исходным кодом для Android и iOS, которое позволяет запускать языковые модели непосредственно на смартфоне без подключения к интернету. Проект позиционируется как решение для ситуаций, где облачные сервисы недоступны или нежелательны из-за соображений конфиденциальности. Согласно данным тестирования, производительность современных мобильных чипов позволяет обрабатывать компактные модели с высокой скоростью, делая локальный ИИ практически применимым в повседневных задачах.
Ключевой особенностью проекта является использование формата CMF (Cortiq Model Format). В отличие от стандартных файлов весов, этот формат объединяет в одном файле архитектуру модели, токенизатор и описания задач. Это позволяет приложению заранее знать требования к памяти и контексту, а также упрощает конвертацию моделей из других форматов, таких как safetensors или GGUF. Пользователи могут скачивать готовые модели из встроенного каталога или импортировать собственные файлы.
В ходе тестов на iPhone 16 с моделью lfm2.5-230m-q4tp была зафиксирована скорость генерации в 162,1 токена в секунду при использовании только CPU. Приложение поддерживает три основных режима работы: чат с возможностью загрузки локальных документов (до 512 KiB), специализированный переводчик и модуль принятия решений. Для перевода используется отдельная модель Hy-MT2 на 1,8 миллиарда параметров, которая демонстрирует стабильную работу даже со сложными структурами данных, такими как JSON.
Особый интерес представляет режим «Решения» (Decisions). Вместо генерации текстовых ответов модель возвращает структурированные данные с меткой уверенности. Например, при запросе о статусе карты банк получает не абзац текста, а JSON-объект с полем accepted: true и конкретным выбором действия. Это позволяет программному обеспечению принимать решения автоматически, исключая необходимость парсинга естественного языка.
Смартфон также может функционировать как локальный сервер для других устройств в домашней сети. Cortiq Mobile предоставляет OpenAI-совместимый API, позволяя ноутбукам или другим программам отправлять запросы на обработку через телефон. Разработчики протестировали устойчивость системы к нагрузке: при 16 одновременных клиентах устройство корректно обрабатывало очередь запросов, отклоняя избыточные соединения с кодом ошибки 429.
Приватность данных является приоритетом архитектуры. Все вычисления выполняются локально, а интернет требуется только для первоначальной загрузки моделей. Доступны два дополнительных режима: «Компаньон» для совместного использования ресурсов с компьютером и «Оракул», позволяющий обращаться к внешним провайдерам при отказе локальной модели. Последний режим отключен по умолчанию и требует ручного подтверждения каждого запроса, а API-ключ хранится в защищенном хранилище устройства.
Для запуска приложения достаточно установить его из Google Play или через TestFlight, скачать подходящую модель из каталога Hugging Face и загрузить ее в движок. Разработчики подчеркивают, что для интеграций оптимальным является использование от одного до четырех клиентов одновременно, чтобы сохранить отзывчивость системы. Источник: web:Habr AI — https://habr.com/ru/articles/1089704/