Frugon: локальный анализатор оптимизации расходов на LLM
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Открытый инструмент Frugon позволяет анализировать логи вызовов языковых моделей локально, чтобы определить, какие запросы можно перевести на более дешевые модели без потери качества. Разработка работает с данными формата OpenAI и предлагает рекомендации по маршрутизации трафика для снижения ежемесячных затрат.
Инструмент помогает разработчикам и компаниям сократить расходы на API-вызовы LLM, предоставляя прозрачный локальный анализ без передачи данных третьим лицам.
Разработчик под ником Rodiun представил Frugon — открытый инструмент с лицензией MIT, предназначенный для анализа стоимости вызовов больших языковых моделей (LLM). Основная задача утилиты — определить, какие именно запросы в логах приложения можно безопасно перевести на более дешевые модели, сохранив при этом качество ответов. В отличие от многих облачных сервисов, Frugon работает полностью локально: данные пользователя не покидают его машину, а ключи API направляются напрямую к провайдерам. Это решает проблему конфиденциальности и позволяет проводить анализ без риска утечки чувствительных данных.
Инструмент принимает логи в формате JSONL, совместимом со стандартом запросов и ответов OpenAI. Для получения таких логов Frugon предлагает встроенный режим «capture», который работает как локальный HTTP-прокси между приложением и провайдером. Этот прокси перенаправляет вызовы на реальный API без изменения содержимого, сохраняя каждый запрос в файл. Разработчик подчеркивает, что такой подход не добавляет задержек на localhost и не использует сторонние прокси-серверы, что исключает риск перехвата ключей.
Анализ стоимости выполняется офлайн с использованием локальных токенизаторов и актуальных цен из реестра LiteLLM. Frugon классифицирует запросы на «простые» и «сложные», предлагая маршрутизацию первых на более экономичные модели, такие как DeepSeek или Gemini Flash, в то время как сложные задачи остаются на флагманских моделях вроде GPT-5.5 или Claude Sonnet. В демонстрационном режиме с 56 100 вызовами инструмент показал возможность снижения ежемесячных расходов на 37,4% за счет перераспределения трафика.
Для проверки качества ответов доступен опциональный режим «--measure», который отправляет выборку реальных промптов на кандидатам модели через ключи пользователя. Это позволяет оценить, насколько дешевле модель справляется с задачами по сравнению с текущей. Дополнительно реализована функция «--judge», которая проводит парное сравнение ответов и выявляет случаи, когда обе модели дают неудовлетворительный результат. Такой подход помогает избежать ложных выводов о качестве, основанных только на статистических оценках.
Разработчик честно указывает на ограничения инструмента: анализ является офлайн-оценкой, а не гарантией качества для каждого конкретного промпта. Также Frugon не учитывает косвенные затраты, такие как время на ручную проверку или повторные вызовы из-за слабых ответов. Тем не менее, инструмент позиционируется как прозрачный и честный: он показывает математический расчет на основе реальных данных пользователя, а не маркетинговые обещания.
Frugon ориентирован на разработчиков агентов, AI-команды, системы RAG и инди-хакеров, стремящихся оптимизировать бюджет. Инструмент намеренно остается компактным, исключая из своей архитектуры веб-интерфейсы и многопользовательские аккаунты. Это делает его удобным для интеграции в CI/CD пайплайны или локальные рабочие процессы, где важна скорость и автономность.