Speko автоматизирует выбор моделей голосового ИИ через открытые бенчмарки
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Платформа Speko, вышедшая из программы Y Combinator, предлагает динамический роутинг для голосовых агентов, автоматически подбирая оптимальное сочетание STT, LLM и TTS моделей на основе актуальных метрик. Основатель сервиса утверждает, что компания решает проблему устаревших стеков моделей, предлагая прозрачные публичные тесты и открытый код шлюза для самостоятельного развёртывания.
Инструмент позволяет разработчикам голосовых интерфейсов оперативно обновлять технологический стек без сложных интеграций, опираясь на независимые замеры производительности и стоимости, что критично для снижения латентности и ошибок распознавания речи.
Голосовые ИИ-агенты в промышленном использовании обычно представляют собой ансамбль из трёх компонентов: модели распознавания речи (STT), большой языковой модели (LLM) и синтеза речи (TTS). Рынок предлагает десятки вендоров для каждого слоя, а новые модели появляются ежемесячно. Однако, как отмечает Бек, основатель платформы Speko, большинство команд проводят оценку стека один раз и не пересматривают выбор из-за сложности переинтеграции. В результате в продакшене часто работают устаревшие модели, хотя на рынке уже доступны более точные и дешёвые альтернативы.
Speko позиционируется как «OpenRouter для голосового ИИ». Платформа принимает запрос с критериями оптимизации (точность, латентность, стоимость или баланс), языком и регионом. Система фильтрует модели, которые были протестированы на данную комбинацию ограничений, проводит бенчмаркинг и возвращает ответ с метаданными о победителе. Архитектура включает гейтвей, который предзагружает подписанные планы сессий, позволяя новому вызову обращаться к провайдеру напрямую из памяти без дополнительных задержек на стороне управления. Фейловер происходит только на этапе установки соединения: если основной провайдер отказывает, система переключается на запасные варианты.
Перед созданием Speko основатель четыре года работал CTO в компании, разрабатывавшей голосовых агентов для предприятий в Азии на 10+ языках. В тот период команда нанимала носителей языка для оценки новых моделей и обновления продакшена. Speko превращает этот процесс в API. Один из клиентов, обрабатывающий тысячи звонков ежедневно, отметил, что теперь может просто переключить модель через дашборд, и платформа выполнит настройку автоматически.
Прозрачность является ключевым принципом работы сервиса. Команда публикует результаты замеров, включая случаи, где их выбор проигрывает альтернативам. Тестирование включает спонтанную речь, упоминания денег и дат, а также длинные записи длительностью до десяти минут, так как производительность моделей может меняться со временем. Для оценки естественности TTS был обучен автоматический скорер на основе слепых голосований слушателей. На провайдерах, не участвовавших в обучении, алгоритм выбирает того же победителя, что и люди, с частотой, близкой к уровню согласия между самими ратерами.
Компания не занимается обучением или продажей собственных моделей, что, по словам основателя, гарантирует беспристрастность рейтингов. Для команд, желающих избежать дополнительных сетевых задержек на аудиопотоке и не передавать ключи в облако Speko, гейтвей был открыт с лицензией MIT. Это единый бинарный файл на Go, работающий как сайдкар в контейнере агента, который общается по локальному протоколу через Unix-сокет. В режиме BYOK (Bring Your Own Key) шлюз не взаимодействует с облаком Speko. По умолчанию включена анонимная телеметрия без содержания данных, которую можно отключить одной переменной окружения.
Стоимость сервиса включает бесплатный навсегда доступ к гейтвею и настройке BYOK; платными являются хостинг роутера и управляемые ключи с консолидированным биллингом. С момента начала работы в конце июня внешнее использование платформы выросло примерно на 25% в неделю, с акцентом на недели запуска. Основатель приглашает сообщество делиться опытом выбора речевых моделей и критериями доверия к сторонним бенчмаркам.