Respan представляет Respan Gateway: открытый ИИ-шлюз на Rust с архитектурой плагинов
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Команда Respan представила Respan Gateway — открытое решение для маршрутизации запросов к LLM, написанное на Rust. Архитектура проекта основана на минималистичном ядре и расширяемой системе плагинов, что позволяет гибко интегрировать различные провайдеры и протоколы без модификации основного кода.
Проект предлагает альтернативу монолитным LLM-шлюзам, решая проблему сложности масштабирования и поддержки множества провайдеров через модульную архитектуру.
Команда Respan, участница программы Y Combinator (W24), представила Respan Gateway — открытый шлюз для взаимодействия с моделями искусственного интеллекта. Проект написан на языке Rust и позиционируется как декуплированная система, в которой все компоненты, от провайдеров до протоколов, реализованы в виде плагинов. Такой подход позволяет разработчикам собирать инфраструктуру под конкретные задачи, не изменяя ядро шлюза.
Основой для создания Respan Gateway послужил опыт команды по работе с библиотекой LiteLLM. С 2024 года Respan использовала этот инструмент для обслуживания тысяч организаций, однако необходимость поддержки различных настроек API-ключей и маршрутов привела к созданию обвязки из более чем 100 000 строк кода. В январе текущего года рутинное обновление LiteLLM вызвало нестабильность соединений, что потребовало отката изменений. По словам разработчиков, после этого инцидента они перешли на ручное внедрение исправлений из upstream-репозитория, признав, что дальнейшее патчинг существующего решения не является устойчивой стратегией.
Вдохновляясь архитектурой Nginx, авторы Respan Gateway заложили в основу проекта принцип минималистичного ядра. Ядро отвечает исключительно за диспетчеризацию событий, тогда как все функциональные возможности вынесены в плагины. К ним относятся поддержка провайдеров (OpenAI, Anthropic, Gemini), протоколов (чат, голосовое время реального действия, MCP) и модальностей (изображения, видео). Также через плагины реализуются функции надежности и безопасности, такие как интеллектуальная маршрутизация, резервирование и удаление персональной информации (PII).
Разработчики подчеркивают простоту расширения системы. Добавление нового провайдера сводится к созданию короткого файла-адаптера; например, интеграция Mistral занимает всего 22 строки кода. Специфические особенности API каждого провайдера также обрабатываются отдельными плагинами с соответствующими тестами. Gateway автоматически управляет инструментами, изображениями и протоколами рассуждений, позволяя, например, приложению на базе OpenAI Realtime API использовать Gemini Live через единый интерфейс.
Технически система работает по модели потоков: адаптер передает соединение первому клиентскому формату, который его распознает. Ядро запускает плагины в порядке регистрации, позволяя им выбирать провайдера, фильтровать потоки или отказывать в запросе. Если клиент и провайдер используют один формат API, данные проходят транзитом без изменений, сохраняя специфические поля. При различии форматов происходит трансляция через общие типы данных для сообщений, вызовов инструментов и результатов.
Respan Gateway доступен на GitHub под лицензиями MIT или Apache-2.0. Проект находится в статусе pre-alpha, но уже может быть запущен локально: достаточно собрать исходный код, добавить ключи провайдеров и изменить базовый URL в клиенте. Команда Respan зарабатывает на своем хостинговом платформе, которая предоставляет шлюз с нативной наблюдаемостью, оценками и единым биллингом. Разработчики приглашают сообщество создавать собственные плагины для маршрутизации, безопасности и мониторинга агентов, отмечая, что формирование такой экосистемы является их основным roadmap.