Rocky – Rust SQL-движок с ветвями, воспроизведением и отслеживанием столбцов
rss:Hacker News: Front Page · оригинал
Rocky — Rust-основанный контроллер для управления DAG-графами в хранилищах данных. Он не заменяет хранилища (Databricks, Snowflake и др.), но обеспечивает контроль над зависимостями, типами данных на этапе компиляции, отслеживанием линейки столбцов и градуированным управлением данными. Включает функции ветвей, воспроизведения SQL-запросов, портабельности между СУБД и интеграцию с AI для генерации безопасного SQL.
Ценность: Ключевая проблема современных данных — отсутствие полного контроля над зависимостями и метаданными в хранилищах. Rocky решает это, предоставляя единую точку управления для сложных потоков данных. Это критически важно для соблюдения регуляторных требований (например, через 8-поле аудит), снижения рисков ошибок в анализе данных и интеграции с AI. Инструмент также улучшает транспарентность затрат и безопасность данных через отслеживание линейки столбцов на уровне компиляции.
Rocky представляет собой Rust-движок для управления графами данных в хранилищах, не заменяя их, а дополняя функциональностью контрольной плоскости. Он отслеживает зависимости, типы данных на этапе компиляции, включая отслеживание линейки столбцов через компилятор, а не через пост-обработку графов. Это позволяет точно определять влияние изменений и предотвращать ошибки, связанные с несоответствием данных. Особенности включают создание логических копий таблиц через ветвления, воспроизведение SQL-запросов для анализа исторических данных и интеграцию с VS Code через LSP для удобства работы. Также включена поддержка градуированного управления данными, включая классификацию столбцов, маскирование по окружениям и аудит на уровне каждой операции. Это позволяет автоматизировать соблюдение политик данных и создавать контейнеры для регуляторных проверок. Дополнительно обеспечивается аудит расходов и выявление превышения бюджета через специальные блоки в конфигурации.