Архитектура детерминированности: как ИИ-агент работает без нейросетей в критических расчетах
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Разработчик описывает архитектуру сметного ПО, где нейросеть используется лишь для интерпретации документов и диалога, а все финансовые расчеты выполняет детерминированный код. Такой подход позволяет избежать галлюцинаций в цифрах и обеспечивает полную воспроизводимость результатов аудита.
Материал демонстрирует практический пример гибридной архитектуры, где LLM выступает интерфейсом к жестко типизированному ядру. Это критически важно для бизнес-приложений, где ошибки в расчетах недопустимы, а требования к аудиту и воспроизводимости результатов превышают возможности вероятностных моделей.
В индустрии разработки ИИ-агентов часто возникает соблазн делегировать нейросетям все задачи, включая математические вычисления. Однако опыт создания специализированного сметного инструмента показывает, что для критически важных финансовых операций такой подход неприемлем. Разработчик описывает систему, в которой нейросеть не участвует в подсчете ни рубля: все арифметические операции, проверки диапазонов и контроль единиц измерения выполняет детерминированный код с правилами. Нейросеть здесь служит лишь «переводчиком»: она разбирает входящие документы, общается с пользователем и вызывает готовые функции ядра через механизм tool use.
Ключевой проблемой в работе со сметами является риск ошибок в формулах Excel. В ходе тестирования на пяти реальных сметах система выявила 310 замечаний. Самая дорогая находка — занижение итоговой суммы на 515 786 рублей — была обнаружена из-за двух независимых дефектов: неверной ссылки в формуле итогового значения и некорректного диапазона суммирования в одном из этапов. Кодовое ядро способно детектировать такие нарушения, сверяя номера строк и диапазоны, что невозможно сделать с помощью вероятностной модели без риска галлюцинаций.
Архитектура системы строится на строгом разделении ответственности. Модель не имеет доступа к расчетным функциям; она может только инициировать вызовы шести предопределенных инструментов ядра, таких как проверка сметы или разбор проектного альбома. Это создает естественный барьер безопасности: даже если в документ внедрена вредоносная инструкция (prompt injection), требующая от модели изменить цены или нарушить правила, она физически не сможет выполнить это действие, так как соответствующей функции в ее арсенале просто нет. Все ответы модели проходят фильтрацию на наличие запрещенных данных до того, как попадут в историю диалога.
Вопрос воспроизводимости также решается в пользу кода. Каждая выпущенная смета содержит метаданные о версиях нормативов, по которым она была рассчитана. Это позволяет через полгода точно восстановить логику расчета. Нейросеть не способна дать такой гарантии, так как ее ответы зависят от контекста и вероятностных процессов. Кроме того, разработчик отказался от использования второго ИИ-валидатора для проверки ответов первой модели, поскольку ошибки подобных систем коррелированы: они часто «спотыкаются» на одних и тех же входах, а ложные срабатывания лишь усложняют работу пользователя.
Точность системы оценивается по эталонному списку ошибок. На обучающих данных (тех самых пяти сметах) система выявила 92% известных проблем, найдя все финансовые расхождения на сумму 786 014 рублей. Однако разработчик честно указывает, что это результат работы на «обучающих» данных, где правила могли быть адаптированы под конкретные случаи. На контрольном наборе, который был отложен с самого начала, точность составила 85,3%, что автор считает верхней границей оценки. Ложные срабатывания составляют около 8,7% и чаще всего связаны с неверной интерпретацией фасовки материалов или сравнением разных зон помещения.
Отдельного внимания заслуживает подход к нормативной базе. Разработчик подчеркивает, что в СП и ГОСТ нет конкретных норм расхода материалов на единицу работ — там описаны технологии и допуски. Конкретные цифры берутся из внутренних производственных норм компании или паспортов производителей. Нормативные документы используются как коридор правдоподобия: система проверяет наличие обязательных строк (например, гидроизоляции при наличии ванны), но не вычисляет количество материалов по формулам из ГОСТ. Это позволяет избежать конфликта между «бумажными» нормами и реальной практикой ремонта.
Второй проект в портфеле разработчика — конфигуратор замеров для душевых кабин — вообще обходится без нейросетей. Здесь все решения принимаются на основе жестких правил мастера и шаблонов инженера. Клиент вводит замеры, а система автоматически формирует Excel-файл с фиксированными ячейками, который затем используется для построения чертежей в САПР. Этот пример иллюстрирует принцип: если задача решается детерминированными правилами, привлечение LLM только увеличивает сложность и риски.
В итоге мы видим не «ИИ-агента» в привычном понимании, а гибрид, где нейросеть отвечает за понимание естественного языка и навигацию по документам, а классический код гарантирует точность расчетов. Такой подход особенно актуален для B2B-решений, где цена ошибки измеряется реальными деньгами, а доверие пользователя строится на предсказуемости системы. Источник: web:Habr AI — https://habr.com/ru/articles/1093050/