Почему нейросеть не заполнила опросные листы: два месяца борьбы с данными

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Инженер описывает опыт создания системы автоматического заполнения технических анкет, где ключевым фактором успеха оказался не размер языковой модели, а качество поиска информации и строгие правила верификации. Проект показал, что для работы с закрытыми корпоративными базами данных эффективнее использовать малые специализированные модели и детерминированные алгоритмы, чем полагаться на генеративные возможности больших LLM.

Материал демонстрирует практические ограничения современных LLM в узких инженерных задачах. Он подчеркивает важность гибридных подходов, сочетающих машинное обучение с классической логикой обработки данных, что критично для внедрения ИИ в промышленные процессы с высокими требованиями к точности и безопасности.

Задача автоматизации заполнения опросных листов на контрольно-измерительные приборы (КИП) казалась идеальной для больших языковых моделей. Однако первый прототип, где LLM напрямую генерировала ответы по фрагментам технических заданий, показал эффективность лишь в трети случаев. Модель не умела признавать отсутствие данных и часто галлюцинировала, возвращая примеры из промпта с высокой уверенностью. Это заставило автора пересмотреть архитектуру системы, убрав нейросеть из процесса принятия решений по конкретным ячейкам.

Вторая итерация сместила фокус на правила и справочники, а модель использовалась лишь для извлечения фактов в конспект. На знакомых объектах точность выросла до 86–92%, но на новых данных результат упал до 58%. Ошибки оказались тонкими: система путала срок службы агрегата с гарантией, опираясь на формально верные цитаты. Анализ показал, что правила, созданные на основе ошибок одного объекта, плохо переносятся на другие, а значительная часть ответов инженера вообще отсутствовала в исходных документах.

Ключевым инсайтом стало то, что важнее самой модели является качество поиска информации. Если нужный фрагмент текста доходил до нейросети, вероятность верного ответа составляла 52–78%, в противном случае — всего 11–25%. Эксперименты с дообучением эмбеддинг-моделей показали, что маленькие русскоязычные модели (например, USER2-base) при правильной настройке гиперпараметров обучения превосходят более крупные универсальные аналоги. При этом специализированная модель NuExtract3 на 4B параметра оказалась точнее больших моделей в извлечении значений, хотя и проигрывала им в способности «молчать», когда ответ отсутствовал.

Система была переработана с упором на честность и прозрачность. Теперь пустая строка предпочтительнее выдуманного ответа. Каждое значение сопровождается ссылкой на конкретный пункт документа, что позволяет инженеру мгновенно верифицировать данные. Ответы из прошлых листов используются как аналоги только при совпадении на двух и более объектах, чтобы избежать переноса специфических параметров одного прибора на другой. Также была решена проблема «мусорных» строк: более половины полей в бланках оказались не вопросами, а печатным текстом или подписями, которые система ранее ошибочно считала незаполненными вопросами.

Проект работает полностью локально в закрытой сети заказчика, что исключает утечку данных. Для чтения сканов и схем используются специализированные OCR-модели, а старые форматы Word обрабатываются без установленного Office. Глоссарий из 143 терминов помогает системе понимать инженерный жаргон, связывая формулировки в бланках с обозначениями в документах.

Главный вывод двухмесячной работы состоит в том, что интеллектуальная система не должна каждый раз начинать с нуля. Подтвержденные ответы инженера сохраняются в базе вместе с цитатами и становятся частью «памяти» системы для будущих объектов. Чем больше накопленных данных, тем чаще ответ находится автоматически, а количество пустых строк, требующих ручного ввода, уменьшается. Это подтверждает, что в задачах структурированного извлечения данных надежность и интерпретируемость важнее масштаба нейросети.