«Лаборатория Касперского» представила методологию защиты ИИ-агентов на основе кибериммунитета
CNews AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Компания выпустила руководство для ИТ-руководителей, описывающее ключевые риски внедрения автономных ИИ-систем и способы их минимизации. Документ предлагает использовать принципы кибериммунитета для проектирования безопасной архитектуры агентных решений.
Материал актуален для организаций, внедряющих ИИ-агентов в корпоративные процессы, так как систематизирует угрозы безопасности и предлагает практические подходы к их контролю на этапе проектирования.
«Лаборатория Касперского» представила новое руководство «Безопасность ИИ-агентов через призму кибериммунитета». Документ был опубликован в рамках сессии форума «Цифровые решения», посвященной управлению рисками и построению доверенной инфраструктуры. Согласно сообщению представителей компании, материал ориентирован на директоров по информационной безопасности, ИТ-руководителей, архитекторов и разработчиков, которые отвечают за интеграцию автономных систем в корпоративные процессы.
ИИ-агенты, функционирующие на базе больших языковых моделей, способны самостоятельно взаимодействовать с файлами, базами данных и почтовыми системами. Они активно внедряются в разработку ПО, клиентскую поддержку и аналитику. Однако, как отмечают эксперты, этот процесс часто идет «снизу вверх», минуя центральное управление. Это приводит к формированию так называемого «теневого ИИ» — неподконтрольной инфраструктуры с неизвестным уровнем защищенности.
В руководстве выделены четыре основных риска. Первый связан с вероятностной природой LLM, которые могут ошибаться в когнитивных задачах. Второй риск специалисты называют «фатальной триадой»: это сочетание доступа к конфиденциальным данным, обработки недоверенного ввода и возможности взаимодействия с внешними системами. Третий пункт касается избыточных полномочий, когда агенту предоставляется больше прав, чем требуется для выполнения задач. Четвертый риск — непрозрачность действий, из-за которой человеку сложно понять логику решений системы и вовремя заметить ошибку.
Для решения этих проблем компания предлагает опираться на концепцию кибериммунитета. Этот подход предполагает, что безопасность должна закладываться в архитектуру системы на этапе проектирования через фиксацию целей и допущений, а не добавляться постфактум в виде отдельных мер защиты.
Антон Иванов, технический директор «Лаборатории Касперского», подчеркнул, что ИИ-агенты являются привлекательной целью для злоумышленников, поскольку они часто исполняются с правами, аналогичными другим приложениям на устройстве разработчика. По его словам, риски возрастают по мере повышения уровня автономности систем. Иванов отметил, что безопасность определяется еще на стадии проектирования, а ключевой задачей является поиск баланса между защитой и эффективностью.
Эксперт добавил, что любой агент должен работать в режиме наименьших привилегий, а все критические операции требуют человеческого подтверждения и проверки контекста. Чем сложнее делегируемые задачи, тем строже должны быть механизмы контроля, изоляции и аудита. Практические рекомендации по безопасному внедрению облачных ИИ-агентов также изложены в отдельной статье компании, посвященной опыту использования таких систем в процессах разработки ПО.