Agent-sitemap: как Markdown-карта сайта меняет взаимодействие ИИ с веб-контентом

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Deckard представила открытый генератор agent-sitemap, который структурирует веб-страницы в Markdown-заметки и граф ссылок для более эффективной навигации ИИ-агентов. Первые тесты показали, что такой подход позволяет сократить объем скачиваемого текста на 58%, хотя количество входных токенов при этом незначительно выросло.

Инструмент решает проблему избыточного контекста, с которой сталкиваются LLM-агенты при работе с длинными веб-страницами, предлагая структурированную альтернативу чтению сырого HTML или полного текста.

Взаимодействие ИИ-агентов с веб-контентом часто напоминает работу человека, который ищет конкретную информацию в большом документе. Если агенту нужно узнать цену на определенный товар, он получает от инструмента HTML, очищенный текст или скриншот страницы. Проблема возникает, когда инструмент возвращает весь контент страницы: вместе с нужным фактом в контекст модели попадают нерелевантные данные, такие как другие разделы меню или статьи. В компании Deckard предложили решение этой задачи — открытый генератор agent-sitemap, который преобразует структуру сайта в набор Markdown-заметок, связанных графом ссылок. Это позволяет агенту двигаться по оглавлению и открывать только те фрагменты текста, которые действительно необходимы для ответа на запрос.

Подход отличается от традиционных методов, таких как sitemap.xml или llms.txt. Если sitemap.xml лишь перечисляет URL, а llms.txt может содержать полные Markdown-версии страниц, то agent-sitemap создает иерархическую структуру: индекс ведет к карточкам страниц, из которых можно перейти к конкретным разделам. Например, вместо чтения всего меню ресторана агент может открыть только раздел «Гарниры», исключив бургеры и напитки из контекста. Связи между разделами определяются как по явным ссылкам в исходном тексте, так и с помощью алгоритмов TF-IDF для поиска семантических совпадений. Для повышения точности можно задействовать LLM, которая фильтрует ложные связи и добавляет пояснения к переходам.

Команда провела предварительное тестирование инструмента на собственном сайте, используя Claude Code для ответа на два вопроса, ответы на которые были скрыты в длинных статьях. В одном сценарии агент начинал с главной страницы, в другом — с индекса карты. Результаты показали, что при использовании карты агент совершил шесть запросов вместо девяти и скачал примерно на 58% меньше текста. Однако количество входных токенов выросло на 3,5%. Авторы объясняют это различие тем, что счетчик токенов включает не только текст из HTTP-ответов, но и весь контекст модели, включая кеш и системные инструкции, тогда как объем текста отражает только данные, переданные сайтом.

Важно отметить, что оценка размера контента в карте («примерно N токенов») рассчитывается на основе символов с учетом коэффициентов для кириллицы, а не через токенезатор конкретной модели. Это означает, что оценка служит ориентиром для агента, помогая ему понять, насколько объемным будет следующий фрагмент текста. Для сайтов с тысячами страниц или сложными запросами авторы рекомендуют сочетать навигацию по карте с векторным поиском, который может находить разделы по смыслу, а ссылки в карте — вести к исключениям и деталям.

При внедрении такого подхода на своих проектах разработчикам рекомендуется начать с генерации каталога ai через npx agent-sitemap и проверить доступность индекса. Для объективной оценки эффективности стоит провести серию тестов с 10–30 реальными вопросами, отслеживая количество запросов, объем скачанного текста и время ответа. Особое внимание следует уделять границам между разделами: если правило и его исключение находятся в разных заметках, агент может дать неполный ответ. Также важно учитывать актуальность данных, так как Markdown-копии могут устаревать быстрее, чем исходные веб-страницы.

Код генератора доступен под лицензией MIT, что позволяет сообществу экспериментировать с инструментом и сравнивать его эффективность на разных типах документации. Авторы подчеркивают, что содержимое заметок является внешним данными, и любые инструкции внутри текста не должны восприниматься как команды для агента. Дальнейшие исследования сосредоточатся на определении границ применимости: в каких случаях достаточно простого оглавления, а где критически важны переходы между разделами.