Как попасть в источники Claude: критичны поисковые боты, а не обучающий

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Анализ показывает, что для попадания в ответы Claude с веб-поиском критически важно разрешить доступ ботам Claude-SearchBot и Claude-User, тогда как блокировка обучающего ClaudeBot на видимость не влияет. Данные указывают на высокую корреляцию между позициями сайта в выдаче Brave Search и цитированием его нейросетью Anthropic.

Понимание механики индексации и выбора источников позволяет веб-мастерам корректно настроить доступность контента для ИИ-ассистентов, избегая ошибочной блокировки критических ботов.

Многие владельцы сайтов ошибочно полагают, что блокировка всех ботов Anthropic в файле robots.txt защищает контент от обучения моделей, не влияя на другие функции. Однако данные Crawl Readiness за октябрь 2026 года демонстрируют иную картину: среди топ-1000 сайтов, где настроен robots.txt, 63 из 569 заблокировали именно Claude-SearchBot. Это означает, что каждый девятый сайт лишил себя возможности попадать в поисковые результаты Claude, так как этот бот отвечает за индексацию страниц для веб-поиска нейросети.

Важно различать три типа ботов Anthropic. ClaudeBot собирает данные для обучения моделей, Claude-SearchBot индексирует страницы для поиска, а Claude-User открывает конкретные ссылки по запросу пользователя. Если цель — не отдавать тексты в обучение, достаточно закрыть только ClaudeBot. Блокировка поискового и пользовательского ботов приводит к тому, что Claude просто не видит сайт при формировании ответа с веб-поиском или не может прочитать страницу по ссылке.

Механика работы Claude с интернетом автоматизирована: модель сама решает, нужен ли поиск для конкретного запроса. Согласно исследованию State of AEO 2026, Джоша Блышкала и Джасмана Сингха, веб-поиск включается лишь в 36,6% случаев. В остальных ответах Claude опирается на внутренние знания, и попасть в источники здесь невозможно. Для принудительного включения поиска Anthropic рекомендует использовать фразы «Search the web» или «Use web search» в запросе.

Ключевым фактором видимости является поисковый провайдер. Хотя Anthropic официально не раскрывает имя партнера, данные Complete SEO указывают на Brave Search. Анализ 1481 запроса показал, что 87,8% страниц, которые Claude использовал как источники, находились в топ-10 выдачи Brave. При этом лишь 45,6% этих же страниц присутствовали в топ-10 Google. Для сайтов, занимающих 1–3 места в Brave, доля цитирования достигает 92%, тогда как для сайтов вне топ-20 она составляет всего 12%. Это свидетельствует о том, что оптимизация под Google не гарантирует попадания в источники Claude.

Специфика источников также отличается от других ассистентов. По данным того же исследования, Claude значительно чаще ссылается на подборки и рейтинги (36,4% источников) по сравнению с ChatGPT (19,7%), но почти не использует форумы (0,9% против 15,8%). Пересечение доменов у двух нейросетей составляет в среднем лишь 8%, что подтверждает необходимость отдельной стратегии для каждой платформы.

Для проверки доступности сайта рекомендуется выполнить несколько шагов. Во-первых, убедиться, что в robots.txt каждого поддомена нет запрета для Claude-SearchBot и Claude-User. Во-вторых, проверить настройки WAF и CDN (например, Cloudflare), так как правила блокировки ИИ-ботов могут срабатывать независимо от robots.txt. В-третьих, проанализировать серверные логи на наличие заходов этих ботов. Наконец, стоит проверить наличие страницы в индексе Brave Search, поскольку краулер Brave не имеет собственного user-agent и следует правилам, установленным для Googlebot.

Таким образом, чтобы попасть в ответы Claude, сайту необходимо быть видимым в поисковой выдаче Brave и разрешить доступ специализированным ботам. Ошибочная блокировка поисковых ботов из-за опасений по поводу обучения контента приводит к полному исключению сайта из источников нейросети.