Миф о выдуманных ссылках: почему нейросети ссылаются на удалённые статьи

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Проверка сотен адресов из ответов ИИ-ассистентов показала, что большинство ссылок ведут на реальные, но уже удалённые страницы, а не на несуществующие адреса. Основная проблема заключается в отставании поисковых индексов от актуального состояния веб-сайтов.

Понимание механизма цитирования ИИ помогает вебмастерам корректно управлять контентом и пользователям — критически оценивать достоверность источников, предложенных нейросетями.

Распространённое мнение о том, что нейросети регулярно выдумывают несуществующие ссылки, требует уточнения. Автор материала провёл проверку около шестисот адресов, извлечённых из ответов пяти различных ИИ-сервисов с функцией поиска. Результаты оказались неожиданными: примерно девять из десяти ссылок оказались рабочими. Среди неоткрывшихся адресов не нашлось ни одного случайного набора символов или полностью выдуманного URL. Вместо этого обнаружилось несколько десятков страниц, которые вернули ошибки 404 или 410, что свидетельствует об их удалении, а также около тридцати адресов, закрытых для автоматических запросов защитными механизмами сайтов.

Важно различать понятия «галлюцинация» и «устаревание данных». Выдуманная ссылка возникает, когда модель генерирует правдоподобный, но несуществующий адрес. Исследования Walters и Wilder подтверждают, что без доступа к поиску доля таких ошибок высока: у GPT-3.5 она достигала 55% для научных ссылок, а у GPT-4 — 18%. Однако в сервисах с активным поиском ситуация иная. Нейросети ссылаются на реальные страницы, которые когда-то существовали, но были удалены до момента формирования ответа. Это объясняется тем, что поисковая база ИИ отстаёт от изменений в вебе: статья уже исчезла, а робот ещё не обновил индекс.

Техническая проверка ссылок требует учёта кодов HTTP-ответов. Коды 404 и 410 однозначно указывают на удаление контента. В то же время ответы 401, 403, 429 и 503 означают, что сервер отказал в доступе роботу или находится во временном состоянии недоступности, но сама страница может быть цела. Например, код 403 часто используется Cloudflare для проверки JavaScript, а 503 может сопровождаться заголовком Retry-After. Скрипты, автоматически помечающие все ошибки как «мёртвые ссылки», дают ложные результаты, не учитывая эти нюансы.

Для автоматизации проверки автор предлагает использовать Python-скрипт на базе библиотеки requests. Он классифицирует ссылки на живые, удалённые, закрытые для роботов и требующие ручной проверки. Ключевые параметры включают использование метода GET вместо HEAD для возможности проверки содержимого, ограничение цепочки редиректов десятью переходами (стандарт Google) и настройку тайм-аутов. Скрипт также фиксирует конечный URL после редиректов, что позволяет выявить случаи переноса контента на другие страницы.

Данные Pew Research Center подтверждают масштаб проблемы: четверть веб-страниц, существовавших в 2013–2023 годах, стала недоступна к октябрю 2023 года. Чаще всего удаляются отдельные статьи на работающих сайтах. Perplexity отмечает, что полная переиндексация каждого адреса невозможна, а решения об обходе принимает модель машинного обучения. OpenAI указывает срок обновления данных о robots.txt в 24 часа, но не раскрывает сроки удаления страниц из индекса ChatGPT. Яндекс, в свою очередь, удаляет страницы с кодами 404, 403 и 410 из поисковой базы в течение недели после обнаружения роботом.

Вебмастерам рекомендуется заранее планировать удаление контента. Оптимальное решение — настроить постоянное перенаправление (редирект) со старого адреса на актуальную страницу по той же теме. Это гарантирует, что пользователь, кликнувший по ссылке из ответа нейросети, попадёт на полезный материал. Если замена невозможна, следует отдавать код 410, который является явным сигналом окончательного удаления контента. Редирект на главную страницу технически считается «живым», но не решает проблему релевантности для читателя.

Важно помнить об ограничениях исследования: это один замер с проверкой через месяц после сбора данных. На других выборках картина может быть хуже; например, Tow Center зафиксировал более 50% битых или выдуманных ссылок в ответах Gemini и Grok при цитировании новостей. Кроме того, даже живая ссылка не гарантирует достоверности информации: в одном из экспериментов выдуманное научное понятие за неделю попало в цитаты восьми из десяти ИИ-поисковиков. Таким образом, проверка должна включать не только факт существования страницы, но и соответствие её содержания пересказу нейросети.