Метрики против шаблонов: как измерить однообразие ИИ-текстов
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Массовое использование языковых моделей приводит к конвергенции текстовых структур, что снижает разнообразие контента в нише. Для контроля этого явления применяются алгоритмические методы анализа шинглов и структуры предложений.
Понимание механизмов снижения разнообразия позволяет редакциям внедрять объективные проверки качества перед публикацией, отделяя фактические совпадения от субъективных оценок стиля.
Массовое применение языковых моделей для генерации контента приводит к парадоксальной ситуации: тексты на разные темы начинают выглядеть структурно идентичными. Читатели интуитивно замечают эту монотонность, даже не всегда осознавая её источник. Чтобы превратить спор о «шаблонности» из вкусовщины в техническую задачу, необходимо внедрить количественные метрики оценки схожести.
Причины такой конвергенции лежат в механизмах работы нейросетей. При стандартных настройках декодирования модель выбирает наиболее вероятные продолжения, что для похожих запросов приводит к одинаковым результатам. Исследователи Кирк и соавторы (2023) показали, что обучение с подкреплением от человеческих предпочтений (RLHF) повышает качество ответов, но заметно снижает их разнообразие. Эксперимент Памакумара и Хе (2023) подтвердил, что тексты, написанные людьми с помощью таких моделей, статистически значимо менее разнообразны между разными авторами, чем при использовании базовых версий.
Базовым инструментом для выявления совпадений служит коэффициент Жаккара на основе шинглов. Текст разбивается на перекрывающиеся цепочки из пяти слов, а схожесть двух документов оценивается по доле общих элементов. Этот метод эффективно ловит повторяющиеся обороты, но требует калибровки порога на собственном корпусе данных. Для сравнения нового текста с большим архивом попарный анализ неэффективен из-за квадратичного роста вычислений. Здесь применяется MinHash и локально чувствительное хеширование (LSH), которые позволяют быстро находить кандидатов в близнецы, сокращая время проверки до долей секунды.
Однако лексическое сходство не всегда отражает структурную идентичность. Два текста могут не иметь общих фраз, но читать как один из-за одинакового ритма. Для этого используются метрики структуры: доля односоставных абзацев, разброс длины предложений и частота повторяющихся зачинов. Живой автор обычно чередует длинные периоды с короткими репликами, тогда как модели тяготеют к средней длине предложения, создавая узнаваемый «рубленый» ритм.
Существует и третий уровень — семантическое сходство, когда одна и та же мысль пересказывается разными словами. Шинглы и структурные метрики здесь бессильны; для их выявления требуются векторные представления и косинусная близость. Именно так однообразие проникает в информационную ленту, сохраняя формальную уникальность каждого отдельного текста.
Решение проблемы начинается на этапе ввода данных. Использование собственного материала автора — конкретных цифр, кейсов и расшифровок разговоров — заставляет модель опираться на фактуру, а не на вероятностные шаблоны. Также важно избегать жестких инструкций по структуре в промптах, оставляя формат открытым. Финальным этапом остается редактура человеком, который интерпретирует сигналы метрик и принимает решение о доработке текста.
Важно понимать, что высокая уникальность не гарантирует качества, а низкий разброс длины предложений не является доказательством машинного происхождения. Эти инструменты служат вспомогательными сигналами для редактора, позволяя заметить однообразие до того, как его обнаружат читатели. Источник: web:Habr AI — https://habr.com/ru/articles/1092444/