Что Клод Шеннон знал в 1950 году, и что мы притворяемся, что это новое
hackernews · оригинал
Статья раскрывает, что основные принципы, лежащие в основе современных языковых моделей и искусственного интеллекта, были сформулированы Клодом Шенноном в 1950-х годах. Многие идеи, которые сейчас ассоциируются с революцией в области ИИ, на самом деле имеют историческую предысторию, которую игнорируют в гиперболизированной среде технологических инноваций.
Ценность: Понимание вклада Шеннона критически важно для избежания повторения ошибок, когда исторические достижения переписываются как новейшие открытия. Это помогает стимулировать более глубокую проработку теоретической базы ИИ и предотвращает избыточную гиперболизацию технологий, которые на самом деле опираются на давно известные принципы.
Клод Шеннон, считавшийся отцом информационной теории, еще в 1950-х годах разработал фундаментальные идеи, которые лежат в основе современных языковых моделей. В его работе «Теория связи в системах с шумом» он обосновал, как информация может быть структурирована и обработана с помощью математических моделей, включая концепцию энтропии и оптимизации передачи данных. Эти принципы, хотя и не назывались тогда «нейронными сетями» или «машинным обучением», лежат в основе алгоритмов, используемых в современных LLM. Однако в дискуссиях о «революции ИИ» часто упускается из виду, что большинство ключевых идей были предвосхищены еще в пятидесятых годах прошлого века. Это создает иллюзию «новизны», которая ускоряет инновации, но одновременно подрывает понимание истинного механизма технологического прогресса.
Современные LLM, такие как GPT, используют подходы, которые напрямую связаны с идеями Шеннона: оптимизация предсказания последовательности данных, работа с шумными входными данными и сжатие информации. Однако вместо того чтобы признавать эту преемственность, индустрия часто делает акцент на «революционных» аспектах, игнорируя 70-летнюю историю развития теории. Это не только умалчивает вклад предшественников, но и приводит к неполной оценке потенциальных ограничений существующих моделей, связанных с базовыми теоретическими предположениями.
Важно понимать, что многие «новые» решения в области ИИ на самом деле представляют собой эволюционный процесс, а не радикальные прорывы. Это позволяет избежать ошибок, когда инновации оцениваются только с точки зрения технического бриллианта, а не через призму глубокой теоретической базы. Понимание этого исторического контекста помогает лучше формировать будущее развитие ИИ, стимулируя научные исследования и уменьшая зависимость от трендов, которые могут быстро исчезнуть.