OpenAI опубликовала архив математических рукописей, созданных внутренней моделью
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Компания OpenAI представила публичный репозиторий с 722 математическими рукописями, сгенерированными её внутренней моделью в ходе тестирования на открытых исследовательских задачах. Коллекция включает как формализованные доказательства в языке Lean, так и результаты, ожидающие верификации.
Публикация демонстрирует текущий уровень автономного математического рассуждения ИИ-моделей и открывает доступ к процессу их оценки на сложных научных задачах, выходящих за рамки стандартных бенчмарков.
OpenAI разместила на GitHub репозиторий, содержащий математические рукописи и вспомогательные артефакты доказательств, созданные внутренней моделью компании. По словам разработчиков, эти работы были получены в рамках процесса оценки моделей на открытых исследовательских проблемах. Компания расширила объём тестирования после того, как результаты на существующих математических оценках достигли насыщения, то есть модель перестала показывать значимый прогресс на стандартных задачах.
Текущий каталог включает 722 рукописи, сгруппированные в 372 семейства. Каждое семейство объединяет связанные работы, которые могут содержать основной результат, сопутствующие аргументы, следствия или альтернативные доказательства. Все работы классифицированы по математическим дисциплинам. Для навигации по материалам предусмотрены обзорная страница с описанием семейств и карта рукописей для поиска отдельных документов.
Важно отметить, что не все результаты прошли полную верификацию. OpenAI указывает, что некоторые неформализованные результаты могут содержать ошибки, которые компания намерена оперативно исправлять. В репозитории также представлены сокращённые резюме рассуждений модели. Большинство результатов получено с использованием одной и той же процедуры с применением невыпущенной внутренней модели OpenAI.
Согласно предоставленным данным, в среднем на каждый результат было затрачено три часа вычислительных ресурсов режима «thinking» в ChatGPT Pro. За время оценки модельу было предложено около 4000 задач. Агрегация вывода в семейства результатов и рукописи с требованием соответствующего уровня значимости привела к формированию описанного выше каталога.
Существуют исключения из стандартной процедуры: работа над областью без нулей для дзета-функции Римана и доказательство гипотезы Ходжа для абелевых многообразий с комплексным умножением были выполнены иначе. Кроме того, текст рукописи об области Re(s) > 11/12 для дзета-функции Римана был отредактирован человеком для улучшения читаемости.
OpenAI также сообщает о планах по исследованию хостинга этих материалов в репозиториях сообщества. Компания обязуется сохранять историю публичных релизов коллекции: исправления и ревизии будут записываться как новые версии, при этом ранее выпущенные версии останутся доступными. Для цитирования отдельных рукописей рекомендуется использовать блок BibTeX, расположенный в соответствующем каталоге.