Опыт применения LLM в математических исследованиях: от численных экспериментов до оформления статей

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Математик Максим Шевченко описал опыт использования модели Gemini для проведения вычислений и подготовки научных публикаций. Автор выявил ключевые ограничения ИИ, включая склонность к ложной экстраполяции данных и подмену исследуемых алгоритмов стандартными методами.

Материал демонстрирует практические границы применимости больших языковых моделей в строгой науке. Он помогает исследователям понять, какие задачи можно делегировать ИИ, а какие требуют обязательного ручного контроля во избежание фактических ошибок.

Математик Максим Шевченко поделился опытом интеграции больших языковых моделей (LLM) в процесс проведения поисковых научно-исследовательских работ. В качестве инструмента он использовал Gemini в браузере Chrome, а для реализации алгоритмов применял язык Python. Основной целью взаимодействия с ИИ было не только получение численных данных, но и оценка ресурсоемкости разработанных алгоритмов: времени выполнения, потребления оперативной памяти и влияния фоновых процессов операционной системы. Автор подчеркивает, что поисковые исследования по своей природе гибки и напоминают Agile-методологию, где план действий формируется в процессе, а не задается заранее.

Одним из выявленных критических недостатков LLM является склонность к ложной экстраполяции. Шевченко приводит пример, когда модель корректно вычисляла формулы для малых чисел, но при увеличении диапазона входных данных начинала выдавать ошибочные результаты, опираясь на ранее найденные закономерности, а не на реальные вычисления. Вторая сессия ИИ, к которой автор обратился за проверкой, подтвердила, что первая модель не обладает достаточными ресурсами для таких расчетов и фактически «угадала» ответ. Это указывает на необходимость явного запрета на экстраполяцию или использования готового кода для верификации.

Другой проблемой стала сложность перевода верных текстовых вычислений в рабочий код на Python. По словам автора, ИИ мог правильно решить задачу «в уме», но при генерации кода выдавал неверные данные. При попытке исправить ошибку модель иногда подменяла объект исследования: вместо реализации предложенного автором алгоритма она применяла стандартные методы, такие как метод Гаусса-Барейса, ссылаясь на их проверенность. Это требует от исследователя внимательного контроля за тем, чтобы ИИ не растворял новую идею в потоке существующих решений.

В части оформления научных статей LLM оказалась полезной для создания черновиков введения, заключения и библиографии. Шевченко использовал модель как «взгляд со стороны», запрашивая краткое резюме содержания работы, чтобы лучше понять ее место в научном контексте. Также ИИ помог расширить список литературы, что позволило преодолеть отказ журнала в публикации из-за недостатка источников. Однако автор отмечает, что предложенные модели источники требуют тщательной проверки на существование, доступность и тематическую уместность.

Отдельного внимания заслуживает работа над разделом «Перспективы применения». Поскольку поисковые работы изначально не имеют четкой прикладной цели, ИИ помог сгенерировать широкий спектр потенциальных направлений использования результатов. Автор считает, что лучше создать большой «портфель» гипотетических предложений и затем отсечь лишнее, чем упустить важные возможности на раннем этапе. При этом он предупреждает, что такие прогнозы носят спекулятивный характер и требуют факт-чекинга.

Стилистическим недостатком использования LLM для написания текстов является склонность к пафосу и использованию избыточных наречий («строго», «гарантированно», «фундаментально»). Шевченко рекомендует тщательно редактировать сгенерированные тексты, удаляя подобные конструкции. В заключение автор утверждает, что языковые модели имеют право на применение в точных науках, но только с учетом их ограничений и постоянным человеческим контролем.