Метафора выпечки: как устроен процесс обучения языковых моделей
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Автор рассматривает процесс создания ИИ-моделей через призму кулинарной аналогии, разделяя его на этапы предобучения и постобучения. Предобучение сравнивается с холодной расстойкой теста — длительным и пассивным процессом, а постобучение — с формовкой и выпечкой, где модель адаптируется под конкретные задачи.
Пост помогает интуитивно понять сложную архитектуру разработки LLM, отделяя фундаментальное формирование весов модели от последующей тонкой настройки. Это упрощает восприятие разницы в ресурсах, командах и целях между этапами pre-training и post-training.
Разработчик Кент Бек предлагает взглянуть на процесс создания больших языковых моделей (LLM) через призму привычного бытового занятия — выпечки хлеба. В своей колонке он признается, что, как и в случае с изучением инструкций к микропроцессорам в школьные годы, его привлекает не столько результат, сколько сам механизм работы системы. Бек подчеркивает, что современная ИИ-система состоит из двух частей: пользовательского интерфейса, созданного на основе традиционных методов программирования, и самой модели, которая представляет собой «мешок чисел», сформированных в ходе обучения.
Автор проводит четкую границу между предобучением (pre-training) и постобучением (post-training), утверждая, что это два радикально разных процесса. Предобучение он сравнивает с техникой холодной расстойки теста: ингредиенты смешиваются, масса помещается в холодильник, где дрожжи работают всю ночь без вмешательства человека. Аналогично, команда инженеров задает начальные условия — данные и пустую структуру модели — и запускает процесс прогона данных через сеть миллионы раз. Этот этап требует колоссальных ресурсов: сотни миллионов долларов и месяцы ожидания. Результатом становится «сырое» состояние модели, которое само по себе еще не готово к использованию, но является необходимым фундаментом.
Постобучение, напротив, уподобляется формовке и самой выпечке хлеба. Здесь уже работают исследователи (или, как их называет Бек, «инженеры моделей»), которые выявляют слабые места в поведении базовой модели и экспериментируют с корректировками. В отличие от монументального предобучения, этот этап состоит из множества мелких итераций: команды тестируют гипотезы, дорабатывают данные и код, чтобы сделать ответы модели более полезными и точными для конечного пользователя. Именно на этом этапе модель учится отвечать на запросы вроде «предложи пять необычных начинок для фокаччи».
Бек отмечает, что аналогия с выпечкой не идеальна: она не полностью отражает итеративный и обратимый характер постобучения. Тем не менее, метафора помогает понять ключевое различие в динамике работы команд. Предобучение — это большая ставка на фундамент, где ошибки могут стоить дорого и потребовать перезапуска всего процесса. Постобучение — это гибкая адаптация, где успех измеряется качеством взаимодействия с пользователем. Автор также упоминает существование «среднего обучения» (mid-training), о котором знает мало, но подчеркивает, что текущая терминология в индустрии еще не устоялась.
В заключение Бек обещает в следующих материалах подробнее разобрать организационные аспекты: роли разных команд, их мотивацию и культурные различия. Он утверждает, что многие команды сталкиваются не со стратегическими проблемами, а с трудностями адаптации к реальности. Его цель — помочь организациям стать более гибкими в условиях быстро меняющейся технологической среды, где план редко выживает при контакте с практикой.