SFT и GRPO: как AWS научила GPT-OSS-20B рассуждать на пяти языках
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Команда AWS продемонстрировала, что для исправления языковых ограничений открытой модели GPT-OSS-20B недостаточно одного метода обучения. Сочетание надзорного дообучения (SFT) и обучения с подкреплением (GRPO) позволило повысить качество многоязычных рассуждений, при этом эффективность GRPO зависит от наличия «запаса» для улучшения.
Материал раскрывает практический подход к выбору методов дообучения LLM: когда базовая модель не может выполнить задачу, нужен SFT, а когда она справляется частично — GRPO. Это критически важно для команд, разворачивающих мультиязычные ИИ-решения на корпоративной инфраструктуре.
Открытая модель GPT-OSS-20B обладает способностью к логическим рассуждениям, однако её «мышление» по умолчанию привязано к английскому языку. Как отмечают исследователи из AWS, при тестировании на 50 примерах в пяти европейских языках базовая модель рассуждала на целевом языке лишь в 22% случаев. При этом все успешные попытки пришлись на английский, тогда как для французского, испанского и итальянского этот показатель составлял ноль. Для пользователей, ожидающих ответа на родном языке, такой сбой является критическим, что делает задачу адаптации модели приоритетной.
Для решения проблемы команда AWS использовала платформу Amazon SageMaker HyperPod. В основе стратегии лежало понимание различий между двумя методами дообучения: надзорным обучением (SFT) и обучением с подкреплением на основе групповой относительной оптимизации политики (GRPO). SFT применяется для привития модели нового поведения, которого у неё изначально нет. GRPO же работает как оптимизатор: он усиливает те ответы, которые модель уже иногда генерирует правильно. Если вероятность желаемого действия в базовом распределении близка к нулю, GRPO не имеет сигнала для обучения.
Эксперимент начался с SFT на датасете Multilingual-Thinking, содержащем около 949 примеров. Используя адаптацию LoRA и инфраструктуру из 16 GPU L40S, команда добилась того, что модель начала рассуждать на требуемом языке в 100% случаев. Однако качество финальных ответов оставалось нестабильным: правильность языка ответа составила лишь 62%. Именно этот «запас» для улучшения стал целью применения GRPO.
После запуска GRPO поверх чекпоинта SFT показатель правильности языка ответа вырос до 70%, при этом качество рассуждений не пострадало. Метод сработал, потому что модель уже иногда выдавала ответы на нужном языке, и алгоритм мог усилить этот паттерн. Для проверки универсальности подхода команда провела контрольный эксперимент на модели Qwen2.5-7B. На задаче многоязычных рассуждений GRPO дал прирост в 6%, но на задаче GSM8K, где базовая модель уже показывала пиковые 90.5% точности, улучшения не произошло.
Это подтверждает ключевой вывод: GRPO требует наличия «запаса» (headroom), то есть разницы между лучшим и средним результатом в группе сгенерированных ответов. Если большинство ответов уже верны, относительное преимущество обнуляется, и градиент для обучения отсутствует. Таким образом, SFT является обязательным фундаментом для создания нового навыка, тогда как GRPO служит инструментом тонкой настройки там, где модель уже демонстрирует частичный успех.
Практическая рекомендация для разработчиков проста: сначала оцените базовые возможности модели. Если поведение полностью отсутствует, используйте SFT. Если модель справляется частично, комбинируйте SFT с GRPO для финальной полировки. Перед запуском ресурсоемкого обучения с подкреплением обязательно проверяйте наличие статистического запаса для улучшения, чтобы избежать пустой траты вычислительных мощностей.