OpenAI запускает GPT-6 Astra Ultrafast: ускорение генерации токенов на 8 раз благодаря NVIDIA Blackwell
NVIDIA AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
OpenAI представила режим Astra Ultrafast, который обеспечивает до восьмикратного ускорения генерации токенов по сравнению со стандартным режимом. Новая функция доступна в API и для пользователей ChatGPT Work, опираясь на оптимизацию инференса на архитектуре NVIDIA Blackwell.
Снижение латентности критически важно для агентных систем, где скорость отклика влияет на эффективность циклов «код-тест-отладка» и общую продуктивность разработчиков.
OpenAI объявила о запуске GPT-6 Astra Ultrafast, нового режима работы модели, доступного через API и для квалифицированных пользователей ChatGPT Work и Codex. Ключевым отличием этого режима является скорость: благодаря оптимизациям инференса, использующим возможности архитектуры NVIDIA Blackwell, генерация токенов ускоряется до 8 раз по сравнению со стандартным режимом Astra. Для разработчиков это означает сокращение времени на циклы редактирования, тестирования и отладки кода, а также более отзывчивое поведение интерактивных приложений.
Скорость становится особенно значимой в контексте агентных рабочих процессов. Когда ИИ-агент пишет код, вызывает инструменты, проверяет результаты и принимает дальнейшие решения, каждая задержка накапливается. Режим Ultrafast позволяет использовать возможности Astra именно в таких сценариях, где время отклика является критическим фактором производительности. Инфраструктура NVIDIA AI помогает OpenAI предоставлять более полезные выходные данные модели в моменты, когда разработчикам это необходимо.
Техническая реализация ускорения основана на глубокой интеграции программного обеспечения и аппаратного обеспечения. Филипп Тиллет, руководитель направления инференса в OpenAI, отметил, что инвестиции NVIDIA в инструменты и документацию позволили компании сделать свои модели исключительно эффективными в программировании GPU Blackwell и Rubin. По его словам, Astra способна превращать эти знания в высокопроизводительные ядра (kernels), что делает оборудование NVIDIA конкурентоспособным по всем ключевым метрикам: латентности, пропускной способности и стоимости.
Важно отметить, что процесс оптимизации не останавливается после развертывания модели. OpenAI использует собственные модели для непрерывного совершенствования программного обеспечения инференса, работающего на GPU NVIDIA. Эксплуатационная гибкость платформы позволяет тестировать и внедрять улучшения, что со временем делает ответы моделей быстрее, а инфраструктуру — более продуктивной. Удэй Рударраджу, главный технолог по вычислительным ресурсам OpenAI, подчеркнул, что использование внутренних моделей для оптимизации инференса на GPU NVIDIA, в сочетании с программируемостью платформы компании-партнера, стало основой для ускорения, лежащего в основе Astra Ultrafast.
Программируемая платформа NVIDIA также обеспечивает гибкость в использовании вычислительных ресурсов. Разработчики и исследователи могут переиспользовать инфраструктуру для обучения, инференса и обучения с подкреплением по мере эволюции моделей. Такая возможность позволяет командам адаптировать вычислительные мощности под изменяющиеся потребности, улучшая их утилизацию и избегая избыточного резервирования ресурсов под каждую конкретную задачу.
Разработчики уже могут использовать GPT-6 Astra Ultrafast через API. Для получения информации о доступе, ценообразовании и деталях реализации рекомендуется обратиться к официальному руководству по режиму Ultrafast.