Cerebras внедряет дискретную инференс-архитектуру для повышения энергоэффективности
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Компания Cerebras представила производственное решение, разделяющее этапы обработки промптов и генерации токенов между GPU и собственными чипами. Это позволяет увеличить пропускную способность на мегаватт в пять раз без потери скорости вывода.
Решение критически важно для индустрии ИИ, так как позволяет преодолеть энергетические ограничения дата-центров, обеспечивая высокую скорость отклика для агентных приложений при снижении затрат на электроэнергию.
В 2026 году рынок столкнулся с растущим спросом на сверхбыстрый инференс, обусловленным популярностью агентных приложений, таких как Muse, Copilot и Codex. Эти системы требуют высокой интерактивности, что создает давление на инфраструктуру в условиях ограниченных энергетических мощностей. Для решения этой задачи Cerebras разработала технологию дискретного инференса (disaggregated inference), которая уже внедрена в производство. Архитектура разделяет вычислительные нагрузки: обработка входных промптов (prefill) выполняется на графических процессорах, тогда как генерация выходных токенов (decode) осуществляется на Wafer Scale Engines от Cerebras.
Ключевым преимуществом такого подхода является специфика этапа декодирования. Поскольку модель генерирует токены последовательно, каждый шаг требует повторного чтения данных из памяти, что делает пропускную способность памяти критическим фактором. Чипы Cerebras используют архитектуру с большим объемом SRAM и высокой пропускной способностью, что позволяет им эффективно обрабатывать такие запросы. По данным компании, их чипы обладают в 350 раз большей емкостью SRAM и в 5400 раз большей пропускной способностью памяти по сравнению с типичным GPU GB300.
В ходе производственных тестов на Cerebras Inference Cloud была использована связка AMD Instinct GPUs для префила и систем CS-3 от Cerebras для декодирования. Результаты показали, что такая конфигурация обеспечивает в пять раз большую пропускную способность на мегаватт по сравнению с использованием только систем CS-3, при этом скорость генерации токенов остается неизменной. Это позволяет провайдерам услуг обслуживать больше клиентов в рамках того же энергетического бюджета.
Компания также предлагает инфраструктурным партнерам два варианта интеграции. Первый — это полный программный стек дискретного инференса, включающий фреймворк маршрутизации запросов, движок префила на базе открытых решений вроде vLLM или SGLang, а также движок декодирования Cerebras и ПО KV Portal для передачи кэшей через RDMA. Второй вариант — SDK только для декодирования, который дает партнерам больше контроля над собственной инфраструктурой, позволяя использовать их собственные фреймворки и движки префила.
Среди ранних партнеров, уже имеющих доступ к данному решению, числятся Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute. Cerebras планирует расширить доступ для других компаний и развернуть дискретный инференс на сотнях мегаватт мощностей в своем облаке и у партнеров к концу 2027 года. Это стратегическое направление дополняет недавно анонсированную систему CS-4 и планы по наращиванию производственных мощностей.