Google расширяет линейку TPU 8-го поколения: новые ускорители для конфиденциальных данных и длинного контекста
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Google представила два новых ИИ-ускорителя восьмого поколения — TPU 8tx и TPU 8i Max. Первая система ориентирована на безопасную обработку чувствительных данных, вторая — на задачи с огромным объемом контекста.
Новые решения позволяют компаниям запускать собственные ИИ-модели на закрытых данных без потери производительности и обрабатывать сверхдлинные контексты, что критично для сложных агентных сценариев.
Google расширила семейство своих ИИ-ускорителей восьмого поколения двумя новыми системами: TPU 8tx и TPU 8i Max. Эти устройства разработаны под специфические задачи, которые не всегда удаются стандартным конфигурациям. TPU 8tx ориентирована на работу с конфиденциальными данными, тогда как TPU 8i Max предназначена для моделей и ИИ-агентов, обрабатывающих очень большие объемы контекста.
Архитектура TPU 8tx построена на том же чипе, что и TPU 8t, однако системная конфигурация существенно изменена. Google интегрировала серверные процессоры AMD EPYC пятого поколения и добавила аппаратную защиту данных непосредственно во время вычислений. Традиционно информация шифруется при хранении и передаче, но для обработки ее приходится расшифровывать в оперативной памяти. Новая система позволяет сохранить изоляцию чувствительных данных и весов модели даже в процессе работы.
По заявлению Google, такие системы рассчитаны на использование в корпоративном секторе и государственных организациях, которым необходимо запускать собственные модели на закрытых данных. На одном оборудовании можно выполнять обычные запросы, дообучать модели на внутренних данных, заниматься дистилляцией и обучением агентов с подкреплением. В TPU 8tx также применяется скоростная сеть Boardfly, ранее разработанная для TPU 8i.
Компания утверждает, что задержка при работе с несколькими ускорителями может быть до двух раз ниже, чем у TPU 8t, при этом дополнительная защита практически не влияет на производительность. Это делает решение привлекательным для организаций, где безопасность является приоритетом, но скорость обработки также критична.
TPU 8i Max решает иную проблему — нехватку памяти и пропускной способности при работе с огромным контекстом. Google разместила в одном корпусе сразу два чипа TPU 8i. В результате система получила вдвое больше вычислительных ресурсов, SRAM и пропускной способности HBM по сравнению с обычной TPU 8i.
Такая конфигурация рассчитана на ИИ-агентов, которые одновременно разбирают большие программные проекты, длинные документы или часы видео. Два чипа занимают то же место в серверной стойке, которое раньше отводилось одной системе, что увеличивает плотность вычислений. Теперь восьмое поколение TPU включает четыре варианта: TPU 8t для обучения крупных моделей, TPU 8i для быстрого инференса, TPU 8tx для конфиденциальных данных и TPU 8i Max для задач с особенно большим контекстом.