Немецкое консорциум представило Soofi S: открытая модель с гибридной архитектурой и рекордными показателями на немецком

Немецкое исследовательское консорциум, координируемое KI Bundesverband (Германская ассоциация ИИ), представило открытую языковую модель Soofi S 30B-A3B. Согласно отчету о предварительном обучении, новая разработка превосходит такие известные проекты, как OLMo 3 32B от Allen Institute for AI и Apertus 70B от ETH Zurich и EPFL, по совокупным показателям на бенчмарках для немецкого и английского языков. Модель обучалась исключительно на промышленном облаке Deutsche Telekom в Мюнхене, что подчеркивает стратегический фокус на суверенной европейской инфраструктуре.

Ключевой особенностью Soofi S является гибридная архитектура Mixture-of-Experts (MoE), заимствованная у Nvidia Nemotron 3 Nano. Несмотря на наличие 31,6 миллиарда параметров в общей сложности, при генерации каждого токена активируется лишь около 3,2 миллиарда. Это позволяет модели сохранять высокую скорость обработки даже при работе с очень длинными контекстами. В отличие от стандартных трансформеров, где кэш KV линейно растет с длиной ввода, в Soofi S только шесть из 52 слоев поддерживают такой кэш. В результате пропускная способность генерации остается стабильной на протяжении от 4 000 до 256 000 токенов контекста.

Обучение модели проводилось на массиве данных объемом около 27 триллионов токенов, разделенных на три фазы. Особое внимание уделялось немецкому языку: его доля в обучающей выборке составила 7,2% на первом этапе и выросла до 15,3% на втором. Для сравнения, в эталонном рецепте Nvidia Nemotron все неанглийские языки вместе составляют лишь около 5%. В качестве источников данных использовались немецкие веб-тексты из HPLT, корпус German Commons, а также коммерческая лицензионная база Genios, содержащая 193 миллиона статей из 916 немецких изданий.

В ходе тестирования Soofi S показала лучшие результаты среди открытых моделей на кодовых бенчмарках: 73,8% на HumanEval и 84,2% на немецком варианте MBPP. На тесте INCLUDE-DE, проверяющем знание региональной специфики Германии, модель разделила первое место с Qwen3.5 35B-A3B, набрав 61,2 балла. Однако у модели есть и слабости: она уступает конкурентам в математических задачах (Minerva MATH-DE) и демонстрирует снижение точности при извлечении часто встречающихся слов из длинных текстов сверх 32 000 токенов.

После релиза модель подверглась критике за возможное «переобучение» с точки зрения классических законов масштабирования Chinchilla. Технический руководитель проекта Michael Fromm опроверг эти заявления, указав, что старые правила не применимы к MoE-архитектурам, где повторение данных в высококачественном корпусе менее критично. Кроме того, сообщество выявило инцидент с загрязнением данных: в обучающий набор случайно попали тестовые вопросы из бенчмарка GPQA из-за особенностей разметки на Hugging Face. Консорциум исключил GPQA из оценки и пересчитал результаты, подтвердив, что порядок ранжирования моделей не изменился.

Обучение заняло период с марта по май 2026 года на 512 GPU Nvidia B200, потребив около 253 000 GPU-часов. Инфраструктура работает на возобновляемой энергии и использует охлаждение водой из канала Эйзбах. Консорциум опубликовал веса модели, код обучения и подробный инвентарь данных, соответствуя определению Open Source AI Definition 1.0. Финальная лицензия еще не утверждена, но ожидается, что она будет разрешительной. Сейчас команда ищет промышленных партнеров для тестирования модели в задачах работы с технической документацией и агентными системами.