NVIDIA представила датасет Nemotron PII Japan для проверки защиты персональных данных в японских документах

Hugging Face Blog · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Компания NVIDIA выпустила открытый набор данных Nemotron PII Japan, содержащий 100 000 синтетических деловых документов на японском языке. Ресурс предназначен для оценки систем маскировки персональной информации (PII) в восьми отраслевых сферах без использования реальных клиентских данных.

Датасет решает проблему баланса между защитой приватности и сохранением смысла документов при работе ИИ-моделей с японским языком, предоставляя стандартизированную среду для тестирования детекции PII.

NVIDIA анонсировала выход Nemotron PII Japan — специализированного набора данных, разработанного для оценки эффективности систем защиты персональной информации (PII) в контексте японских деловых документов. Ключевой задачей ресурса является проверка того, как ИИ-приложения могут маскировать чувствительные данные, такие как имена, адреса и банковские реквизиты, сохраняя при этом смысловую целостность исходного текста. Это особенно важно для сценариев, где финансовые или медицинские организации используют внешние LLM для суммаризации документов, но не могут передавать реальные клиентские данные из-за требований конфиденциальности.

Набор включает 100 000 синтетических документов, охватывающих восемь ключевых отраслей: здравоохранение, финансы, государственное управление, занятость, образование, юридическую сферу, телекоммуникации и IT, а также электронную коммерцию. Внутри этих категорий выделено 43 типа документов, от медицинских справок до кредитных заявок и уведомлений о смене адреса. Каждый документ содержит аннотации, точно указывающие расположение и тип персональной информации, что позволяет разработчикам анализировать как пропущенные детекции, так и ошибки в определении границ данных.

Для обеспечения качества и реалистичности контекста NVIDIA использовала инструмент NeMo Data Designer. Процесс генерации основан на комбинации синтетических персон, сгенерированных на базе датасета Nemotron Personas Japan, и каталогов бизнес-данных, таких как названия банков, медицинские сценарии и продуктовые линейки. Важно, что реальные данные клиентов или пациентов не собирались; все персональные атрибуты являются вымышленными, но структурированными согласно реальным правилам японского делопроизводства.

Особое внимание в методологии уделено математической точности документов. Для записей, требующих расчетов (например, ежемесячных платежей по кредиту), используется механизм CalculationPlan. Значения вычисляются заранее и вставляются в текст через плейсхолдеры после генерации языковой модели. Это гарантирует, что итоговые цифры в документе логически согласуются с исходными параметрами, такими как сумма займа или процентная ставка, исключая галлюцинации ИИ при работе с числами.

Датасет поддерживает 56 типов сущностей PII, включая специфичные для Японии идентификаторы, такие как My Number ID, а также различает даты в формате эр (например, «Showa 55») и стандартные форматы. Всего в наборе содержится более 810 000 аннотаций позиций и меток. Общий объем текстового корпуса составляет около 34,7 миллиона токенов, что обеспечивает достаточную вариативность для надежного тестирования моделей.

Nemotron PII Japan доступен по лицензии CC BY 4.0, что разрешает как коммерческое, так и некоммерческое использование. Ресурс предоставляет единое пространство для разработки и оценки безопасности ИИ в японских рабочих процессах, позволяя инженерам проверять системы маскировки перед отправкой документов во внешние LLM, суммаризацией истории обращений или аудитом логов. Такой подход способствует созданию более безопасных и приватных ИИ-решений, адаптированных к специфике японского языка и деловой практики.