Обучение на обезличенных данных

Для создания качественных моделей машинного обучения нужны большие объемы детализированных данных. Чем точнее модель, тем больше нюансов она должна уловить из обучающей выборки.

Но где взять эти данные? В отличие от разработки ПО, где есть GitHub с миллионами открытых проектов, в мире данных царит дефицит. Нет публичных репозиториев с медицинскими картами, чертежами двигателей или банковскими транзакциями. Каждая организация варится в собственном соку. Банки обучают модели антифрода на своих данных, не имея доступа к паттернам мошенничества конкурентов. Медицинские центры разрабатывают диагностические алгоритмы на ограниченной выборке пациентов своей клиники.

Результат предсказуем: модели переобучаются, показывают низкую точность на новых данных, не могут обобщать знания. Логичное решение — объединить усилия участников рынка. Совместными силами создать обучающие выборки, которые покрывают все возможные сценарии. Но здесь возникает фундаментальное противоречие. Чем детальнее данные, тем выше качество модели. Но тем больше риск компрометации конфиденциальной информации.

ЭТО ДИЛЕММА: КАЧЕСТВО VS АНОНИМНОСТЬ.

Существующие методы анонимизации снижают качество и при этом не гарантирует полной защиты от утечки.

Нужен новый подход. Представьте, что можно объединить данные нескольких организаций, не раскрывая их содержимое. Обучить модель у нейтральной третьей стороны, которая имеет необходимые ресурсы и экспертизу. И защитить саму модель от несанкционированного копирования.

ТАК РАБОТАЕТ ПАК DAMASK.

Система использует семантические токены, которые сохраняют метаданные исходных данных, но не раскрывают их содержимое. Токенизированные данные нескольких участников можно безопасно объединить и передать для обучения модели.

Обученная модель работает только с токенами. Её предсказания имеют смысл только для тех, у кого есть ПАК DAMASK для обратного преобразования.

Что это значит для бизнеса?

• Снимает главный барьер для совместного развития ИИ;
• Данные разных организаций можно объединять без риска раскрытия конфиденциальной информации;
• Третья сторона может обучать модель, но доступа к реальным данным у неё нет;
• Обученная модель защищена: её нельзя использовать без DAMASK, даже если скопировать;
• Качество обучения сохраняется, поскольку токены повторяют распределения и взаимосвязи исходных данных.