ГОСТ Р 70462.1-2022/ISO/IEC TR 24029-1-2021. Национальный стандарт Российской Федерации. Информационные технологии. Интеллект искусственный. Оценка робастности нейронных сетей. Часть 1. Обзор

5.3 Статистические методы измерения робастности нейронной сети

5.3.1 Общие положения

При применении метрик по 5.2 к тестовым данным для оценки робастности доступно несколько статистических методов. В этом подразделе описаны некоторые из доступных статистических методологий для выполнения шагов 2 и 3, представленных в 4.1, для планирования и проведения тестирования. Выполнение протокола тестирования не является уникальным для нейронных сетей, и подготовка включает настройку тестового окружения, сведения о том, что и как измерять, а также сбор данных и прочие характеристики. Разница в планировании тестирования робастности нейронных сетей заключается в необходимости более тщательного сбора данных (например, об уровне качества, степени детализации, наборах данных для обучения/тестирования/валидации и т.д.). При проведении тестирования источник данных и доступность вычислительных ресурсов являются существенными вследствие того, что нейронные сети требуют в некоторых случаях значительных объемов данных и вычислительных ресурсов.

5.3.2 Контрастные меры

Статистические показатели эффективности применяют сначала к базовому набору данных, а затем к одному или нескольким наборам данных, отражающим целевые изменения условий. Если для каждого из них снижение производительности по сравнению с эталонным тестовым набором достаточно низкое, то систему считают надежной.