ГОСТ Р 58624.3-2019 (ИСО/МЭК 30107-3:2017). Национальный стандарт Российской Федерации. Информационные технологии. Биометрия. Обнаружение атаки на биометрическое предъявление. Часть 3. Испытания и протоколы испытаний
12.2 Метрики оценки подсистемы обнаружения атаки на биометрическое предъявление
12.2.1 Общие положения
При оценке подсистем ОАБП (см. ГОСТ Р 58624.1-2019, рисунок 4) измеряют способность подсистем ОАБП правильно классифицировать атаки на биометрическое предъявление.
12.2.2 Метрики классификации
В протоколе оценки подсистемы ОАБП должны быть указаны ВОКПА и ВОКПБП.
В оценках подсистемы ОАБП должна быть рассчитана и занесена в протокол ВОКПА. Экспериментатор должен указать, каким образом решения ОАБП и баллы использованы для классификации предъявлений.
ВОКПА для определенного вида ИАБП (ВИАБП) рассчитывают по формуле
, (1)
где NВИАБП - число предъявлений атаки для определенного вида ИАБП;
Resi - результат классификации; равен 1, если i-е предъявление классифицировано как атака, и равен 0, если биометрическое предъявление подлинное.
В протоколе оценки методов ОАБП должны быть указаны числа правильно и неправильно классифицированных предъявлений артефактов: общее число, по видам ИАБП, по комплектам ИАБП, по субъектам сбора и по источнику.
При расчете на предмет того, насколько результативно подсистема ОАБП выполняет обнаружение вида ИАБП с определенным потенциалом нападения (Г), ПН используется ВОКПА наиболее эффективного вида ИАБП в диапазоне потенциала нападения ПН согласно формуле
, (2)
где АПН - множество видов ИАБП с ПН, равным или меньшим ПН.
Примечание - Формула, основанная на максимальном значении, отражает уязвимость системы ОАБП по крайней мере к одной атаке на уровне испытуемого потенциала нападения. Это корректное предположение для тех приложений, в которых вероятности ошибок ОАБП измеряют для принятия решений о безопасности, и предполагаемый злоумышленник атакует систему с использованием эффективного ИАБП (в пределах их возможностей). Кроме того, злоумышленники могут задействовать те виды ИАБП, которые не испытаны, и использование вероятности ошибок, максимальной среди набора испытуемых видов ИАБП, является более надежным показателем безопасности. В процессе эксплуатации данное значение ВОКПА будет достигнуто, если злоумышленники имеют тот же потенциал нападения, что и экспериментаторы испытательной лаборатории. В эксплуатационных сценариях, когда злоумышленники обладали меньшим количеством знаний по сравнению с экспериментаторами испытательной лаборатории и инструменты атаки на биометрическое предъявление были выбраны случайно или из-за простоты производства, достигается меньшее значение ВОКПА, чем в формуле (2).
На уровне подсистемы ОАБП эксплуатационные характеристики для набора подлинных биометрических предъявлений, собранных с использованием ОИ, выражены в показателе ВОКПБП. ВОКПБП рассчитывают по формуле
(3)
где Resi - результат классификации; равен 1, если i-е предъявление классифицируется как атаки, и равен 0, если биометрическое предъявление подлинное;
NПП - число подлинных биометрических предъявлений.
В протоколе оценки методов ОАБП должно быть указано количество правильно и неправильно классифицированных подлинных биометрических предъявлений: общее количество и по субъектам сбора биометрических данных.
Если подсистема ОАБП возвращает многозначную оценку ОАБП, должны быть указаны частотные распределения баллов ОАБП для каждого вида ИАБП и для подлинных биометрических предъявлений.
Указание в протоколе испытаний совокупного показателя ВОКПА и ВОКПБП (например, усредненной вероятности ошибок) не соответствует требованиям настоящего стандарта.
Показатели классификации метода ОАБП могут быть указаны в виде единого значения ВОКПБП при фиксированном значении ВОКПА.
Пример - В протоколе может быть указано, что при ВОКПА, равной 5%, ВОКПБП принимает значение ВОКПБП 20.
При интерпретации эксплуатационных характеристик подсистемы ОАБП необходимо учесть, что могут быть типы атак на биометрическое предъявление, виды ИАБП и факторы, которые не были испытаны. Таким образом, заявленные эксплуатационные характеристики подсистемы ОАБП не предоставляют информации относительно ее эффективности при ОАБП, которые не были испытаны.
12.2.3 Метрики отсутствия ответа
Принимая во внимание рекомендации разработчика метода ОАБП и предполагаемый сценарий использования для подсистемы ОАБП, экспериментатор должен определить, что представляет собой отсутствие ответа, и указать условия, при которых отсутствие ответа влияет на вероятность ошибок классификации.
Пример - Экспериментатор может определить отсутствие ответа как отсутствие появления биометрического изображения в течение 5 с после предъявления биометрической характеристики или ИАБП.
Экспериментатор должен указать вероятности отсутствия ответа для подсистемы ОАБП, используя следующие характеристики:
- ВООПА и размер выборки, по которой проведены вычисления, для каждого вида ИАБП;
- ВООПБП и размер выборки, по которой проведены вычисления.
12.2.4 Метрики эффективности
Увеличение времени транзакций может отрицательно повлиять на приложения, критичные к временному фактору. Экспериментатор должен указать длительность обработки подсистемой ОАБП (ДОПО) как среднее значение длительности. ДОПО следует указывать отдельно для предъявлений артефактов и подлинных биометрических предъявлений. Отсутствие ответа не учитывают при расчете ДОПО. ДОПО может быть определено прямым наблюдением. В другом варианте событий среднее изменение длительности обработки из-за работы подсистемы ОАБП может быть оценено путем записи нескольких предъявлений с ОАБП и без него и анализа различий в длительности обработки.
12.2.5 Краткие выводы
В таблице 1 перечислены эксплуатационные характеристики для оценки подсистем ОАБП.
Таблица 1
Метрики эксплуатационных характеристик подсистем ОАБП
Подсистема | Метрика | Тип предъявления | Занесение в протокол испытаний |
Подсистема ОАБП | ВОКПА | Атака | Обязательное |
ВОКПБП | Подлинное лицо | Обязательное | |
ВООПА | Атака | Обязательное | |
ВООПБП | Подлинное лицо | Обязательное | |
ДОПО | Атака или подлинное лицо | Необязательное |
Для подсистем ОАБП, которые возвращают многозначную оценку ОАБП, для каждого вида ИАБП и для подлинных биометрических предъявлений рекомендуются частотные распределения оценки ОАБП.
Подписаться на обновления