ГОСТ Р 54412-2019 (ISO/IEC TR 24741:2018). Национальный стандарт Российской Федерации. Информационные технологии. Биометрия. Общие положения и примеры применения

9 Эксплуатационные испытания

 

9.1 Общие положения

Биометрические устройства и системы могут быть подвергнуты различным испытаниям. Испытания могут включать в себя оценку:

a) эксплуатационных характеристик (в терминах вероятностей ошибок и производительности);

b) надежности, доступности и удобства эксплуатации;

c) степени защищенности;

d) безопасности;

e) приемлемости системы для пользователя;

f) влияния человеческих факторов;

g) коэффициента эффективности затрат;

h) соблюдения законодательства, в том числе касающегося конфиденциальности и прозрачности использования зарегистрированных биометрических данных индивида.

В течение последних трех десятилетий оценка эксплуатационных характеристик является наиболее распространенной формой испытаний. Эксплуатационные испытания обычно проводят с целью прогноза эксплуатационных характеристик системы для целевой выборки и в целевых условиях применения, но исторически сложилось так, что экстраполяция результатов испытаний в тестовых условиях на практике вызывает много трудностей. Для того чтобы результаты испытаний лучше соответствовали эксплуатационным характеристикам систем при практической эксплуатации, разработаны стандарты, устанавливающие процедуры проведения испытаний (см. [25]).

Эксплуатационные испытания могут проводиться на замкнутом множестве либо на открытом множестве. Испытания не могут выявить эксплуатационные характеристики системы, если она использована субъектами, которые не зарегистрированы в системе. В процессе испытания на замкнутом множестве возвращается ранг истинного совпадения, когда входной биометрический образец сравнивают со всеми зарегистрированными биометрическими контрольными шаблонами. В процессе испытания на замкнутом множестве вычисляют вероятность того, что истинный биометрический контрольный шаблон найден во время поиска по базе данных размера N с рангом k или выше. При любом испытании данная вероятность зависит от размера базы данных, уменьшаясь с увеличением размера базы данных.

При проведении испытания на открытом множестве не требуется, чтобы все входные биометрические образцы имели соответствующий зарегистрированный в базе данных биометрический контрольный шаблон, при этом все результаты сравнения сопоставляют с порогом. По результатам испытаний на открытом множестве строят функцию порога, вероятности отсутствия совпадения при сравнении биометрической пробы и биометрического контрольного шаблона от одного источника (вероятность ложного несовпадения) и вероятности совпадения биометрической пробы и биометрического контрольного шаблона от разных источников (вероятность ложного совпадения).

Примеры испытаний как на открытом множестве, так и на замкнутом множестве описаны в литературе, но так как большинство приложений предполагает потенциальное существование "самозванцев", то результаты испытаний на открытом множестве крайне важны для разработчиков системы или аналитиков с практической точки зрения.

Как правило, в процессе проведения испытаний на открытом множестве определяют следующие характеристики: вероятность отказа биометрической регистрации, вероятность отказа получения биометрических данных, вероятность ложного допуска, вероятность ложного недопуска, пропускная способность. Вероятность отказа биометрической регистрации определяют как долю зарегистрированных транзакций, при которых биометрическая регистрация не может быть завершена вследствие ошибки биометрической системы или человеческой ошибки. Вероятность отказа получения биометрических данных определяют как долю процессов получения биометрических данных от всех зарегистрированных субъектов, которые не были приняты биометрической системой. Вероятность ложного недопуска определяют как долю всех транзакций биометрической верификации с истинными биометрическими заявлениями, которые были ошибочно отвергнуты биометрической системой. Вероятность ложного допуска определяют как долю всех транзакций биометрической верификации сложными биометрическими заявлениями, которые ошибочно приняты биометрической системой. Так как вероятности ложного допуска/недопуска (или вероятности ложного совпадения/несовпадения) представляют собой противоположные показатели, они могут быть изображены одновременно на кривой компромиссного определения ошибки (КОО). Пропускная способность системы представляет собой число субъектов, которое биометрическая система может обработать за 1 мин, и определена с учетом как времени взаимодействия человека и устройства, так и времени обработки биометрических данных.