ГОСТ Р 54412-2019 (ISO/IEC TR 24741:2018). Национальный стандарт Российской Федерации. Информационные технологии. Биометрия. Общие положения и примеры применения

9.2 Виды эксплуатационных испытаний

Ниже приведено описание трех видов эксплуатационных испытаний: технологического, сценарного и оперативного [26].

Технологическое испытание, целью которого является сравнение нескольких алгоритмов распознавания одинаковых биометрических модальностей (например, отпечатков пальцев) с использованием стандартизованной базы данных биометрических образцов, собранной с помощью биометрического сканера, соответствующего стандартам (т.е. "универсального" сканера). Технологические испытания проводятся для систем:

- верификации диктора [27];

- распознавания по лицу [28] - [33];

- распознавания по отпечаткам пальцев [34] - [41];

- распознавания по РОГ [42], [43].

Сценарное испытание, целью которого является оценка эксплуатационных характеристик всей биометрической системы, осуществляемая при использовании реальных взаимодействующих с системой субъектов и в условиях, моделирующих реальное применение биометрической системы. Каждая испытуемая биометрическая система имеет свой биометрический сканер для сбора биометрических данных, в результате чего могут быть небольшие различия в получаемых исходных данных. Сценарные испытания проведены на больших выборках, но в открытых источниках публикуется малая часть результатов сценарных испытаний [44] - [46].

Оперативное испытание, целью которого является определение эксплуатационных характеристик всей биометрической системы при использовании целевой выборки и в определенных условиях применения. В общем случае из-за неизвестных и недокументированных различий в условиях окружающей среды, имевших место в процессе проведения испытания, добиться воспроизводимости результатов оперативных испытаний невозможно. Кроме того, трудно установить истинную информацию (т.е. найти тех, кто предоставляет "достоверные" биометрические характеристики). Так как вероятности ошибок в значительной степени зависят от используемой операционной системы, в открытых источниках публикуется малая часть результатов оперативных испытаний [47].

Все биометрические технологии распознавания предусматривают взаимодействие субъекта с устройством сбора биометрических данных. В общем случае технологическое испытание направлено на снижение влияния взаимодействия биометрической системы с субъектом, в то время как при проведении сценарного и оперативного испытаний оказываемое влияние должно быть учтено и оценено. Вероятности ошибок сравнения, отказа биометрической регистрации и получения биометрических данных и показатели пропускной способности определены взаимодействием биометрической системы с субъектом, что, в свою очередь, зависит от особенностей условий сбора биометрических данных. Дисциплина, изучающая человеческие факторы при сборе биометрических данных, находится на стадии становления.

Результаты эксплуатационных испытаний могут варьироваться в зависимости:

- от типа испытания (технологического, сценарного или оперативного);

- состава корпуса данных для испытаний и контроля качества данных (см. [48]);

- условий применения (которые могут повлиять на относительную разницу между сопоставляемой биометрической пробой и биометрическим контрольным шаблоном, затрудняя процесс определения результата сравнения (см. [49]);

- правил принятия решений (например, сколько попыток допускается).

Эти проблемы могут затруднить сравнение результатов испытания и прогнозирование реальных эксплуатационных характеристик биометрической системы.