ГОСТ Р 59898-2021. Национальный стандарт Российской Федерации. Оценка качества систем искусственного интеллекта. Общие положения

8.8 Надежность (reliability) СИИ. Метрики

 

8.8.1 Для оценки надежности СИИ рекомендуется применять следующий набор субхарактеристик 2-го рода: стабильность (maturity), устойчивость к ошибке (отказоустойчивость) (fault tolerance), восстанавливаемость (recoverability), робастность (robustness).

8.8.2 Метрики стабильности (maturity) используются для оценки независимости СИИ от отказов, существующих в самой СИИ (см. таблицу 8).

 

Таблица 8

 

Примеры метрик стабильности

 

Наименование метрики	Формула	Измеряемый диапазон
Плотность отказов по отношению к тестовым наборам	, (26)   где O - количество обнаруженных отказов СИИ; T - количество выполненных тестовых наборов	M7 >= 0
Устранение ошибок	, (27)   где A - количество исправленных ошибок; B - общее количество реально обнаруженных (или спрогнозированных) ошибок
Тестовое покрытие	, (28)   где A - количество фактически выполненных тестовых примеров, которые отображают сценарий эксплуатации СИИ; B - количество тестовых примеров, которые необходимо выполнить, чтобы удовлетворить требованиям, определяющим цели и условия эксплуатации СИИ
Коэффициент аварийных отказов	, (29)   где A - количество аварийных отказов СИИ; B - количество отказов СИИ

 

8.8.3 Метрики устойчивости к ошибке (отказоустойчивости) (fault tolerance) используются для оценки способности СИИ поддерживать определенный уровень производительности в случаях возникновения ошибок и отказов оборудования при эксплуатации.

8.8.4 Метрики восстанавливаемости (recoverability) используются для оценки способности СИИ восстанавливать отвечающий требованиям уровень производительности, а также данные, подвергаемые прямому действию в случае отказа.

8.8.5 Метрики устойчивости (робастности) (robustness) используются для оценки способности СИИ обеспечивать требуемую точность (прецизионность и правильность) выходных данных при наличии различного рода выбросов, помех во входных данных.