ГОСТ Р 59898-2021. Национальный стандарт Российской Федерации. Оценка качества систем искусственного интеллекта. Общие положения

7 Общие принципы и порядок оценки качества СИИ

 

7.1 Разработка программы тестирования (испытаний)

 

Программа тестирования (испытаний) определяет цели, алгоритм тестирования (испытаний) СИИ и методологию оценки полученных результатов, порядок и содержание мониторинга, ведения записей о ходе тестирования.

7.1.1 Общие требования к программе тестирования (испытаний)

7.1.1.1 Программу тестирования (испытаний) разрабатывают в соответствии с описанием назначения СИИ, установленными и предполагаемыми требованиями к СИИ, результатами оценки рисков и анализом данных, касающихся безопасности, существенных характеристик и субхарактеристик СИИ в соответствии с ее назначением и предполагаемым методом применения.

7.1.1.2 При разработке программ и методик тестирования (испытаний) СИИ и определении номенклатуры показателей качества и критериев оценки следует использовать действующие отраслевые, национальные и международные стандарты (например, для оценки биометрических технологий и систем - ГОСТ Р ИСО/МЭК 19795-1, ГОСТ Р 58292, ГОСТ Р ИСО/МЭК 19795-6, ГОСТ Р 58624.1, ГОСТ Р 58667.3).

7.1.1.3 Программа тестирования должна быть разработана таким образом, чтобы полученные результаты тестирования (испытаний) позволили оценить, подходит ли исследуемая СИИ для цели(ей) предназначения. Программа тестирования должна быть разработана таким образом, чтобы обеспечить надежность, валидность и репрезентативность результатов тестирования.

7.1.1.4 В программе тестирования (испытаний) должны быть четко определены гипотеза и цели (первичные и вторичные), а также требования к тестовому набору данных, заявленные показатели качества и критерии оценки.

7.1.1.5 При подготовке программы тестирования (испытаний) должен быть проведен объективный анализ доступных научных данных, позволяющий обосновать полноту и достаточность набора показателей качества, правильность критериев оценки, достаточность и репрезентативность тестовых наборов данных.

7.1.2 Создание экспертной группы

7.1.2.1 Экспертную группу по оценке качества СИИ создают для решения одной или нескольких задач:

- аннотирование (разметка) данных;

- выбор номенклатуры характеристик (субхарактеристик) и соответствующих им метрик, а также критериев оценки, включая требования к ним;

- участие в тестировании (испытании) СИИ и последующей оценке полученных результатов.

7.1.2.2 При создании экспертной группы по оценке качества СИИ требуется:

- при выборе состава экспертной группы обеспечить ее представительность;

- определить способ организации работы с экспертами и метод формирования экспертных оценок;

- выбрать методику обработки оценок группы экспертов и критерий(-ии) согласованности экспертных мнений.

7.1.2.3 Эксперты, принимающие участие в тестировании (испытании) и последующей оценке полученных результатов на стадиях разработки и оценки соответствия СИИ, должны обладать профессиональными знаниями и компетенциями, подтвержденными соответствующими документами.

7.1.2.4 Полученные результаты работы экспертной группы должны обеспечивать приемлемую сходимость оценок, в противном случае требуется пересмотреть методику проведения экспертных оценок.

7.1.3 Определение требований к качеству

7.1.3.1 Для количественного измерения показателя качества (характеристики или субхарактеристики) используются метрики.

7.1.3.2 Метрика качества m_i позволяет определить меру близости значения некоторой существенной характеристики оцениваемой системы искусственного интеллекта S^m значению соответствующей характеристики некоторой эталонной (референтной) системы S^r.

7.1.3.3 Необходимым условием соответствия характеристики заданным критериям качества является выполнение требования (рисунок 2)

 

, (2)

 

где - измеренное значение i-й характеристики;

- установленное значение i-й характеристики;

, - допустимые отклонения i-й характеристики оцениваемой СИИ S^m от установленного значения в направлении убывания и возрастания, соответственно.

 

 

Рисунок 2 - Пример несоответствия качества СИИ по критерию

функциональности (надежность и безопасность соответствуют

установленным критериям качества с допустимыми

отклонениями и )

 

7.1.3.4 Критерии качества отражают потребности конечного пользователя СИИ, и поэтому должны быть определены на этапе подготовки технического задания и задокументированы разработчиком в соответствующей технической и эксплуатационной документации.

7.1.4 Выбор и обоснованность существенных характеристик

7.1.4.1 Выбор номенклатуры существенных характеристик (субхарактеристик) для конкретной СИИ осуществляется с учетом ее назначения и требований областей применения (см. таблицу 2).

 

Таблица 2

 

Существенные характеристики и субхарактеристики СИИ

для модели качества продукта

 

Группа характеристик	Характеристика по ГОСТ Р 59276	Существенная характеристика	Субхарактеристика
Функциональность	Функциональные возможности	Функциональные возможности (functionality)	Функциональная пригодность (functional appropriateness); функциональная корректность (правильность) (functional correctness); согласованность (compliance); функциональная полнота (functional completeness); способность к самообучению (ability to learn)
		Способность к взаимодействию (compatibility)	Соответствие (co-existence); функциональная совместимость (interoperability); контролируемость (controllability)
	Эффективность	Уровень производительности (performance efficiency)	Характер изменения во времени (time behaviour); характер изменения (использования) ресурсов (resource utilization); производительные возможности (capacity)
	Мобильность	Мобильность (portability)	Адаптируемость (adaptability); простота внедрения (installability); (взаимо)заменяемость (replacebility)
	Практичность	Практичность (usability)	Понятность (explainability); изучаемость (learnability); простота использования (operability); защищенность от ошибки пользователя (user error protection); эстетика пользовательского интерфейса (user interface aesthetics); доступность (accessibility); взаимодействие (collaborability)
	Сопровождаемость	Сопровождаемость (maintainability)	Анализируемость (analysability); изменяемость (modifiability); устойчивость (tability); тестируемость (testability); модульность (modularity); настраиваемость (evolution)
Надежность	Надежность	Надежность (reliability)	Стабильность (maturity); устойчивость к ошибке (отказоустойчивость) (fault tolerance); восстанавливаемость (recoverability); робастность (robustness)
Безопасность	-	Защищенность (security)	Конфиденциальность (confidentiality); целостность (integrity); неотказуемость (non-repudiation); подотчетность (accountability); подлинность (authenticity); приватность (неприкосновенность частной жизни) (privacy)

 

7.1.4.2 Выбранная номенклатура существенных характеристик (субхарактеристик) и соответствующих им метрик, а также критериев оценки, включая требования к ним, фиксируется в техническом задании на разработку СИИ.

7.1.4.3 При выборе представительного набора существенных характеристик и субхарактеристик СИИ целесообразно руководствоваться принципами, приведенными в разделе 5 ГОСТ Р 59276-2020:

- полнота (достаточность) набора характеристик для принятия решения о возможности использования СИИ при решении конкретной прикладной задачи;

- простота и возможность оценки характеристик путем установления соответствующей(-их) метрик(и), ее (их) уровней ранжирования и оценки;

- простота и возможность измерения значений характеристик;

- отсутствие дублирования (перекрытия диапазонов) между используемыми характеристиками;

- соответствие установившимся понятиям и терминологии;

- возможность последующего уточнения и детализации характеристик.