ГОСТ Р 59898-2021. Национальный стандарт Российской Федерации. Оценка качества систем искусственного интеллекта. Общие положения

8 Представительный набор существенных характеристик и показатели качества СИИ

 

Приведенные в данном разделе метрики оценки качества СИИ носят рекомендательный характер.

 

8.1 Общие положения

 

8.1.1 В стандарте рассмотрены базовые метрики для оценки соответствующих характеристик (подхарактеристик) СИИ, а также представлены метрики точности, предлагаемые к применению в зависимости от типа решаемых задач. Данный набор метрик не является исчерпывающим в связи с многообразием областей применения СИИ и широким спектром решаемых с их помощью задач.

8.1.2 Набор метрик формируют на этапе подготовки технического задания, он может быть скорректирован и дополнен на последующих стадиях разработки СИИ. Для данных целей требуется использовать отраслевые и иные нормативно-технические документы, регламентирующие наборы существенных характеристик прикладных СИИ, предназначенных для решения различных типовых задач в соответствующих отраслях экономики и социальной сферы. Итоговый набор существенных (значимых) характеристик системы и соответствующих им показателей качества СИИ должен быть достаточен для оценки степени соответствия СИИ для решения поставленной задачи в целях обеспечения доверия со стороны пользователей.

8.1.3 Для получения достоверных результатов оценки качества СИИ целесообразно, чтобы установленные метрики обладали следующими характерными свойствами, определяющими точность проводимых измерений согласно ГОСТ Р ИСО 5725-1:

- достоверность - влияние случайных ошибок на результат измерения незначительно или может быть учтено в процессе анализа, то есть не может повлиять на результат измерения;

- воспроизводимость - повторное измерение метрики для той же системы, используя ту же самую шкалу ранжирования и оценки, входные данные и условия проведения тестирования различными специалистами по оценке должно привести к тем же самым результатам в пределах соответствующей погрешности;

- повторяемость (также сходимость результатов измерений) - близость друг к другу результатов измерений одной и той же величины, выполненных повторно одними и теми же средствами, одним и тем же методом в одинаковых условиях и с одинаковой тщательностью;

- показательность (метрики) - способность метрики идентифицировать части или продукцию программного обеспечения, которые должны быть улучшены, учитывая взвешенные результаты по сравнению с ожидаемыми.