ГОСТ Р 59921.4-2021. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров

Приложение А

(справочное)

ЭКСПЛУАТАЦИОННЫЕ ПАРАМЕТРЫ СИСТЕМ ИСКУССТВЕННОГО

ИНТЕЛЛЕКТА И МЕТОДЫ ИХ ОЦЕНКИ И КОНТРОЛЯ

Методы оценки и контроля эксплуатационных параметров СИИ рекомендуется указывать изготовителю в технической и эксплуатационной документациях. В левой графе таблицы А.1 перечислены эксплуатационные параметры СИИ в соответствии с разделом 4. В правой графе таблицы А.1 - методики, применимые для оценки и контроля соответствующего параметра.

Таблица А.1

Эксплуатационные параметры СИИ

и методы их оценки и контроля [5, 6]

Эксплуатационный параметр	Оценка и контроль
Ошибки 1-го и 2-го рода при принятии решений	Оценка по разрабатываемой для СИИ методике, которая включает требования к данным для испытаний, процедуры расчета параметров, оценки погрешностей испытаний и т.д.
Показатели эффективности СИИ	Оценка согласно методике контроля чувствительности, специфичности и т.п.
Тип принимаемого решения	Проверка соответствия требованиям, заявленным в технической и эксплуатационной документациях СИИ
Набор заключений СИИ	Оценку производят по 2 сценариям: - если заключения изначально зафиксированы и СИИ использует только эти заключения, то опираются на документацию; - если в процессе эксплуатации СИИ допускается расширение вариантов заключений, то необходимо оценивать ошибки 1-го и 2-го рода
Разнородность входных данных	Проверка соответствия технической и эксплуатационной документациям, если требования к качеству входных данных определены. Оценка согласно методике оптимизации качества входных данных
Формат входных данных	Проверку проводят согласно технической документации СИИ
Тип анализируемого объекта	Оценку проводят согласно технической и эксплуатационной документациям на СИИ по методикам оценок ошибок 1-го и 2-го рода для различного рода входных данных
Способ обучения системы в процессе эксплуатации	Оценка технической документации СИИ, соответствие которой проверяют посредством тестов после выпуска новых версий СИИ и ее адаптации
Адаптируемость к новым типам данных при вводе СИИ в эксплуатацию	Оценка происходит посредством тестирований для различных типов входных данных (классов изображений)
Режим обработки данных при вводе СИИ в эксплуатацию	Оценка времени отклика СИИ, затрачиваемого времени принятия решения и т.д., путем методики хронометража
Производительность при вводе СИИ в эксплуатацию и при периодическом контроле	Оценка заявленной скорости работы с использованием методики хронометража
Требования к вычислительным ресурсам при вводе СИИ в эксплуатацию и при периодическом контроле	Оценка заявленной скорости работы при заданных вычислительных ресурсах с использованием методики хронометража
Требования к сетевым ресурсам	Оценка соответствия характеристик сетевых ресурсов, используемых при эксплуатации на соответствие требованиям технической документации СИИ
Масштабируемость системы при вводе СИИ в эксплуатацию	Оценка соответствия характеристик сетевых ресурсов, используемых при эксплуатации, требованиям технической документации СИИ
Взаимодействие с техническими системами сбора данных	Проверка соответствия требованиям, заявленным в технической документации СИИ
Вид архитектуры при вводе СИИ в эксплуатацию	Проверка соответствия требованиям, заявленным в технической документации СИИ
Требования к среде функционирования при вводе СИИ в эксплуатацию	Проверка соответствия требованиям, заявленным в технической документации СИИ
Программная совместимость при вводе СИИ в эксплуатацию и при периодическом контроле	Проверка соответствия требованиям, заявленным в технической документации СИИ