ГОСТ Р 59898-2021. Национальный стандарт Российской Федерации. Оценка качества систем искусственного интеллекта. Общие положения

9 Требования к набору входных и выходных данных для тестирования СИИ

 

9.1 Для целей тестирования в процессе жизненного цикла СИИ применяются следующие наборы данных (см. таблицу 9):

- базовый демонстрационный набор данных - образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) СИИ определенного типа;

- дополнительный демонстрационный набор данных - дополнительный аннотированный набор данных, предоставляемый заказчиком СИИ при формировании уточненных требований к системе с учетом конкретного функционала и условий ее эксплуатации;

- полный демонстрационный набор данных - совокупность базового и дополнительного контрольных наборов данных;

- обучающий набор данных - набор данных, формируемый на основе демонстрационного набора данных и необходимый для создания СИИ. При формировании обучающего набора данных широко применяются технологии аугментации и обработки данных, позволяющие повысить качество создаваемой СИИ, а также технологии обогащения данных;

- тестовый набор данных - набор данных, формируемый в органах по оценке соответствия на основе демонстрационного набора данных и необходимый для проведения сертификации (регистрации), тестирования (испытаний) или аттестации СИИ.

 

Таблица 9

 

Типы наборов данных

 

Тип набора данных	Назначение	Способ формирования
Базовый демонстрационный	Определение минимальных требований к функциональным характеристикам СИИ	В соответствии с нормативно-техническим документом (стандартом), определяющим порядок оценки функциональных характеристик СИИ и иллюстрирующим требования к демонстрационному набору данных
Дополнительный демонстрационный	Уточнение требований к функциональным характеристикам СИИ	Предоставляется заказчиком при формировании уточненных требований к СИИ с учетом конкретного функционала и условий ее эксплуатации
Полный демонстрационный	Формирование исходного образца для подготовки обучающего набора данных	В результате объединения базового и дополнительного демонстрационных наборов данных
Обучающий	Обучение СИИ	На основе демонстрационного набора данных с учетом выполнения требования статистической эквивалентности демонстрационному набору данных
Тестовый	Оценка соответствия СИИ установленным требованиям	На основе демонстрационного набора данных в соответствии с требованиями сертификации (регистрации), тестирования (испытаний) или аттестации СИИ

 

9.2 При формировании тестового набора данных в целях обеспечения качества данных по [1] необходимо учитывать следующие требования к тестовым наборам данных:

- представительность: отклонение оценок функциональных характеристик СИИ, полученных при проведении тестирования (испытаний) на тестовом наборе данных, от апостериорных значений этих характеристик, полученных в результате эксплуатации СИИ в предусмотренных условиях эксплуатации, с заданной вероятностью не должно превышать некоторую определенную, допустимо малую величину. К критериям представительности тестового набора данных относят достаточное совпадение статистических характеристик существенных условий эксплуатации для тестового набора данных и в предусмотренных условиях эксплуатации;

- безызбыточность: при формировании тестового набора данных необходимо стремиться к тому, чтобы его объем был минимально достаточным для выполнения требования представительности. Исключение составляют СИИ с измерительными функциями, например по ГОСТ 58450 и ГОСТ Р 8.673, для которых избыточность тестового набора данных требуется для повышения точности проводимых измерений;

- объективность: тестовый набор данных должен доказуемо принадлежать к той же генеральной совокупности, что и демонстрационный набор данных. При необходимости доказательства объективности тестового НД должны быть предоставлены разработчику и другим заинтересованным сторонам без нарушения конфиденциальности тестового НД;

- конфиденциальность: в отношении тестового набора данных органами по оценке соответствия должен быть обеспечен режим конфиденциальности, исключающий использование тестового набора данных разработчиком на стадии создания СИИ. При этом должна быть обеспечена объективность тестового набора данных;

- требования по расчету размеров различных наборов входных и выходных данных;

- требования к характеристикам различных наборов входных и выходных данных.