ГОСТ Р 59921.5-2022. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

7 Система менеджмента качества при разработке и применении набора данных

 

7.1 Общие положения

В процессе разработки и применения верифицированного набора данных внедряется система менеджмента качества (СМК), представляющая собой организационную структуру, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению организацией применительно к качеству.

7.2 Требования к персоналу

7.2.1 Требования к персоналу, выполняющему разметку

Персонал, осуществляющий деятельность, влияющую на качество подготовки набора данных, должен быть компетентным в соответствии с полученным образованием, подготовкой, навыками и опытом согласно ГОСТ ISO 13485. Организация должна документировать процесс(ы), определяющий(е) компетентность персонала, проведение обучения, обеспечение информированности персонала.

Разметчиков необходимо подбирать по нескольким критериям:

- компетентность в области конкретных типов данных: изображения, текстовые данные или сигнальные (ЭКГ, ЭЭГ, спирометрия и т.д.), количественные данные (ЧСС, артериальное давление, спирометрия и др.), бинарные данные (например, да/нет);

- уровень сложности планируемой разметки и/или аннотирования: первичная разметка (сегментирование) или экспертная; детализация на уровне классов или подклассов, установление связи с метаданными, определение вероятных исходов (прогнозирования);

- успешное прохождение предварительного тестирования.

7.2.2 Требования к экспертам

В экспертную группу должны входить специалисты с большим опытом работы с определенным типом наборов данных. Как правило, предъявляют требование к опыту работы от трех лет.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать наличие конфликтов интересов, которые могут стать существенным препятствием для получения объективного суждения.

Требования к экспертам, которых привлекают к подготовке набора данных, должны быть документированы в рамках СМК.

7.3 Требования к аппаратному обеспечению

Организация, проводящая подготовку и применение наборов данных, должна документировать требования к аппаратному обеспечению, необходимому для достижения соответствия требованиям к набору данных, организации хранения и управления наборами данных (включая ввод/вывод и обработку).

Аппаратное обеспечение включает рабочее пространство и связанные с ним системы инженерного обеспечения; оборудование, включая технические и программные средства; вспомогательные услуги (например, связь или информационные системы).

7.4 Контроль качества

7.4.1 Контроль качества при подготовке набора данных

Формирование набора данных должно быть спланировано и подвержено мониторингу и управлению для обеспечения соответствия качества.

Работой группы может руководить сотрудник, назначенный ответственным, который не принимает участие в разметке и/или аннотировании, но будет регулировать срочность, очередность и объем работы между экспертами. Обязанностью данного ответственного также является формирование рабочей группы для обеспечения объективности и достоверности результата.

Должны быть применены методы оценки качества набора данных, по которому будет производиться разметка:

- проверка отсутствия пропусков элементов в наборе данных;

- проверка отсутствия некорректных элементов для решения поставленных задач;

- проверка качества элементов набора данных рекомендованным критериям профессионального медицинского сообщества.

7.4.2 Контроль качества при применении наборов данных

Должны быть подготовлены и внедрены стандартные процедуры применения наборов данных в рамках СМК. Должны быть указаны требования по организации доступа к наборам данных, в том числе реестр лиц, которые получили к нему доступ.

7.5 Управление изменениями наборов данных

После создания и регистрации набора данных может возникнуть необходимость внести изменения - например, в результате обнаружения ошибок или добавления новых данных (см. [12]). При внесении любых изменений необходимо документировать изменение версии набора данных.

Примечание - Это позволит избежать множества проблем, например связанных с невоспроизводимостью или некорректным сравнением результатов, полученных на разных версиях наборов данных.

 

Изменения в наборах данных должны быть задокументированы, эта документация должна быть приложена к набору данных.