ГОСТ Р 59921.5-2022. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

6 Требования по использованию верифицированных наборов данных для обучения и тестирования систем искусственного интеллекта

 

6.1 Общие требования к описанию наборов данных

Набор медицинских данных должен содержать следующие сведения (описательного характера):

1) номер свидетельства о государственной регистрации базы данных в качестве результата интеллектуальной деятельности (рекомендательно);

2) характеристика популяции (возрастно-половые показатели, этнический состав, регионы проживания и т.д.); сведения о де-идентификации; сведения о МО, послуживших источниками для формирования базы данных; сведения о факторах риска;

3) характеристика исследования: анатомическая область(и), модальность, проекции, типы медицинских изделий - диагностических приборов, виды и характеристики протоколов исследования;

4) целевая патология согласно Международной классификации болезней (либо наименование феноменов в соответствии с рекомендациями профильной ассоциации специалистов), если применимо в соответствии с поставленной целью (см. 5.1);

5) общее количество клинических случаев, исследований, изображений, документов и их распределение по диагностическим группам;

6) соотношение случаев "норма"/"патология" (случаи "патология" могут быть разделены на несколько подклассов), если применимо в соответствии с поставленной целью (см. 5.1);

7) сведения о верификации (патогистологическом или ином окончательном диагнозе);

8) методология разметки.

Примеры рекомендованных параметров для описания наборов данных для медицинских изображений приведены в приложении А, для области клинической физиологии - в приложении Б.

6.2 Разделение набора данных на обучающую и тестовую выборки на этапе разработки системы искусственного интеллекта

В процессе разработки СИИ возможно использование обучающей, тестовой и в некоторых случаях проверочной выборок, которые выделены из одного или нескольких наборов данных.

Внутреннее тестирование СИИ должно быть проведено на наборе данных, который не был использован для обучения. Это необходимо для исключения явления переобучения, при котором в результате тестирования СИИ получается смещенная оценка.

Обучающая и тестовая выборки должны быть независимы, что обеспечит получение несмещенной оценки при тестировании СИИ.

Также в некоторых случаях используют проверочный набор данных для выбора оптимальной модели в процессе разработки СИИ.

Примечание - Возможно выполнение разделения набора данных на обучающую, проверочную и тестовую выборки в соотношениях 80/10/10 или 70/15/15, что определяется поставленной целью разработки СИИ.

 

6.3 Требования по размеру набора данных для обучения и тестирования на этапе разработки систем искусственного интеллекта

Размер набора данных должен быть определен поставленной целью его применения и зависит от таких факторов, как требуемое качество предсказаний СИИ, тип и архитектура алгоритма СИИ, количество параметров алгоритма СИИ, качество данных, включая качество аннотаций, распределение метрик и уровень шума в наборе данных. Например, изображения с более высоким разрешением (количеством пикселей) также усложняют архитектуру алгоритма, что обуславливает необходимость использования обучающих выборок большего размера. Теоретические обоснования оценки необходимого и достаточного размера набора данных в зависимости от указанных факторов находятся на стадии разработки. Возможно использование автоматизированных средств расчета размера набора данных, которые основаны, например на использовании ширины 95% доверительного интервала и допустимой ширины определения метрик.

Возможно формирование набора данных для обучения СИИ эмпирическим методом, используя правило, согласно которому размер набора данных должен в несколько раз превышать количество параметров алгоритма СИИ либо соответствовать другим обоснованным критериям (см. [4], [9]). Большее количество данных обеспечивает лучшее представление комбинаций оцениваемых метрик и их вариаций, а также их принадлежности целевой(ым) патологии(ям) или прочим визуальным наблюдениям.

Набор данных для тестирования на этапе разработки СИИ должен быть обоснованного размера, определенного поставленной целью.

6.4 Требования к наборам данных для внешнего тестирования системы искусственного интеллекта

Набор данных для внешних тестирований должен быть обоснованного размера, определенного поставленной целью и дизайном испытаний.

Примечание - Внешние тестирования могут быть в том числе техническими испытаниями, предварительными клинико-техническими испытаниями, клиническими испытаниями и мониторингом.

 

Для оценки эксплуатационных характеристик СИИ набор данных для внешнего тестирования должен содержать данные эксплуатационных категорий. Допустимо добавлять в наборы данных дополнительные тест-случаи (контрольные тесты), соответствующие ситуациям, сложным для классификации экспертами: данные с высоким уровнем шума либо с ухудшенными характеристиками (например, в результате сбоя оборудования), изображения с недостаточной видимостью целевых объектов. Включение таких данных позволит проверить робастность СИИ, в дополнение к заявленным эксплуатационным характеристикам.

Наборы данных для внешнего тестирования СИИ не должны включать элементы из наборов данных для обучения данной СИИ.

До завершения этапа внешнего тестирования должен быть ограничен доступ к применяемому на данном этапе набору данных.

Примечание - Для выполнения этих требований должна быть обеспечена коммуникация между коллективами, выполняющими разработку и внешнее тестирование СИИ. Коллектив, выполняющий внешнее тестирование СИИ, самостоятельно определяет объем необходимой информации, сообщаемой коллективу, выполняющему обучение, руководствуясь исключением риска внедрения систематической ошибки (bias) на этапе тестирования.

 

6.5 Требования по характеристикам наборов данных

6.5.1 Размерность, разреженность, разрешение

Под размерностью набора данных понимают количество атрибутов, которые имеют объекты в наборе данных (например, значение артериального давления, масса тела пациента, уровень холестерина и др.). Наборы данных с высокой размерностью (с большим количеством атрибутов) выдвигают повышенные требования к алгоритмам СИИ, допустимому размеру таких наборов, а также к вычислительным ресурсам для их обработки. В зависимости от поставленной цели и дизайна исследования допустимо обоснованное снижение размерности набора данных, в частности за счет кластеризации данных либо группировки взаимосвязанных по какому-либо признаку атрибутов в объединенные категории.

Отсутствующие данные способны существенно осложнить для СИИ задачу поиска и категоризации объектов интереса. Характеристики размерности и разреженности должны быть подобраны под задачу. Для разработки СИИ всегда должны быть использованы данные в одном формате/разрешении/качестве.

6.5.2 Баланс данных, распределение классов

Сбалансированный набор данных должен содержать одинаковое количество примеров различных категорий (классов) объектов интереса, включая примеры неизмененных тканей (см. [10], [11]). В случае бинарной классификации это может соответствовать распределению 50/50 для случаев "патология"/"норма".

Для контроля дисбаланса классов необходимо использовать взятие подвыборок (понижающих выборок) - равных количеств случайно отобранных примеров каждого исследуемого класса. Допускается отхождение от сохранения баланса данных в некоторых сценариях исследования: например, при определении площади под кривой (AUC). Если набор данных нельзя сбалансировать, используются техники обучения алгоритмов искусственного интеллекта (ИИ) по несбалансированным данным (under-sampling, over-sampling, модификации процесса обучения и др.).

Требования к балансу набора данных необходимо определять в соответствии с поставленной задачей (см. 5.1, 5.2). Требования по соотношению категорий (классов) для аналитической и клинической валидации в соответствии с 5.6.1, 5.6.2.