ГОСТ Р 50779.60-2017 (ИСО 13528:2015). Национальный стандарт Российской Федерации. Статистические методы. Применение при проверке квалификации посредством межлабораторных испытаний

10. Графические методы описания индексов функционирования

 

10.1 Применение графических методов

Для подготовки графиков в соответствии с 10.2 и 10.3 провайдер обычно использует индексы, полученные в каждом раунде программы проверки квалификации. Использование индексов функционирования P_A, z, z', и E_n в таких графиках дает преимущество использования стандартизованных осей, что позволяет упростить их представление и интерпретацию. Графики должны быть доступны участникам, предоставляя каждому возможность видеть расположение собственных результатов по отношению к результатам других участников. При этом могут быть использованы буквенные и числовые коды так, чтобы каждый участник имел возможность идентифицировать свои результаты, но не мог идентифицировать результаты других участников. Графики могут быть использованы провайдером или органом по аккредитации для того, чтобы делать выводы об общей эффективности программы проверки квалификации и определения необходимости анализа критерия оценки квалификации.

10.2 Гистограммы результатов или индексов функционирования

10.2.1 Гистограмма представляет собой общий статистический прием, полезный при проведении анализа результатов проверки квалификации с двух точек зрения. Во-первых, график полезен на предварительном этапе анализа для проверки обоснованности статистических предположений или при наличии отклонений, которые невозможно предвидеть, таких как бимодальное распределение, значительная доля выбросов или необычная асимметрия.

Использование гистограмм в отчетах участников полезно для программ проверки квалификации с небольшим или средним количеством участников (менее 100), что дает участникам возможность сопоставить свою работу с результатами других участников: например, с помощью выделения блока данных в вертикальных столбцах, представляющих результаты участников, или (при небольшой группе участников) используя индивидуальные характеристики для каждого участника.

10.2.2 При построении гистограмм могут быть использованы результаты участников или индексы функционирования. Использование результатов участников имеет преимущество, состоящее в том, что они непосредственно связаны с представленными данными и могут быть оценены без дальнейших вычислений и преобразований индекса функционирования в погрешность измерений. Преимущество гистограмм, основанных на индексах функционирования, состоит в том, что они связаны с оценкой функционирования: их можно сравнивать по измеряемым величинам и раундам программы проверки квалификации.

Размах и размеры интервалов, используемых для диаграммы, должны быть определены для каждого набора данных на основе изменчивости и количества результатов. Это можно сделать и на основе данных предыдущих проверок квалификации, но в большинстве случаев после первичного анализа разбиение на интервалы необходимо корректировать. Если при построении гистограммы используют индексы функционирования, полезно применить шкалу на основе стандартного отклонения для оценки квалификации и выделить точки сигналов предупреждения и сигналов к действиям.

10.2.3 Масштаб и интервалы на графике следует выбирать таким образом, чтобы бимодальность (если она присутствует) могла быть обнаружена, не создавая ситуаций появления ложных сигналов тревоги, связанных с разрешающей способностью средств измерений или небольшим количеством результатов.

Примечание 1 - Форма гистограммы зависит от выбранной ширины интервалов и положения их границ (при постоянной ширине интервалов эти положения зависят от начальной точки). Если ширина интервалов слишком мала, то гистограмма будет включать много невысоких столбиков (использование слишком больших интервалов), не обеспечивая существенного различия столбиков по высоте вблизи среднего. Изменение ширины интервалов сразу приводит к изменению их высоты, особенно там, где набор данных мал и/или имеется некоторая группировка данных.

Примечание 2 - Примеры гистограмм приведены в E.3 приложения E.

 

10.3 График ядерной плотности

10.3.1 График ядерной плотности представляет сглаженную кривую, описывающую общую форму плотности распределения набора данных. Для определения ядерной плотности каждую точку данных заменяют заданным распределением (как правило, нормальным) с центром в этой точке и стандартным отклонением ; обычно называют "шириной полосы". Все распределения объединяют и результирующее распределение масштабируют таким образом, чтобы площадь под кривой плотности была равна 1, это позволяет получить оценку плотности, которая представляет собой гладкую кривую.

10.3.2 Для подготовки графика ядерной плотности необходимо выполнить следующие этапы. Предположим, что набор данных X состоит из p значений x₁, x₂, ..., x_p, используемых для построения графика. Обычно это результаты участников, но могут быть индексы функционирования, полученные на основе этих результатов.

i) Выбирают подходящую "ширину полосы" .

Для этого используют два подходящих способа:

a) для общего контроля устанавливают , где s* - робастное стандартное отклонение величин x₁, ..., x_p, вычисленное с использованием процедур, приведенных в C.2 или C.3 приложения C;

b) при проверке набора данных с большими модами, которые имеют важное значение для сопоставления с критериями оценки работы, устанавливают при использовании z-индекса или или при использовании D и D %.

Примечание 1 - Вариант a) предложен Сильверманом [9], который рекомендует выбирать s* на основе нормализованного межквартильного интервала n/QR. Другие правила выбора "ширины столбца" (длины интервала для диаграммы), которые обеспечивают аналогичные результаты, предложенные Скоттом [10], сведены к замене множителя 0,9 на 1,06. В [10] описан близкий к оптимальному, но гораздо более сложный метод выбора ширины столбца. На практике визуальные различия незначительны, и выбор зависит от наличия необходимого программного обеспечения.

Примечание 2 - Вариант b) предложен в руководстве IUPAC [1].

 

ii) Устанавливают на графике значения q_min и q_max так, что , а .

iii) Выбирают количество точек n_k для построения кривой, обычно n_k = 200 достаточно, если нет выбросов в пределах заданного диапазона (q_min, q_max).

iv) Вычисляют положение на графике значений q_i от q₁ до 

 

. (19)

 

v) Вычисляют n_k значений h_i от h₁ до 

 

, (20)

 

где - плотность стандартного нормального распределения.

vi) На график наносят пары значений h_i и q_i.

Примечание 1 - Иногда полезно указать на графике отдельные точки данных. Обычно эти точки наносят под кривой плотности в виде вертикальных черточек ("коврика"), но можно наносить их прямо на кривую плотности.

Примечание 2 - График плотности лучше всего формировать с помощью программного обеспечения. Приведенные этапы вычислений могут быть выполнены посредством электронных таблиц, если объемы данных невелики. Имеющееся в собственности и в свободном доступе программное обеспечение часто включает построение графиков плотности на основе материалов одинаковой ширины по умолчанию. В более современном программном обеспечении для построения графиков плотности могут быть использованы приведенный алгоритм или вычисления, основанные на методах свертки.

Примечание 3 - Примеры графиков ядерной плотности приведены в E.3, E.4 и E.6 приложения E.

 

10.3.3 Форма кривой указывает на распределение, которому принадлежат данные. Моды выглядят в виде пиков, выбросы тоже имеют вид пиков, но удаленных от основного массива данных.

Примечание 1 - График плотности чувствителен к выбранному значению . Если это значение слишком мало, график покажет много небольших возвышений, что может сделать неясным положение истинной моды.

Примечание 2 - Как и в случае гистограмм при составлении графика плотности лучше использовать массивы среднего или большого объема, так как наборы данных небольшого объема (десять и менее) могут включать небольшие выбросы или очевидные моды, в частности, если в качестве основы для выбора ширины столбца использовано робастное стандартное отклонение.

 

10.4 Штриховые графики для стандартизованных индексов функционирования

10.4.1 Штриховые графики подходят для представления индексов функционирования большого количества аналогичных характеристик на одном графике. Эти графики применяют в тех ситуациях, когда существуют общие свойства индексов участника: например, если участник имеет несколько высоких значений z-индекса, указывающих на недостаточное качество работы, то есть участник имеет положительное смещение.

10.4.2 Для подготовки штрихового графика собирают значения стандартизованных индексов функционирования и отражают их на графике, как показано на рисунке E.10 приложения E, для каждого участника индексы объединяют в одну группу. Другие стандартизованные индексы функционирования, такие как D % и P_A, могут быть нанесены на график для тех же целей.

10.4.3 Если в раунде программы проверки квалификации выполняют репликации измерений, результаты могут быть использованы для расчета и составления графика меры прецизионности, например k-статистики в соответствии с ГОСТ Р ИСО 5725-2 или с масштабированной мерой стандартного отклонения робастного среднего, так как это определено в алгоритме S (см. C.4 приложения C).

Примечание - Пример штрихового графика для z-индексов приведен в E.11 приложения E.

 

10.5 График Юдена

10.5.1 Если в раунде проверки квалификации были проверены два аналогичных образца, то график Юдена обеспечивает очень информативный графический метод исследования результатов. Этот график может быть полезен для демонстрации коррелированности (или независимости) результатов на различных образцах исследования причин появления сигналов к действиям.

10.5.2 На график наносят результаты участника или z-индексы, полученные на одном образце проверки квалификации, вместе с результатами, или z-индексы, полученные на другом образце. Для облегчения интерпретации на график наносят вертикальную и горизонтальную линии, которые делят плоскость на четыре квадранта. Линии проходят через приписанные значения или медианы для двух распределений результатов, или через 0 при использовании z-индексов.

Примечание - Для правильной интерпретации графика Юдена важно, чтобы два используемых в проверке образца имели аналогичные (или идентичные) уровни измеряемой величины; это объясняется тем, что природа систематической погрешности измерений одна и та же в интервале измерений. Графики Юдена могут быть полезны для различных уровней измеряемой величины при наличии последовательной систематической погрешности, но могут ввести в заблуждение, если ошибка калибровки не является последовательно положительной или отрицательной по всей области уровней измеряемой величины.

 

10.5.3 После построения графика Юдена проводят его анализ. Для этого проверяют график:

a) на наличие точек, которые отличаются от остальных данных. Если участник некорректно использует метод испытаний, то его результаты имеют систематическую погрешность, и точки находятся далеко от остальных, в нижнем левом или верхнем правом квадранте. Точки, отстоящие далеко от остальных и находящиеся в верхнем левом и нижнем правом квадрантах, представляют участников, у которых повторяемость выше, чем у большинства участников; методы измерений показывают различную чувствительность к компонентам образцов или то (иногда), что участники случайно перепутали образцы;

b) предмет выявления признаков взаимосвязи между результатами образцов для проверки квалификации (например, все точки находятся приблизительно вокруг наклонной линии). Если признаки взаимосвязи существуют, это означает, что у участников существуют смещения, на которые одинаково воздействуют образцы. Если же никакой зависимости между результатами не наблюдается (все точки расположены внутри окружности, обычно с более высокой плотностью в центре), то погрешности измерений для двух образцов в значительной степени независимы. Если визуального анализа недостаточно, зависимость можно проверить с помощью статистики ранговой корреляции;

c) участников точек, расположенных по диагонали или другим упорядоченным способом, для закрытых групп. Наличие таких точек указывает на различия в методах.

Примечание 1 - Если в исследованиях все участники используют один и тот же метод или графики результатов получены по единственному методу, а результаты лежат вдоль прямой линии, это означает, что метод измерений не был установлен должным образом. Исследование метода испытаний может позволить улучшить общую воспроизводимость метода.

Примечание 2 - Пример графика Юдена приведен в E.12 приложения E.

 

10.6 Графики стандартных отклонений повторяемости

10.6.1 Если участниками раунда программы проверки квалификации выполнены репликации измерений, результаты могут быть использованы для построения графика идентификации всех участников, у которых выборочное среднее и стандартное отклонения существенно отличаются от остальных.

10.6.2 На графике изображают внутрилабораторное стандартное отклонение s_i для каждого участника в зависимости от соответствующего выборочного среднего x_i участника. В качестве альтернативы вместо стандартного отклонения может быть использован размах репликаций.

Пусть

x* - робастное среднее значений x₁, x₂, ..., x_p, вычисленное в соответствии с алгоритмом A;

w* - робастное объединенное значение величин s₁, s₂, ..., s_p, вычисленное в соответствии с алгоритмом S.

Предположим, что данные подчиняются нормальному распределению. Для нулевой гипотезы (результаты лабораторий относятся к одной генеральной совокупности, или не существует различий между лабораториями по внутрилабораторным средним или стандартным отклонениям) статистика

 

. (21)

 

имеет распределение, близкое к с двумя степенями свободы. Следовательно, критическую область с уровнем значимости приблизительно 1% можно изобразить на графике, откладывая

 

(22)

 

по оси стандартного отклонения в точках на оси среднего x из интервала

 

. (23)

 

Примечание - Данная процедура основана на методике, предложенной Нуландом в [11]. Для распределения стандартного отклонения в методе Нуланда использовано обычное нормальное распределение, что может образовать критическую область, содержащую отрицательные стандартные отклонения. Приведенный метод использует приближение для распределения стандартного отклонения, которое исключает эту возможность, но критическая область уже не является эллипсом, как в оригинале. Кроме того, для центральной точки использованы робастные значения вместо простых выборочных средних, как в оригинале.

 

10.6.3 График может выявить участников, в результатах которых смещение в условиях повторяемости слишком велико. Если количество репликаций достаточно велико, этот метод может также идентифицировать участников, у которых повторяемость очень мала. Однако поскольку количество репликаций, как правило, невелико, интерпретация подобных случаев затруднена.

Примечание - Пример графика стандартных отклонений повторяемости приведен в E.13 приложения E.

 

10.7 Разделенные пробы

10.7.1 Разделенные пробы используют при необходимости для выполнения детального сравнения двух участников или в том случае, когда проверка квалификации невозможна и требуется внешняя верификация. Получают пробы нескольких материалов, представляющих широкую амплитуду исследуемых свойств. Каждую пробу разбивают на две части, и каждая лаборатория выполняет несколько (не менее двух) репликаций измерений на каждой пробе.

В том случае, если количество участников более двух, одну из лабораторий следует рассматривать как экспертную, а другие лаборатории сопоставляют свои результаты с ее результатами описанным ниже методом.

Примечание 1 - Этот метод исследования является общим, иногда его называют по-другому - "метод парных сравнений" или "метод двусторонних сравнений".

Примечание 2 - План эксперимента разделенных проб не следует путать с планом эксперимента с разделенным уровнем, описанным в стандартах серии ГОСТ Р ИСО 5725, когда участникам поставляют два образца, немного отличающихся по уровням.

 

10.7.2 Данные эксперимента с разделенной пробой следует использовать для построения графиков, отображающих различия между репликациями измерений, для каждого из двух участников и средними результатами участников для каждой пробы. Двумерные графики с использованием полного диапазона концентраций могут иметь такую шкалу, которая затруднит идентификацию важных различий между участниками, в этом случае более полезными могут быть графики различий или процентов различий между результатами двух участников. Дальнейший анализ зависит от сделанных выводов.

10.8 Графические методы объединения индексов после нескольких раундов программы проверки квалификации

10.8.1 При необходимости объединения стандартизованных индексов функционирования по результатам нескольких раундов программы проверки квалификации провайдер проверки квалификации может рассмотреть подготовку графиков в соответствии с 10.8.2 или 10.8.3. Использование графиков, в которых индексы функционирования для нескольких раундов программы проверки квалификации объединены, может допускать наличие трендов и других особенностей результатов, которые необходимо идентифицировать и которые не могут быть выявлены при исследовании индексов в каждом раунде отдельно.

Примечание - При использовании "текущих индексов" или "накопленных индексов", в которых объединены индексы функционирования, полученные участником в нескольких раундах программы проверки квалификации, индексы следует отобразить на графике. Участник может иметь несоответствие, которое обнаруживается при работе с образцом для проверки квалификации в одном раунде, но не обнаруживается в других раундах; "бегущий индекс" может скрыть это несоответствие. Тем не менее в некоторых случаях (например, при частом повторении раундов) "сглаживание" случайных выбросов индексов может быть полезным для более наглядной демонстрации основных показателей.

 

10.8.2 Контрольная карта Шухарта является эффективным методом идентификации проблем, вызывающих большие отклонения значений z-индекса. Рекомендации по построению карт Шухарта и правила построения границ действия приведены в ГОСТ Р ИСО 7870-2.

10.8.2.1 Для подготовки карты Шухарта стандартизованные индексы, такие как z-индексы или P_A-индексы, для участника наносят на карту в виде отдельных точек вместе с границами зон предупреждения и действия в соответствии с программой проверки квалификации. Если в каждом раунде измеряют несколько характеристик, индексы для различных характеристик могут быть представлены на одном графике, но точки для различных характеристик должны быть нанесены с использованием различных символов и/или различных цветов. Если в один раунд проверки включено несколько образцов проверки квалификации, индексы функционирования могут быть нанесены в виде нескольких точек в каждый момент времени. В этом случае на график можно добавить линию, соединяющую средние индексы в каждый момент времени.

10.8.2.2 Обычно правило интерпретации контрольной карты Шухарта состоит в том, что наблюдаемое значение считают выходящим за установленные границы зоны сигнала к действиям, если:

a) единственная точка выходит за пределы зоны сигнала к действиям (+/- 3,0 для z-индексов или 100% для P_A);

b) две из трех последовательных точек лежат вне зоны сигнала предупреждения (+/- 2,0 для z-индексов или 70% для P_A);

c) шесть последовательных результатов либо все положительны, либо все отрицательны.

10.8.2.3 Если контрольная карта Шухарта показывает, что наблюдаемая характеристика выходит за установленные границы, участник должен исследовать возможные причины этого явления.

Примечание - Стандартное отклонение для оценки квалификации не обязательно является стандартным отклонением разностей (x_i - x_pt), так что уровни вероятностей, которые обычно соответствуют границам зон предупреждения и действия карт Шухарта, не могут быть применены.

 

10.8.3 Если уровень характеристики свойства изменяется от одного раунда программы проверки квалификации к другому, графики стандартизованных индексов функционирования, таких как z-индексы или P_A-индексы, в зависимости от приписанного значения будут это отражать, если смещение результатов участника изменяется вместе с уровнем. Если более чем один образец включается в один и тот же раунд, индексы функционирования могут быть представлены на графике независимо.

Примечание 1 - Может быть полезным отмечать на карте результаты текущего раунда другим символом или цветом, чтобы их отличать от предыдущих раундов.

Примечание 2 - Пример такой карты с использованием P_A-индекса приведен в E.14 приложения E. Такую карту легко использовать и для z-индекса. Только изменения надо наносить по вертикальной шкале.