ГОСТ ISO 12099-2017. Межгосударственный стандарт. Корма, зерно и продукты его переработки. Руководство по применению спектрометрии в ближней инфракрасной области

6. Статистики для определения рабочих характеристик

 

6.1 Общие положения

Рабочие характеристики градуировочной модели определяют по выборке проб для валидации. Эта выборка состоит из проб, независимых от градуировочной выборки. На предприятии это новые партии, в сельском хозяйстве - это новый урожай или новое место проведения исследования.

Выборку проб анализируют стандартными методами. Анализу проб для валидации необходимо уделить особое внимание, т.к. прецизионность результатов выборки для валидации важнее, чем для проб, используемых на этапе градуировки.

Для вычисления статистики с определенной достоверностью число проб для валидации должно быть не менее 20.

6.2 Построение графика по результатам

Важно визуализировать результаты в графиках, например, в графике зависимости опорных значений от прогнозируемых или разностей от прогнозируемых значений.

Разность вычисляют по формуле

 

, (1)

 

где y_i - i-тое опорное значение;

- i-тое прогнозируемое значение, полученное при использовании многофакторной ИК-модели.

Вычисление разностей дает положительную систематическую погрешность, если прогнозируемые значения слишком высоки, и отрицательную, если прогнозируемые значения слишком низки по сравнению с опорными значениями.

График дает промежуточное впечатление о корреляции, систематической погрешности, наклоне и показывает наличие очевидных выбросов (см. рисунок 1).

 

 

1 - линия 45° (идеальная линия с систематической

погрешностью , коэффициентом наклона b = 1);

2 - линия 45°, смещенная систематической погрешностью ;

3 - линия линейной регрессии с отсекаемым отрезком y_ref a;

4 - выбросы; a - отрезок; - систематическая погрешность;

y_NIRS - прогнозируемое значение в ближней ИК-области

спектра; y_ref - опорное значение

 

Примечание - Выбросы имеют сильное влияние на расчет наклона и подлежат исключению, если результаты предполагается использовать для корректировки.

 

Рисунок 1 - График рассеяния для выборки

для валидации, y_ref = f(a + by_NIRS)

 

6.3 Систематическая погрешность

Для ИК-моделей характерна систематическая погрешность (смещение) или систематическая ошибка. Систематическая погрешность может возникать, если анализируемые пробы являются новым типом проб и не были предусмотрены моделью, а также за счет дрейфа прибора, отклонений в химических методах, изменений в отборе и подготовке проб.

Систематическая погрешность (или смещение) является средней разностью , и ее можно вычислить по формулам

 

, (2)

 

где n - количество независимых проб;

e_i - разность, определенная по формуле (1), для i-той пробы;

или

 

, (3)

 

где n - количество независимых проб;

y_i - i-тое опорное значение;

- i-тое прогнозируемое значение, полученное при использовании многофакторной ИК-модели;

- среднее из опорных значений;

- среднее из прогнозируемых значений.

Значимость систематической погрешности проверяют с помощью t-критерия. Предельные значения для принятия или отклонения модели на небольшой выборке проб из нового множества определяют на основе доверительных пределов систематической погрешности (BCLs) T_b, вычисленных по формуле

 

, (4)

 

где t - t-критерий Стьюдента для двустороннего отклонения со степенями свободы, связанными с SEP, и выбранной вероятности ошибки первого типа, значения t-критерий Стьюдента приведены в таблице 1;

- вероятность появления ошибки первого типа;

n - количество независимых проб;

s_SEP - стандартная ошибка прогноза (см. 6.5).

Пример - При n = 20 и s_SEP = 1 пределы будут равны

 

(5)

 

Это означает, что систематическая погрешность, полученная на 20 пробах, не должна быть выше 48% от стандартной ошибки прогноза, которая должна считаться отличной от нуля.

 

Таблица 1

 

Значения t-распределения с вероятностью (5%)

 

n	t
5	2,57
6	2,45
7	2,36
8	2,31
9	2,26
10	2,23
11	2,20
12	2,18
13	2,16
14	2,14
15	2,13
16	2,12
17	2,11
18	2,10
19	2,09
20	2,09
30	2,04
40	2,02
50	2,01
75	1,99
100	1,98
200	1,97
500	1,96
1000	1,96
Примечание - Допускается использовать функцию Excel <1> TINV

 

--------------------------------

<1> Excel - торговое наименование продукта, поставляемого компанией Microsoft. Эта информация дается для удобства пользователей данного стандарта и не указывает на предпочтение в отношении этого продукта. Можно использовать равноценные продукты при условии получения аналогичных результатов.

 

6.4 Среднеквадратическая ошибка прогноза (RMSEP)

Среднеквадратическую ошибку прогноза s_RMSEP (см. C.3.6, приложение C) вычисляют по формуле

 

(6)

 

где e_i - разность, определенная по формуле (1), для i-той пробы;

n - количество независимых проб.

Это значение можно сравнить со стандартной ошибкой градуировки SEC (см. C.3.3, приложение C) и со стандартной ошибкой перекрестной проверки SECV (см. C.3.4, приложение C).

RMSEP включает случайную ошибку (SEP) и систематическую погрешность (смещение). Она также включает погрешность стандартных методов (SEC и SECV, см. приложение C).

 

, (7)

 

где n - количество независимых проб;

s_SEP - стандартная ошибка прогноза (см. 6.5);

- смещение или систематическая ошибка.

Не существует прямого определения RMSEP. По этой причине выделяют систематическую ошибку, смещение или , и случайную ошибку, SEP или s_SEP.

6.5 Стандартная ошибка прогноза (SEP)

Стандартную ошибку прогноза s_SEP, или стандартное отклонение разностей, которая выражает точность результатов, полученных ИК-методом, скорректированных по средней разности (смещению) между результатами, полученными ИК-методом и стандартным методом, вычисляют по формуле

 

(8)

 

где n - количество независимых проб;

e_i - разность, определенная по формуле (1), i-той пробы;

- систематическая ошибка или смещение.

Ошибку SEP следует сопоставить с SEC (см. C.3.3, приложение C) или SECV (см. C.3.4, приложение C) для проверки надежности градуировочной модели для выбранной выборки для валидации.

Доверительные пределы необъяснимой ошибки (UECL_s) T_UE, рассчитывают из F-критерия (отношение двух дисперсий) (см. [19] и таблицу 2)

 

, (9)

 

где s_SEC - стандартная ошибка градуировки (см. C.3.3, приложение C);

- вероятность появления ошибки первого типа;

v = n - 1 - числитель степеней свободы, связанных с SEP анализируемой выборки, в которой n - число проб в процессе валидации;

M = n_c - p - 1 - знаменатель степеней свободы, связанных с SEC (стандартной ошибкой градуировки), в котором n_c - количество проб для градуировки; p - количество членов или факторов PLS в модели.

Примечания

1 SEC можно заменить на SECV, которая статистически лучше, чем SEC, поскольку зачастую SEC слишком оптимистична, s_SECV > s_SEC.

Пример - При n = 250, , М = 100 и s_SEC = 1, Т_UE = 1,30 (10)

Это означает, что для 20 проб SEP может быть принята, т.к. примерно на 30% больше, чем SEC.

2 Допускается использовать функцию Excel <1> FINV.

--------------------------------

<1> Excel - торговое наименование продукта, поставляемого компанией Microsoft. Эта информация дается для удобства пользователей данного стандарта и не указывает на предпочтение в отношении этого продукта. Можно использовать равноценные продукты, при условии получения аналогичных результатов.

 

F-критерий нельзя использовать для сравнения двух градуировок на одной и той же выборке для валидации. Необходимо использовать, две независимые выборки. Для сравнения двух и более моделей на одной и той же выборке данных применяют другой критерий.

 

Таблица 2

 

F-значения и корни квадратные из F-значений

как функция степеней свободы числителя, связанного

с SEP, и знаменателя, связанного с SEC

 

Степени свободы (SEP)	Степени свободы (SEC)					Степени свободы (SEC)
	50	100	200	500	1000	50	100	200	500	1000
5	2,40	2,31	2,26	2,23	2,22	1,55	1,52	1,50	1,49	1,49
6	2,29	2,19	2,14	2,12	2,11	1,51	1,48	1,46	1,45	1,45
7	2,20	2,10	2,06	2,03	2,02	1,48	1,45	1,43	1,42	1,42
8	2,13	2,03	1,98	1,96	1,95	1,46	1,43	1,41	1,40	1,40
9	2,07	1,97	1,93	1,90	1,89	1,44	1,41	1,39	1,38	1,37
10	2,03	1,93	1,88	1,85	1,84	1,42	1,39	1,37	1,36	1,36
11	1,99	1,89	1,84	1,81	1,80	1,41	1,37	1,36	1,34	1,34
12	1,95	1,85	1,80	1,77	1,76	1,40	1,36	1,34	1,33	1,33
13	1,92	1,82	1,77	1,74	1,73	1,39	1,35	1,33	1,32	1,32
14	1,89	1,79	1,74	1,71	1,70	1,38	1,34	1,32	1,31	1,30
15	1,87	1,77	1,72	1,69	1,68	1,37	1,33	1,31	1,30	1,29
16	1,85	1,75	1,69	1,66	1,65	1,36	1,32	1,30	1,29	1,29
17	1,83	1,73	1,67	1,64	1,63	1,35	1,31	1,29	1,28	1,28
18	1,71	1,71	1,66	1,62	1,61	1,30	1,31	1,29	1,27	1,27
19	1,80	1,69	1,64	1,61	1,60	1,34	1,30	1,28	1,27	1,26
29	1,69	1,58	1,52	1,49	1,48	1,30	1,35	1,23	1,22	1,22
49	1,60	1,48	1,42	1,38	1,37	1,27	1,22	1,19	1,17	1,17
99	1,53	1,39	1,32	1,28	1,26	1,24	1,18	1,15	1,13	1,12
199	1,48	1,34	1,26	1,21	1,19	1,22	1,16	1,12	1,10	1,09
499	1,46	1,31	1,22	1,16	1,13	1,21	1,14	1,11	1,08	1,07
999	1,45	1,30	1,21	1,14	1,11	1,20	1,14	1,10	1,07	1,05

 

6.6 Наклон

В публикациях по спектроскопии часто указывают значение b коэффициента простой регрессии .

Необходимо отметить, что с опорными значениями коэффициент b должен вычисляться как зависимая переменная, а с прогнозируемыми ИК-значениями как независимая переменная, если вычисленный наклон будет использоваться для регулировки ИК-результатов (как в случае обратной многофакторной регрессии, используемой для построения модели прогноза).

Наклон рассчитывают методом наименьших квадратов:

 

, (11)

 

где - ковариация между опорными и прогнозируемыми значениями;

- дисперсия n прогнозируемых значений.

Отсекаемый отрезок рассчитывают по формуле

 

, (12)

 

где - среднеарифметическое значение опорных значений;

b - коэффициент наклона;

- среднеарифметическое значение прогнозируемых значений.

Что касается систематической погрешности, то t-критерий можно рассчитать для проверки гипотезы, что b = 1

 

, (13)

 

где n - количество независимых проб;

- дисперсия n прогнозируемых значений;

s_res - стандартное отклонение разности, вычисленное по формуле (14).

Стандартное отклонение разности s_res вычисляют по формуле

 

(14)

 

где y_i - i-тое опорное значение;

a - отсекаемый отрезок, вычисленный по формуле (12);

b - коэффициент наклона, вычисленный по формуле (11);

- i-тое прогнозируемое значение, полученное при использовании многофакторной ИК-модели;

n - количество независимых проб.

(RSD подобна SEP, когда прогнозируемые значения скорректированы на коэффициент наклона и отсекаемый отрезок. Не следует путать смещение и отсекаемый отрезок - см. рисунок 1). Смещение равно отсекаемому отрезку только в том случае, когда коэффициент наклона точно равен единице.

Коэффициент наклона b считается отличным от 1, если ,

где t_obs - наблюдаемое t-значение, вычисленное по формуле (13);

- t-значение, полученное из таблицы 1 для вероятности (5%).

Слишком узкий диапазон градуировки или неравномерное распределение ведет к неприемлемой коррекции наклона, даже когда SEP достоверна. Наклон можно корректировать, только если выборка для валидации охватывает большую часть диапазона градуировки.

Пример - Для n = 20 проб со стандартным отклонением разности [см. формула (14)] равным 1, стандартным отклонением прогнозируемых значений и рассчитанным коэффициентом наклона b = 1,2, наблюдаемое значение t_obs равно 1,7, тогда коэффициент наклона незначительно отличается от 1, поскольку t-значение (см. таблицу 1) для n = 20 проб равно 2,09. Если коэффициент наклона составляет 1,3, то значение t_obs равно 2,6, и тогда коэффициент наклона значительно отличается от 1.