ГОСТ Р 8.883-2015. Национальный стандарт Российской Федерации. Государственная система обеспечения единства измерений. Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний

6.5. Оценка влияния программного обеспечения и его алгоритмов на метрологические характеристики средств измерений

6.5.1 Оценка влияния ПО и его алгоритмов на МХ СИ определяется методикой испытаний и может включать в себя:

- анализ ПО и его алгоритмов (например, адекватность измерительной задаче, их сложность и возможность использования при разработке опорного ПО и т.д.);

- определение критерия оценки влияния ПО на метрологические характеристики СИ (например, значение вклада ПО в суммарную погрешность (неопределенность) СИ, значение относительного отличия тестовых результатов вычислений от опорных и т.п.);

- выбор (или разработку) опорного ПО;

- выбор (определение) исходных данных и/или их получение методом генерации или другими методами;

- получение результатов обработки исходных данных в тестируемом ПО (получение тестовых результатов);

- получение опорных результатов;

- получение оценки влияния ПО на метрологические характеристики СИ посредством обработки результатов тестирования (сравнения тестовых результатов с опорными);

- дополнительные исследования свойств, параметров и характеристик используемых алгоритмов (область устойчивости, время, затрачиваемое на обработку результатов измерений, и т.п.).

6.5.2 Основными методами, применяемыми при оценке влияния ПО на МХ СИ, являются:

- испытания с применением опорного ПО;

- в отсутствие опорного ПО - испытания с использованием моделей исходных данных либо с применением метода генерации "эталонных" данных;

- при наличии нескольких ПО сопоставимого уровня вычислительных возможностей и в отсутствие опорного ПО - сличения, подобные сличению "эталонных" СИ;

- испытания на основе анализа исходного кода ПО, а также комбинации указанных методов.

Метод оценки влияния ПО на МХ СИ выбирают с учетом наличия или возможности разработки того или иного вида опорного ПО, а также возможности применения указанных методов в каждом конкретном случае.

6.5.3 Испытания с применением опорного ("эталонного") ПО

6.5.3.1 Данный метод испытаний применяют при наличии опорного ("эталонного") ПО, с помощью которого могут быть идентично воспроизведены функции тестируемого ПО.

6.5.3.2 В качестве опорного ("эталонного") ПО может быть применено:

- ПО СИ, прошедшее испытания (утвержденное ПО), функциональное назначение которого аналогично тестируемому ПО;

- специально разработанное ПО с функциями, идентичными тестируемому;

- ПО для решения задач технических вычислений (например, электронные таблицы, ПО для математических и статистических вычислений и т.д.).

6.5.3.3 К разработке опорного ПО прибегают в тех случаях, когда сертифицируемое ПО является не очень сложным, а его алгоритмы достаточно просты. Это означает, что затраты на разработку опорного ПО должны быть сопоставимыми со стоимостью работ по испытаниям ПО. Данный метод позволяет максимально учитывать особенности тестируемого ПО, а также МХ соответствующего СИ, и может быть рекомендован как основной метод при испытаниях встроенного ПО.

6.5.3.4 Разрабатываемое опорное ПО может содержать только метрологически значимые функции и параметры. В некоторых случаях могут не учитываться особенности графического интерфейса пользователя, а также функции, не участвующие в обработке результатов измерений (например, функции отображения, хранения данных и т.д.).

6.5.4 Испытания с использованием моделей исходных данных

6.5.4.1 Метод испытаний с использованием моделей исходных данных в соответствии с рекомендациями [3] следует использовать для тестирования алгоритмов обработки результатов измерений. Метод позволяет оценивать возможности тестируемых алгоритмов сравнением результатов обработки ими моделей исходных данных с самими моделями, параметры которых заданы (известны).

6.5.4.2 Метод моделей исходных данных является разновидностью метода генерации "эталонных" данных, когда эти данные не генерируются специально разработанной программой, а программно задаются на входе испытываемого ПО. Модели исходных данных выбирают таким образом, чтобы они максимально соответствовали частной измерительной задаче, решаемой тестируемыми алгоритмами.

6.5.4.3 В модели исходных данных могут быть включены:

- данные, указанные в разделе 4 рекомендаций [3];

- данные, полностью перекрывающие диапазон возможных значений;

- данные, близкие к наибольшим и наименьшим значениям, а также ряд промежуточных значений;

- особые значения входных переменных - точки резкого возрастания или разрыва производных, нулевые, единичные и предельно малые численные значения переменных и т.п.

6.5.4.4 Если значения некоторой переменной зависят от значения другой переменной, то испытания проводят при особых сочетаниях этих переменных, таких как равенство обеих переменных, малое и предельно большое их различие, нулевые и единичные значения и т.п.

6.5.5 Генерация "эталонных" наборов данных

6.5.5.1 Метод генерации "эталонных" наборов данных, как и метод моделей исходных данных, применяется как альтернатива использованию опорного ПО в случае его отсутствия или невозможности использования при оценке отдельных функций, реализуемых испытываемым ПО. Необходимым условием применения метода генерации "эталонных" данных является наличие априорной информации о модельном решении соответствующей измерительной задачи. С этим модельным решением проводится сравнение тестовых результатов.

6.5.5.2 "Эталонные" данные получают путем генерации таких данных с помощью специально разработанной программы - генератора "эталонных" данных, который представляет собой алгоритм, предназначенный для моделирования "эталонных" данных на основе выбранных (заданных) исходных данных.

Генератор "эталонных" данных реализуют на одном из языков программирования или при помощи стандартного математического или статистического программного пакета.

6.5.5.3 Исходные данные для тестирования, в том числе и для генерации "эталонных" данных, формируют с учетом свойств программно реализованных алгоритмов.

6.5.6 Сличение ПО

При наличии нескольких программ сопоставимого уровня вычислительных возможностей и в отсутствие опорного ("эталонного") ПО рекомендуется проводить сличение таких программ, когда на их входы подаются согласованные одинаковые наборы "эталонных" данных и производится сравнение соответствующих результатов испытаний. При этом результаты сличения признают удовлетворительными, если различия в результатах испытаний не выходят за пределы согласованного допуска.

Примечание - Примером программ, указанных в 6.5.6.1, являются программы расчета параметров расходомеров на основе стандартных сужающих устройств по стандартам серий ГОСТ 8.586 <1> и ГОСТ 30319 <2>. Это сложные программы, основанные в ряде случаев на громоздких формулах и математических соотношениях и использующие эмпирические данные о свойствах проходящих через расходомеры сред, которые в разных программах выбираются с разной точностью либо вычисляются с помощью различных интерполяционных процедур и т.п. В этих условиях выбрать среди этих программ или разработать опорную программу не представляется возможным. Ввиду сложности таких программ не удается также применить методы моделей исходных данных или генерации "эталонных" данных.

--------------------------------

<1> Серия стандартов ГОСТ 8.586 "Государственная система обеспечения единства измерений. Измерение расхода и количества жидкостей и газов с помощью стандартных сужающих устройств (части 1 - 5)".

<2> Серия стандартов ГОСТ 30319 "Газ природный (части 0 - 3)".

 

6.5.7 Тестирование алгоритмов на основе анализа исходного кода ПО

6.5.7.1 При тестировании алгоритмов на основе анализа исходного кода ПО проверяют:

- соответствие структуры алгоритмов представленной документации;

- правильность записи алгоритмов на выбранном языке программирования;

- адекватность выбранных алгоритмов измерительной задаче (в частности, выявление неустойчивых алгоритмов).

6.5.7.2 При проверке соответствия структуры алгоритмов представленной документации по тексту программы могут быть составлены блок-схемы реализуемых алгоритмов, которые сравнивают с алгоритмами, изложенными в документации. В случае нахождения различий в структуре алгоритмов проводится дополнительный анализ элементов блок-схем, в которых обнаружены различия.

6.5.7.3 Проверяют правильность записи алгоритмов на выбранном языке программирования. При этом устанавливаются соответствие кода правилам программирования, наличие неопределенных переменных и операторов, правильность организации циклов и т.д.

6.5.7.4 Соответствие выбранных алгоритмов измерительной задаче может быть осуществлено путем математического анализа программно реализованных алгоритмов. При этом могут исследоваться логические и точностные характеристики реализованных алгоритмов, в частности анализироваться пригодность и оптимальность примененных численных методов решения измерительной задачи.

6.5.8 Представление результатов оценки влияния программного обеспечения и его алгоритмов на метрологические характеристики средств измерений

6.5.8.1 На основе используемых методов оценки влияния ПО на МХ СИ, описанных в 6.5.3 - 6.5.7, рассчитывают характеристики вычислительной точности алгоритмов, осуществляющих расчеты при обработке измерительной информации, например, его исполнительную характеристику или относительное отличие результатов вычислений от опорных.

Могут быть оценены и другие характеристики алгоритмов, такие как их сложность, скорость исполнения, адекватность измерительной задаче, выбор численной схемы расчета, коэффициент обусловленности (устойчивости), область устойчивости и т.п.

6.5.8.2 Исполнительная характеристика алгоритма

Исполнительную характеристику алгоритма вычисляют по формуле:

 

(1)

 

где k(x) - коэффициент обусловленности (устойчивости) (для устойчивых алгоритмов );

- машинная относительная предельная точность вычислений ;

- норма (длина) вектора отличия тестовых результатов от опорных;

- норма опорных ("эталонных") результатов.

Например, если в процессе вычислении получено m тестовых результатов , , ..., и опорных ("эталонных") , , ..., , то норма вычисляется по формуле:

 

 

норма опорных ("эталонных") результатов - по формуле:

 

 

Исполнительная характеристика показывает число потерянных цифр точности в тестируемом ПО по сравнению с опорным ("эталонным").

6.5.8.3 Исполнительная характеристика, определенная формулой (1), зависит, в частности, от величины:

 

(2)

 

которая характеризует относительное отличие результатов вычислений от опорных ("эталонных"). Эта величина может рассматриваться как одна из количественных характеристик алгоритмов. Иногда ее удобно выражать в процентах.

Для единичного результата вычислений (m = 1) формула (2) упрощается и принимает вид:

 

(3)

 

Примечание - Исполнительную характеристику (1) можно применять также для нахождения числа потерянных цифр точности в результатах испытаний по сравнению с любыми другими результатами, используемыми для сравнения с ними (модельными, сгенерированными и т.п.). Это примечание относится также к величине, определяемой формулами (2) и (3).

 

6.5.8.4 Критерии, которым должны удовлетворять определенные и оцененные характеристики алгоритмов ПО, а также допускаемые значения характеристик могут быть установлены на основе требований к точности решения измерительной задачи (при их наличии), точности выполняемых расчетов (степени округления) и т.п. Критерии и допуски на значения характеристик фиксируются в методике испытаний и согласовываются с ее заказчиком.

6.5.8.5 Все определенные и оцененные характеристики и свойства алгоритмов вносят в протокол испытаний.

6.5.8.6 Перечень характеристик испытываемого ПО может корректироваться соглашением между организацией, проводящей испытания, и заказчиком сертификации.