ГОСТ Р ИСО/МЭК 25023-2021. Национальный стандарт Российской Федерации. Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Измерения качества системы и программной продукции

8.3 Показатели эффективности работы

Показатели эффективности работы используются для оценки эффективности работы относительно объема ресурсов, используемых в указанных условиях. Ресурсы могут включать другие программные продукты, программную и аппаратную конфигурацию системы, а также материалы (например, печатную бумагу, носители данных).

Примечания

1 Значение показателя эффективности работы зависит от условий использования, таких как нагрузка во время обработки данных, частота использования, количество соединительных узлов и так далее. Поэтому показатели эффективности работы могут включать отношение расчетного или измеренного значения с колебаниями погрешности к расчетному значению с допустимым диапазоном колебаний погрешности, требуемым спецификацией. Рекомендуется перечислить и исследовать роль, которую играют факторы, такие как мощности центрального процессора и объем памяти, используемые другим программным продуктом, сетевым трафиком и запланированными фоновыми процессами. Для сравнения со спецификацией требований могут быть определены возможные колебания и действительные диапазоны для оцененных или измеренных значений.

2 Также рекомендуется определить задачу, подходящую для измерения потенциальных возможностей или уровня производительности; например, транзакция как задача для бизнес-приложения, коммутация или пакет данных, отправленные в качестве задач для коммуникационных приложений, управление событием как задача для приложения управления и вывода данных, функция вызова как задача для приложения обычного пользователя.

8.3.1 Показатели временных характеристик

Показатели временных характеристик, приведенные в таблице 4, используются для оценки того, в какой степени время реакции и время обработки, а также уровни пропускной способности продукта или системы при выполнении ее функций отвечают требованиям.

Таблица 4

Показатели временных характеристик

ID	Имя	Описание	Функция измерения
PTb-1-G	Среднее время отклика	Каково среднее время отклика системы на задание пользователя или системы?	, где A_i - время, затраченное системой на решение определенного задания пользователя или системы; n - число ответов в измерении
PTb-2-G	Корректность времени отклика	Соответствует ли время отклика системы определенной цели?	X = A/B, где A - среднее время отклика, соответствующее PTb-1-G; B - эталонное время отклика
Примечания 1 Приемлемыми считаются наименьшие значения, меньшие или равные 1. 2 Временем отклика является время, прошедшее с момента отправки запроса до получения ответа, а именно до начала отправки ответа системой. 3 Альтернативой этому показателю является N-й процент времени отклика при ожидаемых условиях нагрузки. Его также полезно применять к отдельным функциям или классам функций.
PTb-3-G	Среднее время обработки	Каково среднее время завершения системой задачи или асинхронной задачи?	, где A_i - время запуска задачи; B_i - время завершения задачи
PTb-4-G	Корректность времени обработки	Соответствует ли время обработки определенной цели?	X = A/B, где A - среднее время обработки, соответствующее PTb-3-G; B - эталонное время обработки
Примечания 1 Приемлемыми считаются наименьшие значения, меньшие или равные 1. 2 В случае цепочки систем необходимо оценивать затраченное время в каждом элементе цепочки. Критические участки могут негативно влиять на время обработки всей цепочки в целом. 3 Рекомендуется производить измерения данного показателя с использованием эталонных наборов данных.
PTb-5-G	Средняя пропускная способность	Каково среднее количество задач, решенных системой за единицу времени?	, где A_i - число задач, решенных за i-й промежуток времени; B_i - промежуток времени; n - число наблюдений
Примечания 1 Под задачами могут пониматься микропроцессорные операции транзакции, или абстракции более высокого уровня, такие как функции. Результаты измерения данного показателя могут использоваться в различных контекстах и трактоваться соответствующе. 2 Средняя пропускная способность может сравниваться с установленным значением для подсчета достаточности пропускной способности. В таком случае значение показателя должно превышать 1.

8.3.2 Показатели использования ресурсов

Показатели использования ресурсов, приведенные в таблице 5, используются для оценки того, в какой степени объемы и типы ресурсов, используемых продуктом или системой при выполнении своих функций, соответствуют требованиям.

Таблица 5

Показатели использования ресурсов

ID	Имя	Описание	Функция измерения
PRu-1-G	Среднее использование ресурса процессора	Сколько процессорного времени затрачивается на решение набора задач в сравнении с суммарным временем выполнения?	, где A_i - процессорное время, затраченное на решение набора задач в промежуток I; B_i - время выполнения задач в промежуток I; n - число наблюдений
Примечание - Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим.
PRu-2-G	Среднее использование ресурса памяти	Какой объем памяти используется при решении набора задач в сравнении с суммарным доступным объемом памяти?	, где A_i - объем памяти, затраченный на решение набора задач для обработки i-го образца; B_i - объем памяти, доступной для выполнения задач во время обработки i-го образца; n - число обработанных выборок
Примечание - Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим.
PRu-3-G	Среднее использование ресурса устройств ввода-вывода	Сколько времени занимают операции ввода-вывода для решения набора задач в сравнении с суммарным временем работы устройств ввода-вывода?	, где A_i - время, затраченное на операции ввода-вывода, необходимые для решения набора задач для i-го наблюдения; B_i - суммарное время работы устройств ввода-вывода i-го наблюдения; n - число наблюдений
Примечания 1 Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим. 2 Время занятости означает период времени, в течение которого система или устройство фактически работают.
PRu-4-S	Использование пропускной способности сети	Какая часть доступной пропускной способности сети передачи данных используется для решения набора задач?	X = A/B, где A - скорость передачи данных по сети при решении набора задач; B - максимальная скорость передачи данных по сети
Примечания 1 В условленных случаях, когда наилучшим считается использование определенного типа ресурса на определенном уровне, предпочтительным будет значение показателя, близкое к оптимальному уровню. 2 Специалист по оценке качества должен принимать во внимание возможные ограничения при передаче данных по выбранному каналу, которые могут влиять на результаты измерений.

8.3.3 Показатели пропускной способности

Показатели пропускной способности, приведенные в таблице 6, используются для оценки степени соответствия максимальных значений характеристик продукта или системы требованиям.

Примечания

1 Предполагается, что показатели пропускной способности будут измеряться с помощью динамического анализа, например объемных испытаний системы, или могут измеряться с помощью испытаний или моделирования системной интеграции. Максимальное значение и продолжительность могут быть исследованы для многих случаев статического анализа, динамического тестирования или операций.

2 Ожидается, что максимальный предел будет указан в качестве целевого значения, которое теоретически может превышать реально возможное значение.

Таблица 6

Показатели пропускной способности

ID	Имя	Описание	Функция измерения
PCa-1-G	Пропускная способность по транзакциям	Как много транзакций может быть выполнено за единицу времени?	X = A/B, где A - число транзакций, обработанных за время наблюдения; B - продолжительность наблюдения
Примечания 1 Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим. 2 Данный показатель может быть полезным при использовании достаточной нагрузки.
PCa-2-G	Пропускная способность по доступу	Как много пользователей могут получить доступ к системе одновременно за единицу времени?	, где A_i - максимальное число пользователей, которые могут одновременно получить доступ к системе за время i-го наблюдения; n - число наблюдений
Примечание - Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим.
PCa-3-S	Пропускная способность по увеличению числа пользователей	Как много пользователей может быть добавлено за единицу времени?	X = A/B, где A - число пользователей, добавленных за время наблюдения; B - продолжительность наблюдения
Примечания 1 Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим. 2 Данный показатель определяет степень, в которой программный продукт или система могут справиться с резко возросшим за короткий промежуток времени количеством пользователей, обращающихся к продукту или системе.