ГОСТ Р 56921-2016/ISO/IEC/IEEE 29119-2:2013. Национальный стандарт Российской Федерации. Системная и программная инженерия. Тестирование программного обеспечения. Часть 2. Процессы тестирования

4. Термины и определения

 

В настоящем стандарте применяют термины по ИСО/МЭК/ИИЭР 24765, а также следующие термины с соответствующими определениями.

Примечание - В настоящем стандарте приводятся термины, используемые для простоты цитирования. Для соответствия настоящему стандарту не требуется обязательное их применение. Нижеследующий список терминов и определений представлен для обеспечения правильного понимания и удобочитаемости настоящего стандарта. В него включены только критически важные для понимания настоящего стандарта термины. Полный список терминов тестирования не является целью данного раздела. Для терминов, не определенных в этом разделе, следует пользоваться словарем системной и программной инженерии ИСО/МЭК/ИИЭР 24765. Он доступен на веб-сайте: http://www.computer.org/sevocab. Все термины, определенные в данном разделе, также преднамеренно включены в ИСО/МЭК/ИИЭР 29119-1, поскольку в этот стандарт входят все термины, использованные в частях 1, 2, 3 и 4 серии стандартов ИСО/МЭК/ИИЭР 29119.

 

4.1 фактические результаты (actual results): Совокупность поведения или условий элемента тестирования, или совокупность условий, связанных данных или тестовой среды, полученные в результате выполнения теста.

Пример - Вывод на экран, вывод на аппаратные средства, изменения в данных, отчеты и отправленные информационные сообщения.

4.2 критерии завершения (completion criteria): Условия, при которых действия тестирования считают завершенными.

4.3 элемент покрытия (coverage item): См. термин "элемент тестового покрытия" согласно 4.33.

4.4 динамическое тестирование (dynamic testing): Тестирование, которое требует выполнения кода программы.

4.5 раздел эквивалентности (equivalence partition): Подмножество области значений переменной или совокупности переменных внутри элемента тестирования или на его интерфейсах, такое, что можно обоснованно ожидать, что все значения подмножества будут обработаны элементом тестирования подобным образом (т.е. они могут считаться "эквивалентными").

4.6 покрытие раздела эквивалентности (equivalence partition coverage): Доля идентифицированных разделов эквивалентности элемента тестирования, которая покрывается набором тестов.

Примечание - В большинстве случаев идентификация разделов эквивалентности субъективна (особенно в разбиении "недопустимых" разделов); таким образом, окончательный подсчет числа разделов эквивалентности для элемента тестирования может быть невозможен.

 

4.7 разбиение эквивалентности (equivalence partitioning): Метод проектирования тестирования, при котором контрольные примеры разработаны таким образом, чтобы проверить разделы эквивалентности с помощью одного или более представительных элементов каждого раздела.

4.8 ожидаемый результат (expected result): Характерное предсказанное поведение элемента тестирования при указанных условиях на основе его спецификации или другого источника.

4.9 исследовательское тестирование (exploratory testing): Тестирование, основанное на опыте, при котором тестер спонтанно разрабатывает и выполняет тестирования на основе существующих соответствующих знаний тестера, предшествующих исследований элемента тестирования (включая и результаты предыдущих тестирований) и эвристических "эмпирических правил" для общего поведения программного обеспечения и типов отказа.

Примечание - Исследовательское тестирование направлено на выявление скрытых свойств (включая и скрытое поведение), которые сами по себе, с одной стороны, вполне возможно безобидны, но, с другой стороны, могут повлиять на другие свойства тестируемого программного обеспечения, и тем увеличить риск того, что программное обеспечение перестанет работать.

 

4.10 набор функций (feature set): Логическое подмножество элемента(ов) тестирования, которое может быть обработано независимо от других наборов функций в последующих действиях проекта тестирования.

Примечание - Это может быть набор всех функций элемента (полный набор его функций) или подмножество, определенное для конкретной цели (совокупность функциональных возможностей и т.д.).

 

4.11 Отчет об Инциденте (Incident Report): Документация по инциденту о его проявлении, природе и состоянии.

Примечание - Отчеты об инцидентах также могут называться отчетами об аномалиях, отчетами об ошибках, дефектными отчетами, сообщениями об ошибках, проблемами, проблемными отчетами, отчетами об отказах и т.д.

 

4.12 тестирование производительности (performance testing): Тип тестирования, проводимого для оценки степени, в которой элемент тестирования выполняет свои определенные функции при заданных ограничениях времени и других ресурсах.

4.13 Организационный Процесс Тестирования (Organizational Test Process): Процесс тестирования для разработки и управления организационными спецификациями тестирования.

4.14 Организационная Политика Тестирования (Organizational Test Policy): См. "Политика Тестирования" согласно 4.55.

4.15 Организационная Спецификация Тестирования (Organizational Test Specification): Документ, в котором представлена информация о тестировании для организации, т.е. информация, которая не специфична для проекта.

Пример - Наиболее общими примерами Организационной Спецификации Тестирования являются Организационная Политика Тестирования и Организационная Стратегия Тестирования.

4.16 Организационная Стратегия Тестирования (Organizational Test Strategy): Документ, в котором изложены универсальные требования к тестированиям, которые будут выполняться для всех проектов организации, а также подробности того, как следует проводить тестирование.

Примечания

1 Организационная Стратегия Тестирования согласована с Организационной Политикой тестирования.

2 Для покрытия существенно различных контекстов проектов у организации может быть более одной Организационной Стратегии Тестирования.

 

4.17 риск продукта (product risk): Риск того, что продукт может иметь дефект в некотором определенном аспекте его функций, качества или структуры.

4.18 риск проекта (project risk): Риск, относящийся к менеджменту проекта.

Пример - Отсутствие укомплектования персоналом, строгие крайние сроки, изменения требований.

4.19 регрессионное тестирование (regression testing): Тестирование после изменений элемента тестирования или его рабочей среды для определения того, происходят ли регрессионные отказы.

Примечание - Достаточное количество регрессионных тестов зависит от тестируемого элемента и изменений этого элемента или его рабочей среды.

 

4.20 повторное тестирование (retesting): Повторное выполнение контрольных примеров, для которых ранее был получен результат "сбоя", для оценки эффективности произведенных корректирующих действий.

Примечания

1 Повторное тестирование часто сочетается с регрессионным тестированием.

2 Используется также термин "тестирование подтверждения".

 

4.21 тестирование на базе рисков (risk-based testing): Тестирование, для которого менеджмент, выбор, расстановка приоритетов и использование действий и ресурсов тестирования преднамеренно основаны на базе проанализированных рисков соответствующих типов и уровней.

4.22 тестирование защищенности (security testing): Тип тестирования, проводимый для оценки степени защищенности элемента тестирования и связанных с ним данных и информации от доступа посторонних лиц или систем для использования, чтения или изменения их при том, что доверенным лицам или системам доступ к ним обеспечивается.

4.23 тестирование по сценарию (scripted testing): Тестирование, выполняемое на основе задокументированного сценария.

Примечание - Этот термин обычно применяется для тестирования, выполняемого вручную, а не для выполнения автоматизированного сценария.

 

4.24 статическое тестирование (static testing): Тестирование, при котором элемент тестирования анализируется с использованием совокупности критериев качества или других свойств без выполнения кода.

Пример - Ревизия, статический анализ.

4.25 стрессовое тестирование (stress testing): Тип тестирования уровня производительности, проводимого для оценки поведения элемента тестирования при условиях загрузки выше ожидаемой или указанной в требованиях к производительности, или при доступности ресурсов ниже минимальной, указанной в требованиях.

4.26 базис тестирования (test basis): Свод знаний, используемых в качестве базы проекта тестирования и контрольных примеров.

Примечания

1 Базис тестирования может иметь форму документов, таких как спецификация требований, спецификация проекта или спецификация модуля, но может также представлять собой недокументированное понимание требуемого поведения.

2 Для тестирования на основе спецификации базис тестирования используется для получения как входа тестирования, так и ожидаемых результатов, тогда как для тестирования на основе структуры базис тестирования используется исключительно для получения ожидаемых результатов.

 

4.27 контрольный пример (test case): Совокупность предварительных условий контрольного примера, входы (включая действия, где это применимо) и ожидаемые результаты, разработанная для управления выполнением элемента тестирования для достижения целей тестирования, включая корректную реализацию, идентификацию ошибок, проверку качества и получение другой значимой информации.

Примечание - Контрольный пример - это самый низкий уровень входа тестирования (т.е. контрольные примеры не состоят из других контрольных примеров).

 

4.28 Спецификация Контрольного Примера (Test Case Specification): Документация одного или большего количества контрольных примеров.

4.29 Процесс Выполнения Тестирования (Test Completion Process): Процесс менеджмента тестирования, необходимый для обеспечения доступности полезных активов тестирования для дальнейшего использования, обеспечения удовлетворительного состояния тестовых сред, гарантии документирования и передачи соответствующим заинтересованным сторонам результатов тестирования.

4.30 Отчет о Завершении Тестирования (Test Completion Report): Отчет, в котором представлена сводка выполненного тестирования.

4.31 тестовое условие (test condition): Тестируемый аспект компонента или системы, такой как функция, транзакция, функция, атрибут качества или структурный элемент, идентифицированные как базис тестирования.

Примечание - Тестовые условия могут быть использованы для получения элементов покрытия или же могут сами по себе образовывать элементы покрытия.

 

4.32 тестовое покрытие (test coverage): Степень, выраженная в процентах, в которой специфицированные элементы тестового покрытия были проверены контрольным(и) примером(ами).

4.33 элемент тестового покрытия (test coverage item): Атрибут или комбинация атрибутов, которые являются производными одного или более тестовых условий, полученными посредством методики проектирования тестирования, которая позволяет оценить основательность выполнения теста.

4.34 тестовые данные (test data): Созданные или отобранные данные, удовлетворяющие входным требованиям для выполнения одного или более контрольных примеров, которые могут быть определены в плане тестирования, контрольном примере или процедуре тестирования.

Примечание - Тестовые данные могут храниться в тестируемом продукте (например, в массивах, плоских файлах или базе данных) или же могут быть доступны из внешних источников и предоставлены такими источниками, как другие системы, другие компоненты системы, устройства или операторский персонал.

 

4.35 Отчет о Готовности Тестовых Данных (Test Data Readiness Report): Документ, описывающий состояние каждого требования к тестовым данным.

4.36 Процесс Разработки и Реализации Тестирования (Test Design and Implementation Process): Процесс тестирования для получения и определения контрольных примеров и процедур тестирования.

4.37 Спецификация Проекта Тестирования (Test Design Specification): Документ, определяющий функции, которые будут проверены, и соответствующие тестовые условия.

4.38 методика проектирования тестирования (test design technique): Действия, понятия, процессы и шаблоны, необходимые для создания модели тестирования, которая используется для определения тестовых условий для элемента тестирования, для получения соответствующих элементов тестового покрытия, а далее для разработки или выбора контрольных примеров.

4.39 тестовая среда (test environment): Различные средства, аппаратное и программное обеспечение, встроенное микропрограммное обеспечение, процедуры и документация, предназначенные или используемые для выполнения тестирования программного обеспечения.

4.40 Отчет о Готовности Тестовой Среды (Test Environment Readiness Report): Документ, который описывает состояние каждого требования к среде.

4.41 Требования к Тестовой Среде (Test Environment Requirements): Описание необходимых свойств тестовой среды.

Примечание - Все или часть требований к тестовой среде могут иметь ссылки, необходимые для поиска информации, например, ссылку на соответствующую Организационную Стратегию Тестирования, План Тестирования и/или Спецификацию Тестирования.

 

4.42 Процесс Установки Тестовой Среды (Test Environment Set-up Process): Процесс динамического тестирования для установки и поддержания требуемой тестовой среды.

4.43 выполнение теста (test execution): Процесс выполнения теста на элементе тестирования, приводящий к фактическим результатам.

4.44 Журнал Выполнения Теста (Test Execution Log): Документ, в который записываются детали выполнения одной или более процедур тестирования.

4.45 Процесс Выполнения Теста (Test Execution Process): Процесс динамического тестирования для выполнения процедур тестирования, созданных в процессе разработки и реализации тестирования в подготовленной тестовой среде, и записи результатов.

4.46 Процесс Отчетности об Инцидентах Тестирования (Test Incident Reporting Process): Процесс динамического тестирования для создания отчетов для соответствующих заинтересованных сторон о проблемах, требующих дальнейших действий, которые были идентифицированы во время процесса выполнения теста.

4.47 элемент тестирования (test item): Рабочий продукт, который является объектом тестирования.

Пример - Система, элемент программного обеспечения, документ требований, разрабатываемая спецификация, руководство пользователя.

4.48 уровень тестирования (test level): Конкретная реализация подпроцесса тестирования.

Пример - Как подпроцессы тестирования можно рассматривать следующие общие уровни тестирования: уровень/подпроцесс покомпонентного тестирования, уровень/подпроцесс интеграционного теста, уровень/подпроцесс тестирования системы, уровень/подпроцесс приемочного испытания.

Примечание - Синонимом термина "уровень тестирования" является фаза тестирования.

 

4.49 менеджмент тестирования (test management): Планирование, составление графика, оценка, мониторинг, отчетность, управление и выполнение действий по тестированию.

4.50 Процесс Менеджмента Тестирования (Test Management Process): Процесс тестирования, содержащий подпроцессы, необходимые для менеджмента проекта тестирования.

Примечание - См. Процесс Планирования Тестирования, Процесс Мониторинга и Управления тестированием, процесс завершения тестирования.

 

4.51 Процесс Мониторинга и Управления Тестированием (Test Monitoring and Control Process): Процесс менеджмента тестирования для обеспечения соответствия выполнения тестирования плану тестирования и организационным спецификациям тестирования.

4.52 фаза тестирования (test phase): Определенная реализация подпроцесса тестирования.

Примечание - Фазы тестирования означают то же, что и уровни тестирования, поэтому примеры фаз тестирования совпадают с уровнями тестирования (например, фаза/подпроцесс тестирования системы).

 

4.53 План Тестирования (Test Plan): Подробное описание требуемых целей тестирования, средств и расписания их достижения, предназначенное для координации тестирующих действий для отдельного элемента тестирования или совокупности элементов тестирования.

Примечания

1 В проект может входить более одного плана тестирования, например, может быть план тестирования проекта (также именуемый основным планом тестирования), который охватывает все тестирующие действия для проекта, а более подробная информация об определенных действиях тестирования может быть определена в одном или более планах подпроцессов тестирования (т.е. план тестирования системы или план теста производительности).

2 Планы тестирования могут содержать деятельность, выходящую за рамки проекта, например, план тестирования обслуживания.

 

4.54 Процесс Планирования Тестирования (Test Planning Process): Процесс Менеджмента Тестирования, используемый для выполнения планирования тестирования и разработки Планов Тестирования.

4.55 Политика Тестирования (Test Policy): Руководящий документ, в котором описаны назначение, цели и полная предметная область применения тестирования в организации.

Примечания

1 Политика Тестирования определяет, какое тестирование следует выполнять и что от него ожидают, но не детализирует, как тестирование должно быть выполнено.

2 Политика Тестирования может обеспечить основы для разработки, анализа и постоянного улучшения тестирования в организации.

 

4.56 процедура тестирования (test procedure): Последовательность контрольных примеров в порядке выполнения и любые связанные действия, которые могут потребоваться, чтобы установить начальные предпосылки и успешно выполнить завершающие действия после окончания тестирования.

Примечание - Процедуры тестирования включают в себя подробные инструкции для выполнения одного или более наборов контрольных примеров, выбранных для последовательного выполнения, а также для установки общих исходных условий, обеспечения входа и оценки фактического результата для каждого выбранного контрольного примера.

 

4.57 Спецификация Процедуры Тестирования (Test Procedure Specification): Документ, определяющий одну или более процедур тестирования, которые представляют собой наборы контрольных примеров для выполнения с определенной целью.

Примечания

1 Контрольные примеры в наборе тестов перечислены в порядке, требуемом процедурой тестирования.

2 Также имеет название сценария ручного тестирования. Спецификацию процедуры тестирования для автоматизированного тестового прогона обычно называют сценарием тестирования.

 

4.58 процесс тестирования (test process): Процесс, обеспечивающий информацией о качестве программного продукта, зачастую состоящий из множества действий, сгруппированных в один или несколько подпроцессов тестирования.

4.59 результат тестирования (test result): Индикатор того, прошел ли определенный контрольный пример успешно или нет, т.е. соответствует ли фактический результат элемента тестирования ожидаемому результату или наблюдались отклонения.

4.60 тестовое требование (test requirement): См. "тестовое условие" согласно 4.31.

4.61 сценарий тестирования (test script): Спецификация процедуры тестирования для ручного или автоматизированного тестирования.

4.62 набор тестов (test set): Набор контрольных примеров для конкретных целей тестирования.

Примечания

1 В наборах тестов обычно отражаются совокупности функций, однако они могут содержать контрольные примеры для многих совокупностей функций.

2 Контрольные примеры для набора тестов могут быть отобраны на основе идентифицированных рисков, базиса тестирования, результатов повторного тестирования и/или регрессионного тестирования.

 

4.63 спецификация тестирования (test specification): Подробная документация проекта тестирования, контрольных примеров и процедур тестирования для конкретного элемента тестирования.

Примечание - Спецификация тестирования может быть представлена одним документом, набором документов или другими способами, например записями базы данных и документами.

 

4.64 метод спецификации тестирования (test specification technique): См. "метод проектирования тестирования" согласно 4.38.

4.65 Отчет о Ходе Тестирования (Test Status Report): Отчет, который предоставляет информацию о состоянии тестирования, выполняемого в указанный отчетный период.

4.66 стратегия тестирования (test strategy): Часть Плана Тестирования, в которой описан подход к тестированию определенного проекта тестирования или процессам и подпроцессам тестирования.

Примечания

1 Стратегия тестирования - это производная от Организационной Стратегии Тестирования.

2 Стратегия тестирования обычно определяет некоторые или все из следующих аспектов: используемые методики тестирования, реализуемые тестовые подпроцессы, повторное тестирование и регрессионное тестирование, которые будут использованы, методы проектирования тестирования, соответствующие критерии завершения тестирования, тестовые данные, тестовую среду, требования к инструментам тестирования и ожидаемые результаты тестирования.

 

4.67 подпроцесс тестирования (test sub-process): Процессы менеджмента тестирования и процессы динамического (и статического) тестирования, используемые для выполнения определенного уровня тестирования (например, тестирование системы, приемочные испытания) или его определенного типа (например, тестирование удобства использования, тестирование производительности) обычно в контексте полного процесса тестирования.

Примечание - В подпроцесс тестирования могут быть включены один или несколько типов тестирования. Обычно в зависимости от используемой модели жизненного цикла подпроцессы тестирования также называют фазами тестирования, уровнями тестирования, этапами тестирования или задачами тестирования.

 

4.68 методика тестирования (test technique): См. термин "методика проектирования тестирования" согласно 4.38.

4.69 тип тестирования (test type): Совокупность тестирующих действий, которая фокусируется на определенных показателях качества.

Примечание - Тип тестирования может быть выполнен одиночным подпроцессом тестирования или несколькими подпроцессами тестирования (например, тестирование производительности, выполненное в ходе подпроцесса покомпонентного тестирования и подпроцесса тестирования системы).

 

Примеры - Тестирование защищенности, функциональное тестирование, тестирование удобства использования и тестирование производительности.

4.70 тестирование (testing): Набор операций, проводимых для обеспечения выявления и/или оценки свойств одного или более элементов тестирования.

Примечание - Действия тестирования могут включать в себя планирование, подготовку, выполнение, создание отчетов и менеджмент, поскольку все они направлены на тестирование.