ГОСТ Р 56922-2016/ISO/IEC/IEEE 29119-3:2013. Национальный стандарт Российской Федерации. Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования

4. Термины и определения

 

В настоящем стандарте применены термины и определения, приведенные в ИСО/МЭК/ИИЭР 24765, а также следующие термины с соответствующими определениями.

Примечание - Терминология в настоящем стандарте используется для простоты цитирования, и ее применение не требуется для соответствия настоящему стандарту. Нижеследующий список терминов и определений представлен для обеспечения правильного понимания и удобочитаемости настоящего стандарта. В него включены только критически важные для понимания настоящего стандарта термины. Составление полного списка терминов тестирования не является целью данного раздела. Для терминов, не определенных в этом разделе, следует пользоваться словарем системной и программной инженерии ИСО/МЭК/ИИЭР 24765. Он доступен на веб-сайте: http://www.computer.org/sevocab. Все термины, определенные в данном разделе, преднамеренно включены в ИСО/МЭК/ИИЭР 29119-1, поскольку в этот стандарт входят все термины, использованные в частях 1, 2, 3 и 4 серии стандартов ИСО/МЭК/ИИЭР 29119.

 

4.1 фактические результаты (actual results): Совокупность поведения или условий элемента тестирования либо совокупность условий связанных данных или тестовой среды, полученных в результате выполнения теста.

Пример - Вывод на аппаратные средства, изменения в данных, отчеты и отправленные информационные сообщения.

4.2 элемент покрытия (coverage item): См. термин "элемент тестового покрытия" согласно 4.15.

4.3 ожидаемые результаты (expected results): Характерное предсказанное поведение элемента тестирования при указанных условиях на основе его спецификации или другого источника.

4.4 набор функций (feature set): Логическое подмножество элемента(ов) тестирования, которое может быть обработано независимо от других наборов функций в последующих действиях проекта тестирования.

Примечание - Это может быть набор всех функций элемента (полный набор его функций) или подмножество, определенное для конкретной цели (совокупность функциональных возможностей и т.д.).

 

4.5 Отчет об Инциденте (Incident Report): Документация по инциденту о его проявлении, природе и состоянии.

Примечание - Отчеты об инцидентах также могут называться отчетами об аномалиях, отчетами об ошибках, дефектными отчетами, сообщениями об ошибке, проблемами, проблемными отчетами и отчетами об отказе и т.д.

 

4.6 Организационная Спецификация Тестирования (Organizational Test Specification): Документ, в котором представлена информация о тестировании для организации, то есть информация, которая не специфична для проекта.

Пример - Наиболее общими примерами Организационной Спецификации Тестирования являются Организационная Политика Тестирования и Организационная Стратегия Тестирования.

4.7 Организационная Стратегия Тестирования (Organizational Test Strategy): Документ, в котором изложены универсальные требования к тестированию, которое будет выполняться для всех проектов организации, а также подробности того, как должно производиться тестирование.

Примечания

1 Организационная Стратегия Тестирования согласована с Организационной Политикой Тестирования.

2 Для покрытия существенно различных контекстов проектов у организации может быть более одной Организационной Стратегии Тестирования.

3 В случае отсутствия Политики Тестирования в Организационную Стратегию могут входить положения Политики Тестирования.

 

4.8 риск продукта (product risk): Риск того, что продукт может иметь дефект в некотором определенном аспекте его функций, качества или структуры.

4.9 риск проекта (project risk): Риск, относящийся к менеджменту проекта.

Пример - Отсутствие комплектности персонала, строгие крайние сроки, изменение требований.

4.10 регрессионное тестирование (regression testing): Тестирование после изменений элемента тестирования или его рабочей среды для определения, происходят ли регрессивные отказы.

Примечание - Достаточное количество регрессионных тестов зависит от тестируемого элемента и от изменений этого элемента или его рабочей среды.

 

4.11 повторное тестирование (retesting): Повторное выполнение контрольных примеров, для которых ранее был получен результат "сбоя", для оценки эффективности произведенных корректирующих действий.

Примечание - Используется также термин "тестирование подтверждения".

 

4.12 контрольный пример (test case): Совокупность предварительных условий контрольного примера, входов (включая действия, где это применимо) и ожидаемых результатов, разработанных для управления выполнением элемента тестирования для достижения целей тестирования, включая корректную реализацию, идентификацию ошибок, проверку качества и получение другой значимой информации.

Примечания

1 Для подпроцесса тестирования, для которого он предназначен, контрольный пример - это самый низкий уровень входа тестирования (то есть контрольные примеры не состоят из других контрольных примеров).

2 Исходные условия контрольного примера включают тестовую среду, существующие данные (например, базы данных), программное обеспечение для тестирования, аппаратные средства и т.д.

3 Входы - это информация о данных, используемых для начала выполнения теста.

4 Ожидаемые результаты включают в себя критерии успеха, отказы в проверке и т.д.

 

4.13 Спецификация Контрольных Примеров (Test Case Specification): Документация одного или большего количества контрольных примеров.

4.14 Отчет о Завершении Тестирования (Test Completion Report): Отчет, в котором представлена сводка выполненного тестирования.

Примечание - Иногда также называют сводным отчетом тестирования.

 

4.15 элемент тестового покрытия (test coverage item): Атрибут или комбинация атрибутов, которые являются производными одного или более тестовых условий, полученными посредством методики проектирования тестирования, позволяющей оценить основательность выполнения теста.

4.16 тестовые данные (test data): Созданные или отобранные данные, удовлетворяющие входным требованиям для выполнения одного или более контрольных примеров, которые могут быть определены в плане тестирования, контрольном примере или процедуре тестирования.

Примечание - Тестовые данные могут храниться в тестируемом продукте (например, в массивах, плоских файлах или базе данных), или быть доступны из внешних источников, или предоставлены такими источниками, как другие системы, другие компоненты системы, устройства либо операторский персонал.

 

4.17 Отчет о готовности Тестовых Данных (Test Data Readiness Report): Документ, описывающий состояние каждого Требования к Тестовым Данным.

4.18 Спецификация Проекта Тестирования (Test Design Specification): Документ, определяющий функции, которые будут проверены, и соответствующие тестовые условия.

4.19 методика проектирования тестирования (test design technique): Действия, понятия, процессы и шаблоны, необходимые для создания модели тестирования, которая используется для определения тестовых условий для элемента тестирования, для получения соответствующих элементов тестового покрытия, а далее для разработки или выбора контрольных примеров.

4.20 тестовая среда (test environment): Различные средства, аппаратное и программное обеспечение, встроенное микропрограммное обеспечение, процедуры и документация, предназначенные или используемые для выполнения тестирования программного обеспечения.

Примечание - Тестовая среда может содержать в себе другие среды, необходимые для выполнения конкретных подпроцессов тестирования (например, тестовая среда объекта, среда теста производительности и т.д.).

 

4.21 Отчет о готовности Тестовой Среды (Test Environment Readiness Report): Документ, который описывает состояние каждого требования к среде.

4.22 Требования к Тестовой Среде (Test Environment Requirements): Описание необходимых свойств тестовой среды.

Примечание - Все или часть требований к тестовой среде могут иметь ссылки, необходимые для поиска информации, например, ссылку на соответствующую Организационную Стратегию тестирования, План Тестирования и/или Спецификацию Тестирования.

 

4.23 Журнал Выполнения Теста (Test Execution Log): Документ, в который записываются детали выполнения одной или более процедур тестирования.

4.24 элемент тестирования (test item): Рабочий продукт, который является объектом тестирования.

Пример - Система, элемент программного обеспечения, документ требований, разрабатываемая спецификация, руководство пользователя.

4.25 План Тестирования (Test Plan): Подробное описание требуемых целей тестирования, средств и расписания их достижения, предназначенное для координации тестирующих действий для отдельного элемента тестирования или совокупности элементов тестирования.

Примечания

1 В проект может входить более одного Плана Тестирования, например, может быть План Тестирования проекта (также именуемый основным планом тестирования), который охватывает все тестирующие действия для проекта, а более подробная информация об определенных действиях тестирования может быть определена в одном или более планах подпроцессов тестирования (то есть План Тестирования системы или план теста производительности).

2 Обычно План Тестирования представляет собой печатный документ, хотя возможны и другие форматы плана, определяемые локально для организации или проекта.

3 Планы тестирования могут содержать деятельность, выходящую за рамки проекта, например, План Тестирования обслуживания.

 

4.26 Политика Тестирования (Test Policy): Руководящий документ, в котором описаны назначение, цели и полная предметная область применения тестирования в организации.

Примечания

1 Политика Тестирования определяет, какое тестирование должно выполняться и чего от него ожидают, но не детализирует, как тестирование должно быть выполнено.

2 Политика Тестирования может обеспечить основы для разработки, анализа и постоянного улучшения тестирования в организации.

 

4.27 Спецификация Процедур Тестирования (Test Procedure Specification): Документ, определяющий одну или более процедур тестирования, представляющих собой наборы контрольных примеров, которые будут выполняться с конкретной целью.

Примечания

1 Контрольные примеры в наборе тестов перечислены в порядке, требуемом в процедуре тестирования.

2 Также имеет название сценария ручного тестирования. Спецификацию процедуры тестирования для автоматизированного тестового прогона обычно называют сценарием тестирования.

 

4.28 результат тестирования (test result): Индикатор того, прошел ли определенный контрольный пример успешно или нет, то есть соответствует ли фактический результат элемента тестирования ожидаемому результату или наблюдались отклонения.

4.29 набор тестов (test set): Набор контрольных примеров в целях тестирования конкретной цели тестирования.

Примечания

1 В наборах тестов обычно отражаются совокупности функций, однако они могут содержать контрольные примеры для многих совокупностей функций.

2 Контрольные примеры для набора тестов могут быть выбраны на основе идентифицированных рисков, базиса тестирования, повторного тестирования и/или регрессионного тестирования.

 

4.30 спецификация тестирования (test specification): Подробная документация проекта тестирования, контрольных примеров и процедур тестирования для определенного элемента тестирования.

Примечание - Спецификация тестирования может быть представлена в одном документе, набором документов или другими способами, например, записями базы данных и документами.

 

4.31 Отчет о Ходе Тестирования (Test Status Report): Отчет, который предоставляет информацию о состоянии тестирования, которое выполняется в указанный отчетный период.

4.32 стратегия тестирования (test strategy): Часть Плана Тестирования, в которой описан подход к тестированию определенного проекта тестирования или процессам и подпроцессам тестирования.

Примечания

1 Стратегия тестирования - это производная от Организационной Стратегии Тестирования.

2 Стратегия тестирования обычно определяет некоторые или все из следующих аспектов: используемые методики тестирования, реализуемые тестовые подпроцессы, повторное тестирование и регрессионное тестирование, которые будут использоваться, методы проектирования тестирования, соответствующие критерии завершения тестирования, тестовые данные, тестовую среду и требования к инструментам тестирования и ожидаемые результаты тестирования.

 

4.33 матрица прослеживаемости тестирования (test traceability matrix): Документ, электронная таблица или другой автоматизированный инструмент, используемый для идентификации в документации и программном обеспечении связанных элементов, таких как требования соответствующего тестирования.

Примечания

1 Также известен как матрица перекрестных ссылок верификации, матрица проверки требований, таблица верификации требований и др.

2 Различные матрицы прослеживаемости тестирования могут отличаться содержащейся информацией, форматами и уровнями детализации.

 

4.34 тестирование (testing): Набор операций, проводимых для обеспечения выявления и/или оценки свойств одного или более элементов тестирования.

Примечание - Действия тестирования могут включать в себя планирование, подготовку, выполнение, создание отчетов и менеджмент, поскольку все они направлены на тестирование.