ГОСТ Р 58771-2019. Национальный стандарт Российской Федерации. Менеджмент риска. Технологии оценки риска
6.2 Управление информацией и разработка моделей
6.2.1 Общие положения
До и во время оценки риска необходимо собирать актуальную информацию, которая используется в качестве входных данных для статистического анализа, моделирования или применения технологий, описанных в приложениях А и Б. В некоторых случаях информация может использоваться лицами, принимающими решения, без дальнейшего анализа.
Информация, необходимая в каждом случае, зависит от результатов более раннего сбора информации, цели и объема оценки, технологии или технологий, которые будут использоваться для анализа. Требуется также определить способ сбора, хранения и предоставления информации.
Одновременно с решением о получении результатов оценки риска необходимо принять решение о том, как эти результаты будут получены, как будет организовано их хранение, как они будут актуализироваться и каким образом будут предоставляться причастным сторонам. Также необходимо указывать источники получения информации.
6.2.2 Сбор информации
Информация может быть собрана из таких источников, как обзоры литературы, наблюдения и мнения экспертов. Данные могут быть собраны или получены из измерений, экспериментов, интервью и опросов.
Обычно данные прямо или косвенно представляют собой историю произошедших потерь или выгод. Примеры таких данных включают провалы или успехи проекта, количество полученных жалоб, финансовую прибыль или убытки, последствия для здоровья, травмы и смертельные случаи и т.д. Дополнительная информация также может быть полезна, например причины неудач или успехов, источники жалоб, характер травм и т.д. Данные могут также включать вывод из моделей или результаты других методов анализа.
Необходимо определить следующее:
- источник информации;
- тип (например, качественный, количественный или оба (см. 6.3.5.4));
- уровень (например, стратегический, тактический, оперативный);
- количество и качество необходимых данных;
- методологию сбора.
Когда данные, подлежащие анализу, получаются из выборки, требуемая статистическая достоверность должна быть заранее определена так, чтобы собранных данных было достаточно для анализа. Если статистический анализ не требуется, это также должно быть указано.
Если доступны данные или результаты предыдущих оценок, сначала необходимо установить, было ли какое-либо изменение в параметрах, и если да, то остаются ли предыдущие данные или результаты актуальными.
Достоверность, надежность и ограничения любой информации, которая используется в оценке, должна оцениваться с учетом:
- возраста и актуальности информации;
- источника информации и методов, используемых для ее сбора;
- неопределенностей и пробелов в информации;
- авторитетности источника происхождения информации, наборов данных, алгоритмов и моделей.
6.2.3 Анализ данных
Анализ данных может обеспечить:
- понимание прошлых последствий и их вероятностей для того, чтобы изучить полученный опыт;
- тенденции и закономерности, включая периодичность, которые указывают на то, что может повлиять на будущее;
- корреляции, которые могут дать указания на возможные причинно-следственные отношения для дальнейшей проверки.
Ограничение и неопределенность, связанные с данными, следует выявлять и понимать.
Прошлые данные нельзя считать применимыми в будущем, но они могут дать указание лицам, принимающим решения, о том, что более или менее вероятно в будущем может произойти.
6.2.4 Разработка и применение моделей
Модель является приблизительным представлением реальности. Ее назначение состоит в том, чтобы преобразовать то, что может быть изначально сложной ситуацией, в более простые вещи, которые легче проанализировать. Модель можно использовать, чтобы помочь понять смысл данных и имитировать то, что может произойти на практике при разных условиях. Модель может быть физической, представленной в программном обеспечении или быть набором математических отношений.
Моделирование обычно включает следующие этапы:
- описание проблемы;
- описание цели построения модели и желаемых результатов;
- разработка концептуальной модели решения проблемы;
- создание физического, программного или математического представления концептуальной модели;
- разработка программного обеспечения или других инструментов для анализа поведения модели;
- обработка данных;
- проверка или калибровка модели путем анализа исходов для известных ситуаций;
- формирование выводов по результатам моделирования в отношении проблемы, существующей в реальном мире.
Каждый из этих этапов может включать в себя приближения, допущения и экспертные оценки и (если возможно) они должны быть проверены людьми, которые не связаны с разработчиками. Критические предположения в отношении доступной информации следует пересмотреть и оценить их достоверность.
Для достижения достоверных результатов при использовании моделей необходимо убедиться, что:
- концептуальная модель адекватно отражает оцениваемую ситуацию;
- модель используется для той области применения, для которой она была разработана;
- существует твердое понимание теории, лежащей в основе модели, и любых связанных вычислений;
- выбор параметров и математических представлений концепции является обоснованным;
- существует твердое понимание теории, лежащей в основе расчетов;
- входные данные являются точными и надежными или характер модели учитывает надежность используемых входных данных;
- модель работает по плану без внутренних ошибок или сбоев в работе;
- модель стабильна и не слишком чувствительна к небольшим изменениям в основных входах.
Этого можно достичь:
- проведением анализа чувствительности для проверки того, насколько чувствительна модель к изменениям входных параметров;
- стресс-тестированием модели с конкретными сценариями, часто экстремальными;
- сравнением результатов с прошлыми данными (за исключением тех данных, на которых модель была разработана);
- проверкой того, что полученные результаты являются подобными, когда модель используется разными людьми;
- сопоставление выходов модели с фактическими результатами.
Должна быть сохранена полная документация по модели, теориям и предположениям, на которых она основана, достаточная для проверки модели.
6.2.5 Меры предосторожности при использовании программ для анализа
Программное обеспечение может использоваться для представления и организации данных или для их анализа. Программы для анализа часто предоставляют упрощенный пользовательский интерфейс и быстрый вывод данных, что может приводить к недопустимым результатам, которые незаметны для пользователя. Недействительные результаты могут возникнуть из-за:
- недостатка в алгоритмах, используемых для представления ситуации;
- допущений, сделанных при разработке и использовании модели, лежащей в основе программного обеспечения;
- ошибок ввода данных;
- проблем с преобразованием данных при использовании нового программного обеспечения;
- недостаточной интерпретации результатов.
Коммерческое программное обеспечение часто является черным ящиком (коммерческая тайна) и может содержать любую из этих ошибок.
Новое программное обеспечение должно быть проверено с использованием простой модели с входами, имеющими известный выход, прежде чем перейти к тестированию более сложных моделей. Результаты тестирования должны быть сохранены для использования в будущих версиях обновлений программы или для новых программ анализа данных.
Ошибки в построенной модели можно проверить, увеличивая или уменьшая входные параметры, чтобы определить, изменяются ли выходные параметры, как это от них ожидается. Это может быть применено к каждому из различных входных параметров. Ошибки входных данных часто идентифицируются при изменении входных данных. Этот подход также предоставляет информацию о чувствительности модели к изменениям данных.
Хорошее понимание математики, относящейся к конкретному анализу, позволяет избегать ошибочных выводов. Вероятно, не только указанные выше ошибки, но и выбор конкретной программы может оказаться неприемлемым. Легко отслеживать работу программы и считать, что ответ будет правильным. Необходимо собрать доказательства, чтобы проверить, что результаты являются обоснованными.
Подписаться на обновления