Верификация и валидация

Правильно выстроенный процесс Верификации и Валидации (ВВ), как часть системной инженерии, обеспечивает гарантию того, что вы создаете правильное изделие и создаете его правильно.

На разных стадиях ЖЦИ объектами ВВ могу быть:

Требования

Верификация требования - проверка содержания и оформления требований на соответствие установленным критериям качества. [ГОСТ 59194–2020, пункт 3.1.5]

Валидация требования - подтверждение того, что разработанные требования позволят создать объект, удовлетворяющий потребностям заинтересованных сторон. [ГОСТ 59194–2020, пункт 3.1.3]

Результаты реализации требований (КД, физические экземпляры объектов к которым были предъявлены требования и др)

Верификация объекта и Валидация объекта выполняется относительно объекта, к которому предъявляются требования.

Верификация объекта - подтверждение на основе представления объективных свидетельств того, что объект разработан в соответствии с заданными требованиями. [ГОСТ Р 59193–2020 пункт 3.1.2]

Валидация объекта - подтверждение на основе представления объективных свидетельств того, что объект удовлетворяет потребностям заинтересованных сторон.

Примечание — Валидация, как правило, выполняется при завершении разработки объекта и передаче результатов заказчику (головному разработчику для СЧ). [ГОСТ Р 59193–2020, пункт 3.1.1]

В соответствии с ГОСТ Р 59194 п 4.5, базой для валидации объекта является спецификация исходных требований к объекту, а базой для верификации объекта является спецификация проектных требований к объекту.

Процессы

• Верификация процесса - подтверждение на основе представления объективных свидетельств того, что процесс выполнен (или выполняется) в соответствии с предъявленными к нему требованиями (или соответствует стандарту, в котором данным процесс описан).
• Валидация процесса - подтверждение того, что разработанные процесс позволят достичь поставленных целей.

Верификация и Валидация делает акцент на комплексном процессе планирования, реализации контроля и управления результатами процедур оценки соответствия.

Планирование ВВ

Чем раньше и чаще применяются методы ВВ тем больше гарантии, что результат будут отвечать заданным требованиям и потребностям заинтересованных сторон.

ВВ процесс затратный, поэтому строгость (частота и набор используемых методов) могут сильно удорожать стоимость изделия. Нужна золотая середина, в рамках которой затраты на ВВ будут приемлемы.

Используя практики системной инженерии можно найти различные варианты определения строгости процесса ВВ. Так для ее определения, могут использоваться требования, например, строгость ВВ может зависеть от важности требования, степени его влияния на эксплуатационные характеристики, безопасность или надежность.

Планирование ВВ в MBSE должно выполняться в PDM-системах. В зависимости от выбранной строгости ВВ, для каждого требования и набора требований в PDM-системе планируются процедуры ВВ (так же используется термин "процедуры оценки соответствия"). Определяются как процедуры ВВ самих требований, так и результатов их реализации.

При планировании, указываются применяемые методы оценки соответствия (МОС), условия, стадии ЖЦИ (к которой процедура должна быть выполнена), указываются ссылки на версии объектов реализации или конкретные физические экземпляры (смотрите пример функционала планирования ВВ на базе ЛОЦМАН:PLM)

Планирование процедур ВВ от требований позволяет сформировать матрицы покрытия требований процедурами проверки соответствия, увидеть, выполнение каких требований, когда и какими методами будет подтверждаться. Увидеть для каких требований процедуры проверки их выполнения не предусмотрены вовсе. На основе этих данных сделать анализ, показывающий:

• Какой процент требований проверяется на ранних стадиях проектирования;
• Какой процент требований проверяется только экспериментальным путем;
• Какой процент требований не проверятся совсем;
• Какой процент требований проверяется средствами компьютерного инженерного анализа.

Пример отчета покрытия требований запросами на проверку в ЛОЦМАН:PLM

Таким образом, требования и процессы инженерии требований являются важной частью построения процессов ВВ. Это важно отметить в свете традиционных подходов к процедурам проверки соответствия, когда сам проводимые процедуры не связаны с требованиями, которые они подтверждают. Многие процедуры делаются по привычке, а не на основе реальных требований.

В планирование ВВ включается определение МОС и применяемых инструментов ВВ. В идеале, МОСы, инструменты и методики должны быть стандартизованы и апробированы. Это позволяет обеспечить требуемое качество выполнения процедур оценки соответствия.

Выполнение процедур ВВ

Процедуры верификации и валидации выполняются в соответствии с разработанными планами.

С учетом стоимости натурных испытаний, основной акцент должен быть сделан на испытаниях виртуальных. Для этого важно внедрять и использовать современные инструменты компьютерного инженерного анализа (CAE). Компьютерный инженерный анализ, в качестве объекта анализа, использует различные компьютерные модели, а в качестве и метода анализа используется моделирование. Это факт указывает на то, что компьютерный инженерный анализ является частью MBSE, при условии, что расчетные модели не живут в отрыве от других моделей, описывающих изделие.

Важным акцентом процесса ВВ является возможность выполнения необходимых оценок на разных стадиях ЖЦИ, начиная с самых ранних. Для ранних стадий проектирования необходимо использовать MBSE-инструменты и системы имитационного моделирования. Для стадий проектирования, где появляется классическая конструкторская документация, в полную силу используется инструменты 3D CAE анализа.

Важно отметить возможность интеграции различных расчетных моделей для построения комплексных компьютерных моделей, позволяющих выполнить увязку мультифизичных систем по параметрам, т.е. перейти от локальных расчетов, к комплексным расчетам всего изделия (т.н. Цифровой двойник). Данная задача не решается без инструментов 1D моделирования (например Pradis) и инструментов формирования расчетных цепочек (например DT Seven).

Сама концепция Цифровых двойников так же является часть подхода MBSE.

Акцент на ранней верификации

Системная инженерия говорит о необходимости акцента на ранние стадии ЖЦИ, поэтому инструменты ранней верификации и валидации играют особую роль. К таким инструментам относятся:

• MBSE-системы (например ЛОЦМАН:PLM Архитектурное проектирование)
• системы имитационного моделирования (например Pradis)
• инструменты оценки функционально безопасности.

Исходными данными для их работы служат архитектурные модели с разных уровней абстракции описания архитектуры (поэтому, процесс определения архитектуры является важной составляющей ранней верификации и  валидации).

Ранняя верификация и валидация должна относиться не только результатам процесса проектирования но и к требованиям как источнику исходных данных для проектирования.

Используя MBSE-системы:

• можно валидировать исходные требования относительно потребностей и проблем заинтересованных сторон (обосновать источник их возникновения)
• можно валидировать проектные требования относительно источника их возникновения в виде проектных решений
• можно верифицировать исходные и проектные требования на полноту и противоречивость
• можно валидировать функции проектируем системы относительно исходных требований (достаточность и обоснованность выделенных функций для выполнения исходных требований)
• можно валидировать логику работы системы через сценарии работы и описание режимов и состояний
• можно верифицировать архитектуру на предмет реализации (распределения) предъявленных требований на компоненты архитектуры

Используя инструменты имитационного моделирования, на ранних стадиях проектирования:

• можно валидировать исходные требований (обосновать их выполнимость) и валидировать проектные требования к составным частям изделия (доказать их обоснованность и достаточность)
• можно верифицировать архитектуру, на соответствие заданным требованиям
• можно верифицировать и валидировать алгоритмы и коды системы управления
• можно проверить временные характеристики (например, успеет ли контроллер обработать сигнал).

Используя инструменты оценки функциональной безопасности, на ранних стадиях проектирования:

• можно валидировать проектные требования безопасности (обосновать их появления)
• можно верифицировать архитектуру, на соответствие заданным требованиям безопасности

В последствии, ранняя верификация становится основой для цифровой нити (Digital Thread), где данные из ранних моделей (требования, функции) связываются с CAE-моделями, данными испытаний и эксплуатации, обеспечивая сквозную прослеживаемость решений.

Управление результатами ВВ

Чем больше процедур ВВ тем больше данных которыми следует управлять.

В случае документоцентричного подхода, управление доказательной документаций сводится к автоматизации документооборота и архива результатов. В MBSE результаты процедур оценки соответствия, в виде моделей, обязательно должны иметь информационные связи с теми данными, для подтверждения которых они использовались. Это значит, например, что требование которое подтверждалось компьютерным расчетом должно иметь информационную связь с объектом, в котором зафиксировано фактическое значение его характеристики и информационную связь с самой расчетной моделью. Такие связи могут быть сформированы только при управлении данными в PDM-системе.

Управление расчетными данными

Для реализации MBSE, по мимо результатов ВВ, управлять нужно всем жизненным циклом моделей, используемых в процедурах оценки соответствия (расчетные модели).

Текущая ситуация такова, что результат выполненного инженерного расчета это не модель, это документ, полученный преимущественно ручным оформлением и не так же не связанные с данными расчетной модели. Сами расчетные модели, в лучшем случае живут на отдельном расчетном сервере, и не имеют информационных связей с требованиями, не имеют информационных связей с актуальной конструкторской документацией, и как результат расчетные модели не являются частью управляемой конфигурации изделия.

Увеличение числа расчетных данных в виде моделей, в рамках MBSE, требует механизмов управления этими данными. Расчетные модели должны иметь информационные связи с требованиями и другими моделями, соответствие которых требованиям, они подтверждают. Поэтому, реализация концепции управление расчетными данным является важной частью процесса верификации и валидации и важной составляющей для перехода к MBSE.

Подробнее о концепции управления расчетными данными

Контроль ВВ

Для обеспечения контроля процесса ВВ необходима информация о запланированных процедурах оценки соответствия и информация о статусе их выполнения. При реализации процессов планирования, выполнения и управления результатами процедур ВВ в PDM-системе, контроль процесса ВВ сводится к формированию автоматизированных отчетов, показывающих:

• Какие требования, как и когда будут проверяться
• Какие требования уже проверены и какой их статус (пример отчета "Статус выполнения набора требований" в ЛОЦМАН:PLM)
• Какие требования еще не проверялись

 

Внедрение процессов верификации и валидации

Группа компаний «ПЛМ Урал» предлагает услуги по внедрению процессов и инструментов верификации и валидации, включая:

• Оценку текущего состояния по реализации процессов верификации и валидации
• Анализ используемых инструментов и методов виртуальных испытаний
• Формирование предложений по реинженирингу процессов верификации и валидации и подбору оптимальных инструментов
• Поставка необходимых CAE-инструментов
• Внедрение необходимых процессов, инструментов и методик:
  - Процесс планирования и контроля оценки соответствия
  - Процесс выполнения верификации и валидации
  - Управление расчетными данными
  - Методики виртуальных испытаний
  - Методики построения расчетных цепочек
  - Методики формирования цифровых двойников
• Внедрение смежных процессов, необходимых для эффективной реализации верификации и валидации:
  - Процесс работы с требованиями
  - Процесс определения архитектуры
  - Процесс управления конфигурацией
• Разработку стандарта предприятия по работе верификации и валидации
• Обучение персонала
• Сопровождение и технические консультации по работе с инструментами верификации и валидации

Обсудить внедрение