Рассмотрение моделей надежности ПО

 

 

 

 

2. Классификация показателей качества ПО

• По количеству характеризуемых свойств различают единичные и комплексные показатели. Единичные показатели качества характеризуют одно из свойств ПС, комплексный – несколько. Комплексные показатели могут быть групповыми, обобщенными или интегральными.
• В зависимости от места применения в процедуре оценки уровня качества ПС различают базовые и относительные показатели. Базовым значением показателя качества продукции называют значение показателя, принятое за основу при сравнительной оценке качества продукции. Относительное значение показателя качества продукции представляет собой отношение фактического значения показателя качества оцениваемой продукции к базовому значению этого показателя.
• По стадии определения значений показателей качества различают прогнозируемые, проектные, производственные и эксплуатационные показатели. Прогнозируемыми показателями оперируют на стадиях выполнения научно-исследовательских работ и составления ТЗ на разработку ПС, т. е. на тех стадиях, когда нет еще ни детального проекта ПС, ни, тем более, самого ПС. Значения прогнозируемых показателей в основном определяют на основе интуиции и опыта аналогичных разработок, поэтому эти показатели носят субъективный характер.

Значения проектных  показателей определяют на основе анализа проектов ПС (эскизного, технического, рабочего), а также путем испытания опытного образца ПС. Эти показатели носят более объективный характер. Степень их достоверности зависит от эффективности используемых инструментальных средств анализа и испытания.

Производственные  показатели мало отличаются от проектных, особенно если изготовление ПС сводится к простому копированию. Если же копированию предшествуют операции сборки или генерации ПС, то производственные показатели качества таких ПС могут существенно отличаться от проектных.

Значения эксплуатационных показателей определяют по результатам промышленной эксплуатации ПС. При соблюдении определенных правил сбора и обработки данных о качестве ПС в процессе эксплуатации эксплуатационные показатели дают наиболее объективную и достоверную оценку. Только по этим показателям можно произвести действительную оценку научно-технического уровня и качества ПС.

Около 50 % частных показателей  можно определить автоматически  с помощью ЭВМ, 25 % —с помощью компаратора. Таким образом, оценка около 75 % показателей может быть формализована. Оценка 20 % показателей может быть произведена только квалифицированным специалистом. Большинство показателей устанавливают путем статического анализа программ и лишь около 5 % — в процессе динамических испытаний (Данные соответствуют положению в этой области в 80-е годы).

2.2. Основные показатели надежности ПО

 

     1. Вероятность безотказной работы P(t_з) – это вероятность того, что в пределах заданной наработки отказ системы не возникает.

     2. Вероятность отказа – вероятность того, что в пределах заданной наработки отказ системы возникает.

      Это  показатель, обратный предыдущему.

                     Q(t _з) =1 – P(t _з)                                              (2.1)

     где t _з – заданная наработка, ч.;

           Q(t _з) – вероятность отказа.

    3. Интенсивность отказов системы – это условная плотность вероятности возникновения отказа ПИ в определенный момент времени при условии, что до этого времени отказ не возник.

       (2.2)

где f(t) – плотность вероятности отказа в момент времени t.

    (2.3)

Существует следующая  связь между интенсивностью отказов  системы и вероятностью безотказной работы

       (2.4)

В частном случае, при 

            (2.5)

       

      Если  в процессе тестирования фиксируется  число отказов за определённый временной интервал, то интенсивность отказов системы есть число отказов в единицу времени.

 

     4. Средняя наработка на отказ Т_i - математическое ожидание времени работы ПИ до очередного отказа:

     (2.6)

      Иначе  среднюю наработку на отказ Т_i можно представить:

i=1;

    (2.7)

    где t -  время работы ПИ между отказами, с.

          n – количество отказов.

 

 

5. Среднее время восстановления T - математическое ожидание времени восстановления - t; времени, затраченного на обнаружение и локализацию отказа - t ; времени устранения отказа - t ; времени пропускной проверки работоспособности - t : t = t + t + t ,

где t - время восстановления после i-го отказа.

n

T = i/nt ,

i=1

где n - количество отказов.

Для этого показателя термин "время" означает время, затраченное  специалистом по тестированию на перечисленные виды работ.

 

6. Коэффициент готовности K - вероятность того, что ПИ ожидается в работоспособном состоянии в произвольный момент времени его использования по назначению:

K = T / (T + T ).

Необходимо  стремиться повышать уровень надежности ПИ, но достижение 100%-ной надежности лежит за пределами возможного. Количественные показатели надежности могут использоваться для оценки достигнутого уровня технологии программирования, для выбора метода проектирования будущего программного средства.

Основным средством  определения количественных показателей  надежности являются модели надежности, под которыми понимают математическую модель, построенную для оценки зависимости надежности от заранее известных или оцененных в ходе создания программных средств параметров.  

 

7. Все приведенные показатели надежности ПО характеризуют наличие ошибок программы (производственных дефектов), но ни один из них не характеризует характер этих ошибок и возможные их последствия. Поэтому предлагается ввести новый показатель надежности ПО – средняя тяжесть ошибок (СТО):

B=1/Q СУММ(bi*pi*zi)     ,(2.8)

где Q – вероятность сбоя ПО;

СУММ – оператор суммирования по переменной i;

bi – функция принадлежности тяжести последствий ошибки, возникшей при i-ом наборе входных данных, к максимально тяжелым последствиям;

pi – вероятность ввода i-го набора входных данных при эксплуатации ПО;

zi – дихотомическая переменная, равная 1, если при i-ом наборе входных данных был зафиксирован сбой, и 0 в противном случае;

m – общее число наборов входных данных.

Значение показателя надежности СТО лежит на интервале [0;1]. Чем ближе значение СТО к единице, тем тяжелее последствия ошибок ПО, и тем менее надежна программа. Близость СТО к нулю показывает незначительность последствий ошибок программы.

Введение нового показателя надежности ПО позволило  различать по надежности программные продукты, вероятности сбоя которых имеют один и тот же порядок. К тому же, говоря о надежности ПО, пользователь желает получить не столько безошибочное ПО, сколько безопасное. А именно безопасность ПО характеризует СТО. Значение этого показателя субъективно и может быть различным для одного и того же программного продукта в зависимости от области его применения. Это объясняется тем, что при использовании конкретного ПО, например, для выполнения студенческих расчетов и для выполнения конструкторских расчетов в космической промышленности последствия ошибок программы – несопоставимы. В ряде случаев, если к ПО предъявляются жесткие требования, лучше оценивать максимальную тяжесть ошибок ПО.

Таким образом, оценивая вероятность сбоя ПО и СТО  ПО, получаем многостороннюю оценку надежности ПО.

 

 

3. Модели надежности ПО

 

Все модели надежности можно  классифицировать по тому, какой из перечисленных процессов они поддерживают (предсказывающие, прогнозные, измеряющие и т.д.). Нужно отметить, что модели надёжности, которые в качестве исходной информации используют данные об интервалах между отказами, можно отнести и к измеряющим, и к оценивающим в равной степени. Некоторые модели, основанные на информации, полученной в ходе тестирования ПО, дают возможность делать прогнозы поведения ПО в процессе эксплуатации.

Аналитические модели дают возможность рассчитывать количественные показатели надежности, основываясь на данных о поведении программы в процессе тестирования (измеряющие и оценивающие модели).

Эмпирические модели базируются на анализе структурных особенностей программ. Они рассматривают зависимость показателей надёжности от числа межмодульных связей, количества циклов в модулях и т.д. Часто эмпирические модели не дают конечных результатов показателей надёжности, однако они включены в классификационную схему, так как развитие этих моделей позволяет выявлять взаимосвязь между сложностью АСОД и его надежностью. Эти модели можно использовать на этапе проектирования ПО, когда осуществляется разбивка на модули и известна его структура.

Аналитические модели представлены двумя группами: динамические модели и статические. В динамических поведение ПС (появление отказов) рассматривается во времени. В статических моделях появление отказов не связывают со временем, а учитывают только зависимость количества ошибок от числа тестовых прогонов (по области ошибок) или зависимость количества ошибок от характеристики входных данных (по области данных).

Для использования динамических моделей необходимо иметь данные о появлении отказов во времени. Если фиксируются интервалы каждого отказа, то получается непрерывная картина появления отказов во времени (группа динамических моделей с непрерывным временем). С другой стороны, может фиксироваться только число отказов за произвольный интервал времени.

 

        

3.1. Динамические модели надежности

 

3.1.1. Модель Шумана

 

     Исходными  данными для модели Шумана, которая  относится к динамическим моделям дискретного времени, собираются в процессе тестирования АСОД в течение фиксированных или случайных временных интервалов. Каждый энтервал - это стадия, на котором выполняется последовательность тестов и  фиксируется некоторое число ошибок.

     Модель  Шумана может быть использована при определенном образе организованной процедуре тестирования. Использование модели Шумана предполагает, что тестирование поводиться в несколько этапов. Каждый этап представляет собой выполнение на полном комплексе разработанных тестовых данных. Выявление ошибки регистрируется, но не исправляются. По завершении этапа на основе собранных данных о поведении ПО на очередном этапе тестирования может быть использована модель Шумана для расчета количественных показателей надежности. При использовании модели Шумана предполагается, что исходное количество ошибок в программе постоянно, и в процессе тестирования может уменьшаться по мере того, как ошибки выявляются и исправляются.

     Предполагается, что до начала тестирования в ПО имеется E_t ошибок. В течении времени тестирования t1  в системе обнаруживается E_c ошибок в расчете на команду в машинном языке.

      Таким  образом, удельное число ошибок  на одну машинную команду, оставшуюся в системе после t1 времени тестирования, равно:

     (3.1)

где I_t – общее число машинных команд, которое предполагается в рамках этапа тестирования.

       Предполагаем, что значение функции  частоты  отказов Z(t) пропорционально числу ошибок, оставшихся в ПП после израсходованного на тестирование времени t.

     (3.2)

         

     где С- некоторая константа,

            t – время работы ПП без отказа, ч.

     Тогда, если  время работы ПП без отказа t отсчитывается от точки t = 0, а t1  остается фиксированным, функция надежности, или вероятность безотказной работы на интервале времени от 0 до t, равна:

       (3.3)

            (3.4)

Из величин, входящих в формулы (4.2) и (4.3) ,не известны начальное значение ошибок в ПП (E_t) и коэффициент пропорциональности – С. Для их определения прибегают к следующим рассуждениям. В процессе тестирования собирается информация о времени и количестве ошибок на каждом прогоне, т.е общее время тестирования t1 складывается из времени каждого прогона:

 

      t1 = t₁ + t₂ + t₃ + …. + t_n                                              (3.5)

 

      Предполагая,  что интенсивность появления  ошибок постоянна и равна  , можно вычислить её как число ошибок в единицу времени:

    где А_i – количество ошибок  на i-м прогоне.

      (3.6)

 

      Имея  данные для двух различных  моментов тестирования t_A и t_b , которые выбираются произвольно с учетом требования, чтобы E_c(t_b) > E_c(t_A), можно сопоставить уравнения (3.4) и (3.6) при t_A и t_b :

     (3.7)

     (3.8)

Вычисляя отношения (3.7) и (3.8), получим

   (3.9)

 

   Подставив полученную  оценку параметров E_t в выражение (3.7), получим оценку для второго неизвестного параметра:

     (3.10)

 

Получив неизвестные Е_t и С, можно рассчитать надежность программы по формуле (3.3).

     Достоинство  этой модели заключается в  том, что можно исправлять ошибки, внося изменения в текст программы в ходе тестирования, не разбивая процесс на этапы, чтобы удовлетворить требованию постоянства числа машинных инструкции.