Оценки параметров распределений случайных величин и процессов

Величина, которая в результате некоторого эксперимента с заранее непредсказуемым исходам каждый раз принимает одно из возможных значений, называется случайной. Пусть исход эксперимента (опыта, наблюдения) представляется некоторой случайной величиной . При N -кратном повторении эксперимента получают конкретный ряд значений x ₁, …, x _{N ,} который называется конечной выборкой объема N (выборочной совокупностью) из генеральной совокупности, содержащей все возможные значения случайной величины (N = ∞).

Для наиболее полной характеристики случайной величины (процесса) необходимо знать функцию ее распределения, устанав­ливающую связь между возможными значениями случайной величины в ее генеральной совокупности и соответствующими вероятностями появления каждого значения случайной величины. Существуют две основные формы функции распределения: интегральная и дифференциальная. Важными характеристик случайной величины являются математическое ожидание и дисперсия.

Интегральная функция F(x) = P{ < x} показывает, какая часть статистической совокупности лежит левее конкретного значения x случайной величины . Примерный график F(x) для непрерывной случайной величины изображенана рис. 4.1.

Рис. 4.1. Интегральная функция распределения F(x)

Для дискретной случайной величины он будет иметь ступенчатый вид. Основные свойства интегральной функции распределения следующие:

- F(x) — неотрицательная функция, т. е. при любых

;

- F(х) — неубывающая функция, т. е. при x_i > x_l F(x_i) > F(x_l). З нак равенства может возникнуть, если в интервале (x_i, x_l) нет ни одного элемента статистической совокупности);

- lim F(x) = 0; (х® -¥)

- lim F(x) = 1; (х® ± ¥)

Дифференциальная функция распределения φ (x) — это производная от интегральной функции распределения

.

Дифференциальную функцию распределения φ (x) называют также плотностью распределения непрерывной случайной величины. На рис. 4.2, а показан примерный вид дифференциальной кривой распределения непрерывной случайной величины, а на рис. 4.2, б дискретной случайной величины. На практике чаще используют дифференциальную форму записи закона распределения как более наглядную.

Рис. 4.2. Дифференциальная функция распределения φ (x):

а – для непрерывной случайной величины; б —для дискретной случайной величины.

Основные свойства дифференциальной функции распределения:

- функция — неотрицательная, т. е. при любых x ;

- .

Математическое ожидание случайной величины М_х характеризует положение некоторого среднего значения случайной величины из генеральной совокупности, воз­ле которого группируются возможные ее значения:

а) для непрерывной случайной величины

,

где φ (x) – дифференциальная функция распределения случайной величины ;

б) для дискретной случайной величины :

.

Геометрической интерпретацией математического ожидания яв­ляется абсцисса центра тяжести фигуры, ограниченной кривой распределения . Оценка математического ожидания опреде­ляется как среднее значение случайной величины для выбороч­ной совокупности:

где x_j — j -е значение случайной величины из выборочной сово­купности объемом N.

Степень рассеяния случайной величины относительно М_х характеризуется ее дисперсией.

Дисперсия генеральной совокупности случайной величины – есть математическое ожидание квадрата отклонений значений элементов генеральной совокупности от математического ожида­ния М_х случайной величины:

D_x=M{ (x-M_x) }.

Для непрерывной случайной величины генеральная дисперсия

Для случайной величины , представленной в виде ряда рас­пределения, генеральная дисперсия

где — абсцисса середины j -го интервала.

Дисперсия выборочной совокупности (выборочная дисперсия) является оценкой дисперсии и рассчитывается по ограниченному числу измерений случайной величины по формуле

где — среднее значение, являющееся оценкой математического ожидания М_х — i -e значение случайной величины из выборки объемом N.

Однако при малых выборках N пользуются несмещенной оценкой дисперсии

Оценка называется несмещенной, если ее математическое ожидание равно оцениваемому параметру при любом конечном, в том числе и малом объеме выборки N.

Для того чтобы знать, в ка­кой мере и в каком направлении влияет одна случайная перемен­ная на другую , т. е. оценить, как сильно они связаны, исполь­зуется коэффициент парной корреляции R_xy, асимптотически несмещенная оценка которого

где — i -e значение переменной ;

— i -е значение переменной ;

N — общее число наблюдений;

— среднее значение перемен­ной из выборочной совокупности;

— среднее значение пере­менной из выборочной совокупности;

s_x — выборочная оценка среднеквадратического отклонения переменной ;

s_y — выбороч­ная оценка среднеквадратического отклонения переменной ;

где s²_x и s²_y — соответственно выборочные дисперсии переменных и .

Коэффициент парной корреляции является показателем тесно­ты и направления корреляционной связи двух случайных перемен­ных, и его значение находится в пределах -1 ≤ R_xy ≤ +1.

При отсутствии корреляционной связи между двумя случайными переменными коэффициент парной корреляции R_xy = 0, в этом случае корреляционная связь между переменными и отсутствует. Если связь между двумя переменными линейная и функциональная, тогда R_XY = +1 или R_XY = –1.

Планирование и обработка результатов пассивного эксперимента методами регрессионного анализа

Допустим, что объект проектирования характеризуется следующими параметрами: Х= {х₁ х_2> .... x_h} — входные величины; — i -я выходная величина ; ε — неконтролируемые слу­чайные возмущения.

Под моделью объекта по i -му каналу будем понимать функцию

y_i = f(x₁, x₂,..., x_R). (4.3)

Так как имеют место неконтролируемые случайные возмуще­ния, то изменение носит случайный характер, а потому для по­лучения математического описания (2.4) в этом случае применяются ме­тоды регрессионного анализа на основе статических данных, накоплен­ных в результате постановки эксперимента.

Если объект исследования по тех­ническим, технологическим или эконо­мическим соображениям не допускает преднамеренного варьирования входных переменных в необходимом диапазоне, то для накопления статистического материала применяется пассивный эксперимент, заключающийся в наблюдении и регистрации значений входных и выходных переменных в режиме нормального функционирования исследуемого объекта.

Применение метода пассивного эксперимента может быть успешным, если при его проведении соблюдаются необходимые условия, к которым относятся такие, как правильное определение времени регистрации данных, обеспечение независимости соседних измерений и входных переменных друг от друга; достаточный с точки зрения математической статистики объем экспериментальных данных.

Выбор структуры модели является наиболее неформализуемой процедурой, так как исследователь до начала эксперимента, как правило, не располагает необходимой априорной информацией.

Построение модели существенно упрощается, если в качестве ее составляющих используются полиномы, которые следует включать в уравнение регрессии. Модели полиномиального вида имеют преимущество в связи с тем, что с их помощью аналитическая функция (4.3) может быть описана достаточно точно. Однако при этом нужно иметь в виду, что с увеличением степени полинома весьма существенно возрастает число оцениваемых параметров модели, что влечет за собой увеличение объема эксперимента и затрат на его реализацию.

Но прежде чем приступить к проведению эксперимента, необ­ходимо выделить наиболее существенные входные величины (факторы) из всей совокупности входных величин, оценить степень корреляции между ними и исключить из числа подлежащих регистрации те из них, которые сильно коррелированы с другими. Выделение наиболее существенных входных переменных производят, например, методом априорного ранжирования.

Как известно, любую функцию, если она не имеет бесконечных разрывов, можно разложить в степенной ряд Тейлора. Поэтому в теории эксперимента чаще всего математическое описание пред­ставляется в виде полинома путем разложения в ряд Тейлора (уравнение регрессии):

(4.4),

где b₀, b_j, b_ij, b_jj - постоянные коэффициенты уравнения, оценки которых необходимо определить в результате постановки и проведения данного пассивного эксперимента;

n — число наиболее существен­ных входных величин, полученных в результате отсеивающего экс­перимента.

Так как для обработки данных с целью отыскания оценок коэффициентов уравнения и для статистической оценки результатов пассивного эксперимента применяются методы регрессионного анализа, то должен быть выполнен ряд предпосылок:

1) результаты наблюдений у_и у₂,..., y_N выходной величины в точках факторного пространства представляют собой независи­мые случайные величины, распределенные по нормальному закону, а процесс изменения должен быть стационарным во времени;

2) дисперсия D_yi (l= ) этих случайных величин должны быть равны друг другу (выборочные оценки однородны);

3) все значения входных величин x_j (j= ) должны измеряться с пренебрежимо малой ошибкой по сравнению с ошибкой измерения выходной величины ;

4) входные величины x_j (j= ) не должны быть коррелированы между собой;

5) все соседние измерения по каждой j -и входной величине должны быть независимы.

Число коэффициентов уравнения (4.4) определяет объем эксперимента. Поэтому выбирают такой полином, который содержит как можно меньше коэффициентов, но удовлетворяет требованию простоты и адекватности, под которой понимается способность модели предсказывать результаты эксперимента и некоторой области с требуемой точностью.

Так как чаще всего исследователь не располагает достаточной информацией, то на предварительной стадии исследовании объекта обычно выбирают полином первой степени, предполагая, что параметры объекта лежат в области, в которой расположен экстремум исследуемой функции, и поэтому объект описывается ли­нейной моделью. Если же эта линейная модель оказывается неадекватной, то в нее включают члены парного взаимодействия x_ix_j, а при необходимости увеличивают степень полинома до тех пор, пока модель не окажется адекватной. В большинстве прак­тических случаев квадратичная модель оказывается достаточно работоспособной в пределах имеющихся ограничений.

В результате регрессионного анализа результатов пассивного эксперимента находятся оценки коэффициентов уравнения регрессии β ₀, β _j, β _ij, β _jj,...

Пассивный эксперимент с учетом условий накопления статистических данных может применяться для получения математичес­кого описания технологических процессов в производстве РЭА (изготовление печатных плат, оксидирование анодной фольги для электролитических конденсаторов, синтез ферритовых антенн, гальванические покрытия и т. п.), а также для моделирования процессов функционирования радиоэлектронных устройств.

Если объект исследования (конструкции РЭА, технологические процессы) допускает целенаправленное изменение всех наиболее существенных входных переменных (факторов) по заранее определенным образом составленной программе (матрице планирования) в требуемых диапазонах варьирования, то применяется активный эксперимент, частности, для построения математической модели объекта.

По результатам активного эксперимента, обработанными методами регрессионного анализа получают, как при пассивном эксперименте, полиномиальную математическую модель.

Факторами будем называть наиболее существенные входные величины, полученные в результате отсеивающих экспериментов, принимающие в некоторый момент времени определенное значение. Область определения фактораможет быть непрерывной и дискретной. В задачах планирования активного экспе­римента всегда используются дискретные области определения, а для факторов с непрерывной областью определения (температу­ра, время и т. п.) выбираются дискретные множества уровней. Кроме того, фактор должен быть управляемым (поддерживаемый постоянным в течение опыта или меняющимся по заданной прог­рамме), однозначным (не являющимся функцией других факто­ров), измеряемым с достаточно высокой точностью. В совокуп­ности факторы должны быть совместимы (их комбинации осуще­ствимы и безопасны), между ними не должно быть линейной кор­реляции.

Как правило, при активном эксперименте факторы варьируют­ся на двух уровнях (верхнем «+» и нижнем «–»), отличающихся от так называемого базового уровня x_бj (j= ) на значение шага варьирования ± x_j. В качестве базового уровня можно вы­бирать величину фактора, определенную по технологическому рег­ламенту. Следует иметь в виду, что малый шаг варьирования x_j(j = ) может повлечь статистическую незначимость оценки коэф­фициента уравнения регрессии. В случае если полученная мате­матическая модель окажется неадекватной, проводится экспери­мент с меньшим шагом варьирования, но тогда возникает опас­ность, что приращение выходной переменной при реализации с меньшим шагом варьирования может не проявляться на фоне шумов. Поэтому целесообразно для уточнения шага варьирова­ния проводить предварительные эксперименты.

Эксперимент, в котором реализуются все возможные неповто­ряющиеся сочетания уровней факторов, называется полным фак­торным экспериментом (ПФЭ). Число точек наблюдений в этом плане N=2ⁿ, где n — число факторов, варьируемых на двух уровнях. Условия эксперимента представляют в виде таблицы, на­зываемой матрицей планирования, где строки соответствуют раз­личным опытам, а столбцы — значениям факторов.

Например, в табл. 4.1 представлена матрица планирования ПФЭ 2² для двух независимых факторов, где «+» соответствует верхнему уровню варьирования фактором, а «-» - нижнему, число опытов N=4.

Таблица 4.1

Матрица планирования ПФЭ для двух независимых факторов

В план эксперимента введена фиктивная переменная х₀, которая служит для определения свободного числа уравнения регрессии b₀.

Для того чтобы получить план эксперимента для трех факто­ров x₁, x₂, x₃ к плану ПФЭ 2² добавляют один столбец, в котором фактор х₃ варьируется на нижнем уровне («-»), и повторя­ют этот план с варьированием фактора x_з на верхнем уровне («+») (табл. 4.2).

Таблица 4.2

Матрица планирования ПФЭ для трех независимых факторов

Такая же процедура повторяется для числа факторов n=4 и так далее.

В тех случаях, когда эффект фактора x_j зависит от уровня, на котором находится другой фактор x_i, имеет место взаимодействие двух факторов x_ji, для оценки которого вводят в матрицу плани­рования столбец произведений этих факторов (см. табл. 4.3).

Поскольку изменение выходной переменной носит случайный характер, то эксперимент проводится с т параллельными опытами и определяется среднее значение выходной переменной по каждой строке матрицы планирования y_g(g= ).

Чтобы исключить влияние систематических ошибок, вызванных наличием помех, используется случайная последовательность при постановке опытов, запланированных матрицей, т. е. опыты рандомизируются во времени.

Таблица 4.3

Матрица планирования ПФЭ с взаимодействующими факторами

Число опытов в ПФЭ значительно превосходит число определяемых коэффициентов модели, что приводит к большой избыточ­ности опытов. Кроме того, с помощью ПФЭ можно получить толь­ко либо линейную, либо неполноквадратичеекую математическую модель, так как из полного факторного эксперимента нельзя из­влечь информацию о квадратичных членах полинома.

В первом случае избыточность опытов используют для формирования планов дробного факторного эксперимента (ДФЭ), а во втором — при необходимости переходят к планам более высоко­го порядка, например композиционным планам второго порядка, в которых используются принципы ортогональности и ротатабельность и планирования.

В композиционных планах чаще всего используется критерий ортогональности и ротатабельности (рис. 4.3). Критерий ортогональности используется для упрощения вычислений и получения независимых оценок коэффициентов модели. Это значит, например что, замена нулем любого коэффициента в уравнении модели не изменит значений оценок оставшихся коэффициентов, что весьма существенно, когда точный вид модели неизвестен и приходится использовать экспериментальные данные для отбора переменных, существенно влияющих на выходную переменную, путем проверки статистической значимости коэффициентов уравнения регрессии.

Рис. 4.3. Композиционный план второго порядка для n = 3

Критерий ротатабельности требует такого расположения экспериментальных точек в области планирования, при котором дисперсия s². оценки значений выходной переменной в точке наблюдения зависит только от расстояния от этой точки до центра плана и хорошо согласуется с требованием равнозначности всех направлений от центра плана.

В ортогональном центральном композиционном планировании критерием оптимальности плана является ортогональность столбцовматрицы планирования. В силу ортогональности планирования все коэффициенты регрессии определяются независимо друг от друга. Ядро плавна составляет план ПФЭ (при n ≤ 4) либо ДФЭ 2^n-p (при п > 4). Число «звездных точек» выбирается равным 2n, а число центральных (нулевых) точек; N₀ = l.

В отличие от ортогональных планов ротатабельные центральные планы оптимальны в том смысле, что они позволяют минимизировать систематические ошибки, связанные с неадекватностью представления результатов исследования полиномом второго порядка, и дают возможность получить математическое описание, обеспечивающее одинаковую точность во всех направлениях на одинаковом расстоянии от центра планирования. Ротатабельный центральный композиционный план строится аналогично ортого­нальному плану.

Рассмотрим основные расчетные выражения для полного и дробного факторного эксперимента.

1. Преобразование факторов x_j (j= ) в безразмерные вели­чины производят по формуле

, (4.5)

где x_j — верхний или нижний уровень варьирования;

x_bj — базо­вый уровень j -го фактора;

x_j — шаг варьирования j -го фактора.

В матрице планирования верхнему уровню x_jВ соответствует «+1», а нижнему x_iH — «-1» (для упрощения записи «+» и «-»).

2. После проведения опытов производится проверка воспроизводимости опытов с использованием критерия Кокрена:

, (4.6)

где - выборочная дисперсия выходной величины по l- й. строке матрицы планирования, полученная из т параллельных опытов;

, (4.7)

где y_lg — значение выходной величины по 1-й строке матрицы пла­нирования ( из g-ro параллельного опыта();

— среднее значение выходной переменной, полученное из параллель­ных опытов по l -й строке матрицы планирования; N — число опытов (N=2ⁿ).

Если вычисленное значение G _maxокажется меньше критического G _крит при числе степеней свободы f₁ = (m - 1) и f₂=N и заданном уровне значимости q, %, то гипотеза об однородности дисперсий принимается.

3. Оценки коэффициентов уравнения регрессии рассчитываются по формулам:

или , (4.8)

или , (4.9)

или , (4.10)

где индекс j принимает значения 1, 2,..., n (n — число линейных эффектов); индекс ij принимает значения, соответствующие оцениваемым взаимодействиями;

— значения факторов в условныхпеременных («+1» или «-1»).

4. Гипотеза о статистической значимости коэффициентов регрессии проверяется с помощью t -критерия Стьюдента, который формируется как

, (4.11)

где — оценка дисперсии ошибки определения коэффициента no статистическим данным;

, (4.12)

а оценка дисперсии воспроизводимости

, (4.13)

Если найденный t -критерий для соответствующей оценки коэффициента регрессии окажется больше критического t _крит, при числе степеней свободы f = N(m —1) и уровне значимости q %, то данный коэффициент регрессии является статистически значимым. Незначимы будут коэффициенты регрессии, которых t _расч < t _крит, и они из уравнения регрессии исключаются.

5. Проверка гипотезы об адекватности математического описания результатам эксперимента с использованием F -критерия Фишера в виде отношения

(4.14)

где s² _ад — оценка дисперсии неадекватности;

s²_y — оценка дисперсии воспроизводимости.

Оценка дисперсии неадекватности

, (4.15)

где d — число членов аппроксимирующего полинома.

Рассчитанное значение F -критерия по формуле (4.14) сравнивается с критической величиной при заданных уровне значимости q, %, и степенях свободы f₁ = N—d, f₂=N(m—1). Если F _расч < F _крит, то гипотеза об адекватности математического описания результатам эксперимента принимается.

Ортогональное центральное композиционное планирование включает поиск следующих величин.

1. Общее число точек плана эксперимента

,

где N_o — число центральных (нулевых) точек;

п — число факто­ров Xj

— число точек факторного пространства (для ПФЭ р = 0).

2. Величина , вводимая для обеспечения ортогональности пла­на,

где а — размер «звездного плеча», зависящий от числа факто­ров п.

3. Проверка гипотезы воспроизводимости опытов проводится по G -критерию (4.15), а адекватности математического описания — с помощью F критерия Фишера (4.14), так же как при обработке результатов наблюдений ПФЭ и ДФЭ.

4. Оценки коэффициентов уравнения регрессии:

_{N _}

β i = c₁ Ʃ z _li Y _lср

l=1

_{N _}

β ij = c₂ Ʃ z _li z _lj Y _lср

l=1

(4.16)

_{N _}

β ii = c₃ Ʃ z _li ² Y _lср

l=1

где c ₁, c ₂, c ₃, — элементы дисперсионной матрицы плана, значения которых зависят от числа факторов n, а статистическая значимость коэффициентов уравнения регрессии оценивается по t -критерию Стьюдента (4.11) со степенями свобо­ды f=N(m- 1 ) при оценках дисперсии соответствующих коэффи­циентов уравнения регрессии:

(4.17)

6. Уравнение регрессии записывается в следующей форме:

, (4.18)

где коэффициент уравнения регрессии

_{N n _}

β ₀ = 1 Ʃ Y _lср - γ Ʃ β ii,

N ^{l=1 i=1} (4.19)

дисперсия которого

;

;

,

где — элемент дисперсионной матрицы плана.

Рассмотрим основные расчетные выражения для ротатабельное центрального композиционного планирования.

План эксперимента строится аналогично ортогональному плану. Проведение эксперимента, проверки воспроизводимости, статистической значимости коэффициентов уравнения регрессии, адекватности математического описания производятся аналогично ортогональному центральному композиционному планированию.

Оценки коэффициентов уравнения регрессии рассчитывают по следующим формулам:

;

;

;

где

;

;

.

При этом оценки дисперсий коэффициентов регрессии опреде­ляются следующим образом:

;

;

;

со степенями свободы N (m—1).

Остальные формулы для расчета такие же, как при ортогональном центральном композиционном планировании.