Нормальный закон распределения вероятностей

Без преувеличения его можно назвать философским законом. Наблюдая за различными объектами и процессами окружающего мира, мы часто сталкиваемся с тем, что чего-то бывает мало, и что бывает норма:


Перед вами принципиальный вид функции плотности нормального распределения вероятностей, и я приветствую вас на этом интереснейшем уроке.

Какие можно привести примеры? Их просто тьма. Это, например, рост, вес людей (и не только), их физическая сила, умственные способности и т.д. Существует «основная масса» (по тому или иному признаку) и существуют отклонения в обе стороны.

Это различные характеристики неодушевленных объектов (те же размеры, вес). Это случайная продолжительность процессов…, снова пришёл на ум грустный пример, и поэтому скажу время «жизни» лампочек:) Из физики вспомнились молекулы воздуха: среди них есть медленные, есть быстрые, но большинство двигаются со «стандартными» скоростями.

Далее отклоняемся от центра ещё на одно стандартное отклонение и рассчитываем высоту:

Отмечаем точки на чертеже (зелёный цвет) и видим, что этого вполне достаточно.

На завершающем этапе аккуратно чертим график, и особо аккуратно отражаем его выпуклость / вогнутость ! Ну и, наверное, вы давно поняли, что ось абсцисс – это горизонтальная асимптота , и «залезать» за неё категорически нельзя!

При электронном оформлении решения график легко построить в Экселе, и неожиданно для самого себя я даже записал короткий видеоролик на эту тему. Но сначала поговорим о том, как меняется форма нормальной кривой в зависимости от значений и .

При увеличении или уменьшении «а» (при неизменном «сигма») график сохраняет свою форму и перемещается вправо / влево соответственно. Так, например, при функция принимает вид и наш график «переезжает» на 3 единицы влево – ровнехонько в начало координат:


Нормально распределённая величина с нулевым математическим ожиданием получила вполне естественное название – центрированная ; её функция плотности – чётная , и график симметричен относительно оси ординат.

В случае изменения «сигмы» (при постоянном «а») , график «остаётся на месте», но меняет форму. При увеличении он становится более низким и вытянутым, словно осьминог, растягивающий щупальца. И, наоборот, при уменьшении график становится более узким и высоким – получается «удивлённый осьминог». Так, при уменьшении «сигмы» в два раза: предыдущий график сужается и вытягивается вверх в два раза:

Всё в полном соответствии с геометрическими преобразованиями графиков .

Нормальное распределёние с единичным значением «сигма» называется нормированным , а если оно ещё и центрировано (наш случай), то такое распределение называют стандартным . Оно имеет ещё более простую функцию плотности, которая уже встречалась в локальной теореме Лапласа : . Стандартное распределение нашло широкое применение на практике, и очень скоро мы окончательно поймём его предназначение.

Ну а теперь смотрим кино:

Да, совершенно верно – как-то незаслуженно у нас осталась в тени функция распределения вероятностей . Вспоминаем её определение :
– вероятность того, что случайная величина примет значение, МЕНЬШЕЕ, чем переменная , которая «пробегает» все действительные значения до «плюс» бесконечности.

Внутри интеграла обычно используют другую букву, чтобы не возникало «накладок» с обозначениями, ибо здесь каждому значению ставится в соответствие несобственный интеграл , который равен некоторому числу из интервала .

Почти все значения не поддаются точному расчету, но как мы только что видели, с современными вычислительными мощностями с этим нет никаких трудностей. Так, для функции стандартного распределения соответствующая экселевская функция вообще содержит один аргумент:

=НОРМСТРАСП(z)

Раз, два – и готово:

На чертеже хорошо видно выполнение всех свойств функции распределения , и из технических нюансов здесь следует обратить внимание на горизонтальные асимптоты и точку перегиба .

Теперь вспомним одну из ключевых задач темы, а именно выясним, как найти –вероятность того, что нормальная случайная величина примет значение из интервала . Геометрически эта вероятность равна площади между нормальной кривой и осью абсцисс на соответствующем участке:

но каждый раз вымучивать приближенное значение неразумно, и поэтому здесь рациональнее использовать «лёгкую» формулу :
.

! Вспоминает также , что

Тут можно снова задействовать Эксель, но есть пара весомых «но»: во-первых, он не всегда под рукой, а во-вторых, «готовые» значения , скорее всего, вызовут вопросы у преподавателя. Почему?

Об этом я неоднократно рассказывал ранее: в своё время (и ещё не очень давно) роскошью был обычный калькулятор, и в учебной литературе до сих пор сохранился «ручной» способ решения рассматриваемой задачи. Его суть состоит в том, чтобы стандартизировать значения «альфа» и «бета», то есть свести решение к стандартному распределению:

Примечание : функцию легко получить из общего случая с помощью линейной замены . Тогда и:

и из проведённой замены как раз следует формула перехода от значений произвольного распределения – к соответствующим значениям стандартного распределения.

Зачем это нужно? Дело в том, что значения скрупулезно подсчитаны нашими предками и сведены в специальную таблицу, которая есть во многих книгах по терверу. Но ещё чаще встречается таблица значений , с которой мы уже имели дело в интегральной теореме Лапласа :

Если же в нашем распоряжении есть таблица значений функции Лапласа , то решаем через неё:

Дробные значения традиционно округляем до 4 знаков после запятой, как это сделано в типовой таблице. И для контроля есть Пункт 5 макета .

Напоминаю, что , и во избежание путаницы всегда контролируйте , таблица КАКОЙ функции перед вашими глазами.

Ответ требуется дать в процентах, поэтому рассчитанную вероятность нужно умножить на 100 и снабдить результат содержательным комментарием:

– с перелётом от 5 до 70 м упадёт примерно 15,87% снарядов

Тренируемся самостоятельно:

Пример 3

Диаметр подшипников, изготовленных на заводе, представляет собой случайную величину, распределенную нормально с математическим ожиданием 1,5 см и средним квадратическим отклонением 0,04 см. Найти вероятность того, что размер наугад взятого подшипника колеблется от 1,4 до 1,6 см.

В образце решения и далее я буду использовать функцию Лапласа, как самый распространённый вариант. Кстати, обратите внимание, что согласно формулировке, здесь можно включить концы интервала в рассмотрение. Впрочем, это не критично.

И уже в этом примере нам встретился особый случай – когда интервал симметричен относительно математического ожидания. В такой ситуации его можно записать в виде и, пользуясь нечётностью функции Лапласа, упростить рабочую формулу:

Параметр «дельта» называют отклонением от математического ожидания, и двойное неравенство можно «упаковывать» с помощью модуля :

– вероятность того, что значение случайной величины отклонится от математического ожидания менее чем на .

Хорошо то решение, которое умещается в одну строчку:)
– вероятность того, что диаметр наугад взятого подшипника отличается от 1,5 см не более чем на 0,1 см.

Результат этой задачи получился близким к единице, но хотелось бы ещё бОльшей надежности – а именно, узнать границы, в которых находится диаметр почти всех подшипников. Существует ли какой-нибудь критерий на этот счёт? Существует! На поставленный вопрос отвечает так называемое

правило «трех сигм»

Его суть состоит в том, что практически достоверным является тот факт, что нормально распределённая случайная величина примет значение из промежутка .

И в самом деле, вероятность отклонения от матожидания менее чем на составляет:
или 99,73%

В «пересчёте на подшипники» – это 9973 штуки с диаметром от 1,38 до 1,62 см и всего лишь 27 «некондиционных» экземпляров.

В практических исследованиях правило «трёх сигм» обычно применяют в обратном направлении: если статистически установлено, что почти все значения исследуемой случайной величины укладываются в интервал длиной 6 стандартных отклонений, то появляются веские основания полагать, что эта величина распределена по нормальному закону. Проверка осуществляется с помощью теории статистических гипотез , до которых я надеюсь рано или поздно добраться:)

Ну а пока продолжаем решать суровые советские задачи:

Пример 4

Случайная величина ошибки взвешивания распределена по нормальному закону с нулевым математическим ожиданием и стандартным отклонением 3 грамма. Найти вероятность того, что очередное взвешивание будет проведено с ошибкой, не превышающей по модулю 5 грамм.

Решение очень простое. По условию, и сразу заметим, что при очередном взвешивании (чего-то или кого-то) мы почти 100% получим результат с точностью до 9 грамм. Но в задаче фигурирует более узкое отклонение и по формуле :

– вероятность того, что очередное взвешивание будет проведено с ошибкой, не превышающей 5 грамм.

Ответ :

Прорешанная задача принципиально отличается от вроде бы похожего Примера 3 урока о равномерном распределении . Там была погрешность округления результатов измерений, здесь же речь идёт о случайной погрешности самих измерений. Такие погрешности возникают в связи с техническими характеристиками самого прибора (диапазон допустимых ошибок, как правило, указывают в его паспорте) , а также по вине экспериментатора – когда мы, например, «на глазок» снимаем показания со стрелки тех же весов.

Помимо прочих, существуют ещё так называемые систематические ошибки измерения. Это уже неслучайные ошибки, которые возникают по причине некорректной настройки или эксплуатации прибора. Так, например, неотрегулированные напольные весы могут стабильно «прибавлять» килограмм, а продавец систематически обвешивать покупателей. Или не систематически ведь можно обсчитать. Однако, в любом случае, случайной такая ошибка не будет, и её матожидание отлично от нуля.

…срочно разрабатываю курс по подготовке продавцов =)

Самостоятельно решаем обратную задачу:

Пример 5

Диаметр валика – случайная нормально распределенная случайная величина, среднее квадратическое отклонение ее равно мм. Найти длину интервала, симметричного относительно математического ожидания, в который с вероятностью попадет длина диаметра валика.

Пункт 5* расчётного макета в помощь. Обратите внимание, что здесь не известно математическое ожидание, но это нисколько не мешает решить поставленную задачу.

И экзаменационное задание, которое я настоятельно рекомендую для закрепления материала:

Пример 6

Нормально распределенная случайная величина задана своими параметрами (математическое ожидание) и (среднее квадратическое отклонение). Требуется:

а) записать плотность вероятности и схематически изобразить ее график;
б) найти вероятность того, что примет значение из интервала ;
в) найти вероятность того, что отклонится по модулю от не более чем на ;
г) применяя правило «трех сигм», найти значения случайной величины .

Такие задачи предлагаются повсеместно, и за годы практики мне их довелось решить сотни и сотни штук. Обязательно попрактикуйтесь в ручном построении чертежа и использовании бумажных таблиц;)

Ну а я разберу пример повышенной сложности:

Пример 7

Плотность распределения вероятностей случайной величины имеет вид . Найти , математическое ожидание , дисперсию , функцию распределения , построить графики плотности и функции распределения, найти .

Решение : прежде всего, обратим внимание, что в условии ничего не сказано о характере случайной величины. Само по себе присутствие экспоненты ещё ничего не значит: это может оказаться, например, показательное или вообще произвольное непрерывное распределение . И поэтому «нормальность» распределения ещё нужно обосновать:

Так как функция определена при любом действительном значении , и её можно привести к виду , то случайная величина распределена по нормальному закону.

Приводим. Для этого выделяем полный квадрат и организуем трёхэтажную дробь :


Обязательно выполняем проверку, возвращая показатель в исходный вид:

, что мы и хотели увидеть.

Таким образом:
– по правилу действий со степенями «отщипываем» . И здесь можно сразу записать очевидные числовые характеристики:

Теперь найдём значение параметра . Поскольку множитель нормального распределения имеет вид и , то:
, откуда выражаем и подставляем в нашу функцию:
, после чего ещё раз пробежимся по записи глазами и убедимся, что полученная функция имеет вид .

Построим график плотности:

и график функции распределения :

Если под рукой нет Экселя и даже обычного калькулятора, то последний график легко строится вручную! В точке функция распределения принимает значение и здесь находится

Рассмотрим две независимые случайные величины и , подчиненные нормальным законам:

, (12.6.1)

. (12.6.2)

Требуется произвести композицию этих законов, т. е. найти закон распределения величины:

Применим общую формулу (12.5.3) для композиции законов распределения:

. (12.6.3)

Если раскрыть скобки в показателе степени подынтегральной функции и привести подобные члены, получим:

,

;

;

.

Подставляя эти выражения в уже встречавшуюся нам формулу (9.1.3):

, (12.6.4)

после преобразований получим:

, (12.6.5)

а это есть не что иное, как нормальный закон с центром рассеивания

и средним квадратическим отклонением

. (12.6.7)

К тому же выводу можно прийти значительно проще с помощью следующих качественных рассуждений.

Не раскрывая скобок и не производя преобразований в подынтегральной функции (12.6.3), сразу приходим к выводу, что показатель степени есть квадратный трехчлен относительно вида

,

где в коэффициент величина не входит совсем, в коэффициент входит в первой степени, а в коэффициент - в квадрате. Имея это в виду и применяя формулу (12.6.4), приходим к заключению, что есть показательная функция, показатель степени которой - квадратный трехчлен относительно , а плотность распределения такого вида соответствует нормальному закону. Таким образом, мы приходим к чисто качественному выводу: закон распределения величины должен быть нормальным.

Чтобы найти параметры этого закона - и - воспользуемся теоремой сложения математических ожиданий и теоремой сложения дисперсий. По теореме сложения математических ожиданий

По теореме сложения дисперсий

откуда следует формула (12.6.7).

Переходя от средних квадратических отклонений к пропорциональным им вероятным отклонениям, получим:

Таким образом, мы пришли к следующему правилу: при композиции нормальных законов получается снова нормальный закон, причем математические ожидания и дисперсии (или квадраты вероятных отклонений) суммируются.

Правило композиции нормальных законов может быть обобщено на случай произвольного числа независимых случайных величин.

Если имеется независимых случайных величин:

подчиненных нормальным законам с центрами рассеивания

и средними квадратическими отклонениями

,

то величина

также подчинена нормальному закону с параметрами

Вместо формулы (12.6.12) можно применять равносильную ей формулу:

Если система случайных величин распределена по нормальному закону, но величины зависимы, то нетрудно доказать, так же как раньше, исходя из общей формулы (12.5.1), что закон распределения величины

есть тоже нормальный закон. Центры рассеивания по-прежнему складываются алгебраически, но для средних квадратических отклонений правило становится более сложным:

, (12.6.14)

где - коэффициент корреляции величин и .

При сложении нескольких зависимых случайных величин, подчиненных в своей совокупности нормальному закону, закон распределения суммы также оказывается нормальным с параметрами

, (12.6.16)

или в вероятных отклонениях

, (12.6.17)

где - коэффициент корреляции величин , а суммирование распространяется на все различные попарные комбинации величин .

Мы убедились в весьма важном свойстве нормального закона: при композиции нормальных законов получается снова нормальный закон. Это - так называемое «свойство устойчивости». Закон распределения называется устойчивым, если при композиции двух законов этого типа получается снова закон того же типа. Выше мы показали, что нормальный закон является устойчивым. Свойством устойчивости обладают весьма немногие законы распределения. В предыдущем (пример 2) мы убедились, что, например, закон равномерной плотности неустойчив: при композиции двух законов равномерной плотности на участках от 0 до 1 мы получили закон Симпсона.

Устойчивость нормального закона - одно из существенных условий его широкого распространения на практике. Однако свойством устойчивости, кроме нормального, обладают и некоторые другие законы распределения. Особенностью нормального закона является то, что при композиции достаточно большого числа практически произвольных законов распределения суммарный закон оказывается сколь угодно близок к нормальному вне зависимости от того, каковы были законы распределения слагаемых. Это можно проиллюстрировать, например, составляя композицию трех законов равномерной плотности на участках от 0 до 1. Получающийся при этом закон распределения изображен на рис. 12.6.1. Как видно из чертежа, график функции весьма напоминает график нормального закона.

Нормальное распределение (распределение Гаусса) всегда играло центральную роль в теории вероятностей, так как возникает очень часто как результат воздействия множества факторов, вклад любого одного из которых ничтожен. Центральная предельная теорема (ЦПТ), находит применение фактически во всех прикладных науках, делая аппарат статистики универсальным. Однако, весьма часты случаи, когда ее применение невозможно, а исследователи пытаются всячески организовать подгонку результатов под гауссиану. Вот про альтернативный подход в случае влияния на распределение множества факторов я сейчас и расскажу.

Краткая история ЦПТ. Еще при живом Ньютоне Абрахам де Муавр доказал теорему о сходимости центрированного и нормированного числа наблюдений события в серии независимых испытаний к нормальному распределению. Весь 19 и начало 20 веков эта теорема послужила ученым образцом для обобщений. Лаплас доказал случай равномерного распределения, Пуассон – локальную теорему для случая с разными вероятностями. Пуанкаре, Лежандр и Гаусс разработали богатую теорию ошибок наблюдений и метод наименьших квадратов, опираясь на сходимость ошибок к нормальному распределению. Чебышев доказал еще более сильную теорему для суммы случайных величин, походу разработав метод моментов. Ляпунов в 1900 году, опираясь на Чебышева и Маркова, доказал ЦПТ в нынешнем виде, но только при существовании моментов третьего порядка. И только в 1934 году Феллер поставил точку, показав, что существование моментов второго порядка, является и необходимым и достаточным условием.

ЦПТ можно сформулировать так: если случайные величины независимы, одинаково распределены и имеют конечную дисперсию отличную от нуля, то суммы (центрированные и нормированные) этих величин сходятся к нормальному закону. Именно в таком виде эту теорему и преподают в вузах и ее так часто используют наблюдатели и исследователи, которые не профессиональны в математике. Что в ней не так? В самом деле, теорема отлично применяется в областях, над которыми работали Гаусс, Пуанкаре, Чебышев и прочие гении 19 века, а именно: теория ошибок наблюдений, статистическая физика, МНК, демографические исследования и может что-то еще. Но ученые, которым не достает оригинальности для открытий, занимаются обобщениями и хотят применить эту теорему ко всему, или просто притащить за уши нормальное распределение, где его просто быть не может. Хотите примеры, они есть у меня.

Коэффициент интеллекта IQ. Изначально подразумевает, что интеллект людей распределен нормально. Проводят тест, который заранее составлен таким образом, при котором не учитываются незаурядные способности, а учитываются по-отдельности с одинаковыми долевыми факторами: логическое мышление, мысленное проектирование, вычислительные способности, абстрактное мышление и что-то еще. Способность решать задачи, недоступные большинству, или прохождение теста за сверхбыстрое время никак не учитывается, а прохождение теста ранее, увеличивает результат (но не интеллект) в дальнейшем. А потом филистеры и полагают, что «никто в два раза умнее их быть не может», «давайте у умников отнимем и поделим».

Второй пример: изменения финансовых показателей. Исследования изменения курса акций, котировок валют, товарных опционов требует применения аппарата математической статистики, а особенно тут важно не ошибиться с видом распределения. Показательный пример: в 1997 году нобелевская премия по экономике была выплачена за предложение модели Блэка - Шоулза, основанной на предположении нормальности распределения прироста фондовых показателей (так называемый белый шум). При этом авторы явно заявили, что данная модель нуждается в уточнении, но всё, на что решилось большинство дальнейших исследователей – просто добавить к нормальному распределению распределение Пуассона. Здесь, очевидно, будут неточности при исследовании длинных временных рядов, так как распределение Пуассона слишком хорошо удовлетворяет ЦПТ, и уже при 20 слагаемых неотличимо от нормального распределения. Гляньте на картинку снизу (а она из очень серьезного экономического журнала), на ней видно, что, несмотря на достаточно большое количество наблюдений и очевидные перекосы, делается предположение о нормальности распределения.

Весьма очевидно, что нормальными не будет распределения заработной платы среди населения города, размеров файлов на диске, населения городов и стран.

Общее у распределений из этих примеров – наличие так называемого «тяжелого хвоста», то есть значений, далеко лежащих от среднего, и заметной асимметрии, как правило, правой. Рассмотрим, какими еще, кроме нормального могли бы быть такие распределения. Начнем с упоминаемого ранее Пуассона: у него есть хвост, но мы же хотим, чтобы закон повторялся для совокупности групп, в каждой из которых он наблюдается (считать размер файлов по предприятию, зарплату по нескольким городам) или масштабировался (произвольно увеличивать или уменьшать интервал модели Блэка - Шоулза), как показывают наблюдения, хвосты и асимметрия не исчезают, а вот распределение Пуассона, по ЦПТ, должно стать нормальным. По этим же соображениям не подойдут распределения Эрланга, бета, логонормальное, и все другие, имеющие дисперсию. Осталось только отсечь распределение Парето, а вот оно не подходит в связи с совпадением моды с минимальным значением, что почти не встречается при анализе выборочных данных.

Распределения, обладающее необходимыми свойствами, существуют и носят название устойчивых распределений. Их история также весьма интересна, а основная теорема была доказана через год после работы Феллера, в 1935 году, совместными усилиями французского математика Поля Леви и советского математика А.Я. Хинчина. ЦПТ была обобщена, из нее было убрано условие существования дисперсии. В отличие от нормального, ни плотность ни функция распределения у устойчивых случайных величин не выражаются (за редким исключением, о котором ниже), все что о них известно, это характеристическая функция (обратное преобразование Фурье плотности распределения, но для понимания сути это можно и не знать).
Итак, теорема: если случайные величины независимы, одинаково распределены, то суммы этих величин сходятся к устойчивому закону.

Теперь определение. Случайная величина X будет устойчивой тогда и только тогда, когда логарифм ее характеристической функции представим в виде:

В самом деле, ничего сильно сложного здесь нет, просто надо объяснить смысл четырех параметров. Параметры сигма и мю – обычные масштаб и смещение, как и в нормальном распределении, мю будет равно математическому ожиданию, если оно есть, а оно есть, когда альфа больше одного. Параметр бета – асимметрия, при его равенстве нулю, распределение симметрично. А вот альфа это характеристический параметр, обозначает какого порядка моменты у величины существуют, чем он ближе к двум, тем больше распределение похоже на нормальное, при равенстве двум распределение становиться нормальным, и только в этом случае у него существуют моменты больших порядков, также в случае нормального распределения, асимметрия вырождается. В случае, когда альфа равна единице, а бета нулю, получается распределение Коши, а в случае, когда альфа равна половине, а бета единице – распределение Леви, в других случаях не существует представления в квадратурах для плотности распределения таких величин.
В 20 веке была разработана богатая теория устойчивых величин и процессов (получивших название процессов Леви), показана их связь с дробными интегралами, введены различные способы параметризации и моделирования, несколькими способами были оценены параметры и показана состоятельность и устойчивость оценок. Посмотрите на картинку, на ней смоделированная траектория процесса Леви с увеличенным в 15 раз фрагментом.

Именно занимаясь такими процессами и их приложением в финансах, Бенуа Мандельброт придумал фракталы. Однако не везде было так хорошо. Вторая половина 20 века прошла под повальным трендом прикладных и кибернетических наук, а это означало кризис чистой математики, все хотели производить, но не хотели думать, гуманитарии со своей публицистикой оккупировали математические сферы. Пример: книга «Пятьдесят занимательных вероятностных задач с решениями» американца Мостеллера, задача №11:

Авторское решение этой задачи, это просто поражение здравого смысла:

Такая же ситуация и с 25 задачей, где даются ТРИ противоречащих ответа.

Но вернемся к устойчивым распределениям. В оставшейся части статьи я попытаюсь показать, что не должно возникать дополнительных сложностей при работе с ними. А именно, существуют численные и статистические методы, позволяющие оценивать параметры, вычислять функцию распределения и моделировать оные, то есть работать так же, как и с любым другим распределением.

Моделирование устойчивых случайных величин. Так как все познается в сравнении, то напомню сначала наиболее удобный, с точки зрения вычислений, метод генерирования нормальной величины (метод Бокса – Мюллера): если – базовые случайные величины (равномерно распределены на }