Операции над нечеткими множествами. Задача об управления кондиционером. Некоторые сведения о мозге

21.09.2019

Логические операции

Включение. Пусть А и В - нечеткие множества на уни­версальном множестве Е. Говорят, что А содержится в В, если

Обозначение: А В.

Иногда используют термин доминирование, т.е. в случае, ко­гда А В, говорят, что В доминирует А.

Равенство. А и В равны, если

Обозначение: А = В.

Дополнение. Пусть М = , А и В – нечеткие множества, заданные на Е. А и В дополняют друг друга, если

Обозначение:

Очевидно, что (дополнение определено для М = , но очевидно, что его можно определить для любого упорядочен­ного М).

Пересечение. А В - наибольшее нечеткое подмножество, содержащееся одновременно в А и В:

Объединение. A В - наименьшее нечеткое подмножество, включающее как А, так и В, с функцией принадлежности:

Разность. с функцией принадлежности:

Дизъюнктивная сумма

А В = (A - B ) ∪ (B - A ) = (A ̅ B ) ∪ ( ̅A ⋂ B )

с функцией принадлежности:

Примеры. Пусть


Здесь:

1) А ⊂ В, т. е. А содержится в B или B доминирует А ; С несравнимо ни с A , ни с В, т.е. пары {А, С } и {А, С } - пары недоминируемых нечетких множеств.

2) A B C

3) ̅A = 0,6/x 1 + 0,8/x 2 + 1/x 3 + 0/x 4 ; ̅B = 0,3/x 1 + 0,1/x 2 + 0,9/x 3 +0/x 4 .

4) А В = 0,4/x 1 + 0,2/x 2 + 0/x 3 + 1 /х 4 .

5) A В = 0,7/ x 1 + 0,9/x 2 + 0,1/x 3 + 1/x 4 .

6) А - В = А ̅В = 0,3/x 1 + 0,l/x 2 + 0/x 3 + 0/x 4 ;

В - А= ̅А В = 0,6/x 1 + 0,8/x 2 + 0,l/x 3 + 0/x 4 .

7) А В = 0,6/x 1 + 0,8/x 2 + 0,1/x 3 + 0/x 4 .

Наглядное представление логических операций над нечеткими множествами. Для нечетких множеств можно строить визуальное представление. Рассмотрим прямоуголь­ную систему координат, на оси ординат которой откладываются значения μ А (х), на оси абсцисс в произвольном порядке распо­ложены элементы Е (мы уже использовали такое представление в примерах нечетких множеств). Если Е по своей природе упо­рядочено, то этот порядок желательно сохранить в расположении элементов на оси абсцисс. Такое представление делает нагляд­ными простые логические операции над нечеткими множествами (см. рис. 1.3).

Рис. 1.3. Графическая интерпретация логических операций: α - нечеткое мно­жество А; б - нечеткое множество ̅А, в - А ̅А; г - A ̅А

На рис. 1.3α заштрихованная часть соответствует нечеткому множеству А и, если говорить точно, изображает область значений А и всех нечетких множеств, содержащихся в А. На рис. 1.3б , в, г даны ̅А, А ̅ A , A U ̅А.

Свойства операций и

Пусть А, В, С - нечеткие множества, тогда выполняются сле­дующие свойства:


В отличие от четких множеств, для нечетких множеств в общем

случае:

A ̅A ≠ ∅, A ∪ ̅A ≠ E

(что, в частности, проиллюстрировано выше в примере наглядного представления нечетких множеств).

Замечание . Введенные выше операции над нечеткими мно­жествами основаны на использовании операций maxи min. В те­ории нечетких множеств разрабатываются вопросы построения обобщенных, параметризованных операторов пересечения, объеди­нения и дополнения, позволяющих учесть разнообразные смысло­вые оттенки соответствующих им связок «и», «или», «не».

Один из подходов к операторам пересечения и объединения за­ключается в их определении в классе треугольных норм и конорм.

Треугольной нормой (t -нормой ) называется двуместная дей­ствительная функция T : x → , удовлетворяющая следующим условиям:


Примеры треугольных норм

min(μ A , μ B )

произведение μ A · μ B

max(0, μ A + μ B - 1 ).

Треугольной конормой (t -конормой ) называется двуместная действительная функция S : x → со свойствами:


Примеры t -конорм

max(μ A , μ B )

μ A + μ B - μ A · μ B

min(1, μ A + μ B ).

Алгебраические операции над нечеткими множествами

Алгебраическое произведение А иВ обозначается A · В и опре­деляется так:

Алгебраическая сумма этих множеств обозначается А+ В и определяется так:

Для операций {-, +} выполняются свойства:

Не выполняются:


Замечание. При совместном использовании операций { U, ⋂, + , } выполняются свойства:


На основе операции алгебраического произведения определя­ется операция возведения в степень α нечеткого множества А, где α - положительное число. Нечеткое множество А α опреде­ляется функцией принадлежности μ α A = μ α A (x ). Частным случаем возведения в степень являются:

1) CON(А ) = А 2 - операция концентрирования (уплотне­ния );

2) DIL(А ) = А 0,5 - операция растяжения,

которые используются при работе с лингвистическими неопреде­ленностями (рис. 1.4).


Рис. 1.4. Иллюстрация к понятию операций концентрирования (уплотнения) и растяжения

Умножение на число. Если α - положительное число, такое, что , то нечеткое множество αА имеет функцию принадлежности:

μ αА (х) = αμ A (x ).

Выпуклая комбинация нечетких множеств. Пусть A 1 , А 2 ,... , А n - нечеткие множества универсального множества Е, aω 1 , ω 2 , …, ω n - неотрицательные числа, сумма которых равна 1.

Выпуклой комбинацией A 1 , А 2 , ..., А n называется нечеткое множество А с функцией принадлежности:

Декартово (прямое ) произведение нечетких множеств. Пусть A 1 , А 2 , ..., А n - нечеткие подмножества универсальных множеств Е 1 , Е 2 ,… , Е n соответственно. Декартово, или прямое произведение А = А 1 x А 2 x... x А n является нечетким подмно­жеством множества Е = Е 1 x Е 2 x... x Е n с функцией принад­лежности:

Оператор увеличения нечеткости используется для преобра­зования четких множеств в нечеткие и для увеличения нечеткости нечеткого множества.

Пусть А - нечеткое множество, Е - универсальное множество и для всех х ϵ Е определены нечеткие множества К(х). Совокуп­ность всех К(х) называется ядром оператора увеличения нечетко­сти Ф. Результатом действия оператора Ф на нечеткое множество А является нечеткое множество вида


где μ А (х)К(х) - произведение числа на нечеткое множество.

Пример . Пусть

Е = {1,2,3,4}; А = 0,8/1+ 0,6/2+ 0/3+ 0/4; К (1)= 1/1 + 0,4/2;

К (2) = 1/2 + 0,4/1 + 0,4/3; К (3) = 1/3 + 0,5/4; К (4)= 1/4.

Тогда

Четкое множество α-уровня (или уровня α). Множеством α-уровня нечеткого множества А универсального множества Е на­зывается четкое подмножество А α универсального множества Е, определяемое в виде

А α = { x /μ A (x ) ≥ α },

где α ≤ 1.

Пример. Пусть А = 0,2/ x 1 + 0/x 2 + 0,5/x 3 + 1/x 4 , тогда A 0,3 = { x 3 , x 4 }, A 0,7 = { х 4 }.

Достаточно очевидное свойство: если α 1 ≥ 2, то А α1 А α2 .

Алгебраическое произведение A и B обозначается AB и определяется так:

xE  AB (x ) =  A (x ) B (x ).

Алгебраическая сумма этих множеств обозначается и определяется так:

xE =  A (x ) +  B (x ) A (x ) B (x ).

Для операций {, } выполняются свойства:

- коммутативность;

- ассоциативность;

A = , A  = A, AE = A, A E = E

- теоремы де Моргана.

Не выполняются:

Идемпотентность;

- дистрибутивность;

а также A = , A = E.

Замечание . Доказательства приводимых свойств операций над нечеткими множествами мы оставляем читателю.

Для примера докажем свойство: . Обозначим  A (x ) через a ,  B (x ) через b . Тогда в левой части для каждого элемента х имеем: 1-ab , а в правой: (1-a )+(1-b )-(1-a )(1-b ) = 1-a +1-b - 1+a +b-ab = 1-ab . 

Докажем, что свойство дистрибутивности не выполняется, т.е. A(B C)  (AB) (AC) . Для левой части имеем: a (b +c-bc ) = ab +ac-abc ; для правой: ab +ac -(ab )(ac ) = ab +ac +a 2 bc . Это означает, что дистрибутивность не выполняется при aa 2 . 

Замечание. При совместном использовании операций {, ,,} выполняются свойства:

А(BC) = (AB)(A  C);

А (BC) = (AB)(AC);

А (BC) = (A B)(A C);

А (BC)=(A B)(A C).

Продолжим обзор основных операций над нечеткими множествами.

На основе операции алгебраического произведения (по крайней мере для целых эта основа очевидна) определяется операция возведения в степень нечеткого множества A , где - положительное число. Нечеткое множество A определяется функцией принадлежности  A  =   A (x) . Частным случаем возведения в степень являются:

CON(A) = A 2 - операция концентрирования ,

DIL(A) = A 0,5 - операция растяжения ,

которые используются при работе с лингвистическими неопределенностями.

Умножение на число. Если - положительное число, такое, что   A (x ) 1, то нечеткое множество A имеет функцию принадлежности:

A(x ) = A(x ).

Выпуклая комбинация нечетких множеств. Пусть A 1 , A 2 ,.., A n - нечеткие множества универсального множества E , а  1 ,  2 , ...,  n - неотрицательные числа, сумма которых равна 1.

Выпуклой комбинацией A 1 , A 2 ,.., A n называется нечеткое множество A с функцией принадлежности:

xE  A (x 1 , x 1 ,..., x n) =  1  A1 (x ) +  2  A2 (x ) + ... +  n  Ai (x ).



Декартово произведение нечетких множеств. Пусть A 1 , A 2 , ..., A n - нечеткие подмножества универсальных множеств E 1 , E 2 , ..., E n соответственно. Декартово произведение A = A 1 A 2  ...A n является нечетким подмножеством множества E = E 1 E 2  ... E n с функцией принадлежности:

 A (x 1 , x 1 , ..., x n) = min{  A1 (x 1),  A2 (x 2) , ... ,  Ai (x n) }.

Оператор увеличения нечеткости используется для преобразования четких множеств в нечеткие и для увеличения нечеткости нечеткого множества.

Пусть A - нечеткое множество, E - универсальное множество и для всех xE определены нечеткие множества K(х ) . Совокупность всех K(х ) называется ядром оператора увеличения нечеткости Ф . Результатом действия оператора Ф на нечеткое множество A является нечеткое множество вида:

Ф(A, K) =  A (x )K(х ),

где  A (x )K(х ) - произведение числа на нечеткое множество.

Пример :

E = {1,2,3,4};

A = 0,8/1+0,6/2+0/3+0/4;

K (1) = 1/1+0,4/2;

K (2) = 1/2+0,4/1+0,4/3;

K (3) = 1/3+0,5/4;

K (4) = 1/4.

Ф(A,K) =  A (1) K (1)  A (2)K (2)  A (3)K (3) A (4)K (4) =

0,8(1/1+0,4/2)  0,6(1/2+0,4/1+0,4/3) =

0,8/1+0,6/2+0,24/3.

Четкое множество -уровня (или уровня ) . Множеством -уровня нечеткого множества A универсального множества E называется четкое подмножество A  универсального множества E , определяемое в виде:

A ={x / A (x )}, где 1.

Пример: A = 0,2/x 1 + 0/x 2 + 0,5/x 3 + 1/x 4 ,

тогда A 0.3 = {x 3 ,x 4 },

A 0.7 = {x 4 }.

Достаточно очевидное свойство: если  1  2 , то A 1  A 2 .

Теорема о декомпозиции. Всякое нечеткое множество A разложимо по его множествам уровня в виде:

A = A  , где A  - произведение числа на множество A , и "пробегает" область значений M функции принадлежности нечеткого множества A .

Пример: A = 0,1/x 1 + 0/x 2 + 0,7/x 3 + 1/x 4 представимо в виде:

A = 0,1(1,0,1,1)  0,7(0,0,1,1,)  1(0,0,0,1)=

= (0,1/x 1 + 0/x 2 + 0,1/x 3 + 0,1/x 4) (0/x 1 + 0/x 2 + 0,7/x 3 + 0,7/x 4)

(0/x 1 + 0/x 2 + 0/x 3 + 1/x 4) = 0,1/x 1 +0/x 2 +0,7/x 3 +1/x 4 .

Если область значений функции принадлежности состоит из n градаций  1   2   3  ...  n , то A (при фиксированных значениях градаций) представимо в виде:

A = i A  i ,

т.е. определяется совокупностью обычных множеств { A 1 , A 2 , ..., A i }, где A 1 A 2  , ..., A i .

7. Лингвистические переменные. Примеры лингвистических переменных. Понятие терма. Определение количества термов

Лингвистическая переменная - в теории нечётких множеств, переменная, которая может принимать значения фраз из естественного или искусственного языка. Например, лингвистическая переменная «скорость» может иметь значения «высокая», «средняя», «очень низкая» и т. д. Фразы, значение которых принимает переменная, в свою очередь являются именами нечетких переменных и описываются нечетким множеством.

Пример: нечёткий возраст

Рассмотрим лингвистическую переменную, описывающую возраст человека, тогда:

x: «возраст»;

X: множество целых чисел из интервала ;

T(x): значения «молодой», «зрелый», «старый». множество T(x) - множество нечетких переменных, для каждого значения: «молодой», «зрелый», «старый», необходимо задать функцию принадлежности, которая задает информацию о том, людей какого возраста считать молодыми, зрелыми, старыми;

G: «очень», «не очень». Такие добавки позволяют образовывать новые значения: «очень молодой», «не очень старый» и пр.

M: математическое правило, определяющее вид функции принадлежности для каждого значения образованного при помощи правила G.

Терм - выражение формального языка (системы), является формальным именем объекта или именем формы. Понятие терма определяется индуктивно. Термом называется символьное выражение: t(X1, X2, … , Xn), где t - имя терма, называемая функтор или «функциональная буква», а X1, X2, … , Xn - термы, структурированные или простейшие.

8. Нечеткие отношения и их свойства

Одним из основных понятий теории нечетких множеств считается понятие нечеткого отношения. Эти отношения позволяют формализовать неточные утверждения типа « почти равно » или « значительно больше чем ». Приведем определение нечеткого отношения и комбинации нечетких отношений.

Нечеткое отношение между двумя непустыми множествами (четкими) и будем называть нечеткое множество, определенное на декартовом произведении

Нечеткий логический вывод– это процесс получения нечетких заключений на основе нечетких условий или предпосылок.

Применительно к нечеткой системе управления объектом, нечеткий логический вывод– это процесс получения нечетких заключений о требуемом управлении объектом на основе нечетких условий или предпосылок, представляющих собой информацию о текущем состоянии объекта.

Логический вывод осуществляется поэтапно.

Фаззификация(введение нечеткости) – это установка соответствия между численным значением входной переменной системы нечеткого вывода и значение функции принадлежности соответствующего ей терма лингвистической переменной. На этапе фаззификации значениям всех входным переменным системы нечеткого вывода, полученным внешним по отношению к системе нечеткого вывода способом, например, при помощи статистических данных, ставятся в соответствие конкретные значения функций принадлежности соответствующих лингвистических термов, которые используются в условиях (антецедентах) ядер нечетких продукционных правил, составляющих базу нечетких продукционных правил системы нечеткого вывода. Фаззификация считается выполненной, если найдены степени истинности (a) всех элементарных логических высказываний вида « ЕСТЬ », входящих в антецеденты нечетких продукционных правил, где - некоторый терм с известной функцией принадлежности µ(x), - четкое численное значение, принадлежащее универсуму лингвистической переменной.

Понятие нечеткого алгоритма, впервые введенное Л.А. Заде, является важным инструментом для приближенного анализа сложных систем и процессов принятия решений. Под нечетким алгоритмом (fuzzy algorithm) понимается упорядоченное множество нечетких инструкций (правил), в формулировке которых содержатся нечеткие указания (термы).

Переход от полученного нечеткого множества к единственному четкому значению ()о, которое и признается затем в качестве решения поставленной задачи, называется дефаззификацией (defuzzyfication).

11. Алгоритм Мамдани (Mamdani) нашел применение в первых нечетких системах автоматического управления. Был предложен в 1975 году английским математиком Е.Мамдани для управления паровым двигателем.

Формирование базы правил системы нечеткого вывода осуществляется в виде упорядоченного согласованного списка нечетких продукционных правил в виде «IF A THEN B », где антецеденты ядер правил нечеткой продукции построены при помощи логических связок «И», а консеквенты ядер правил нечеткой продукции простые.

Фаззификация входных переменных осуществляется описанным выше способом, так же, как и в общем случае построения системы нечеткого вывода.

Агрегирование подусловий правил нечеткой продукции осуществляется при помощи классической нечеткой логической операции «И» двух элементарных высказываний A, B: T(A ∩ B) = min{ T(A);T(B) } .

Активизация подзаключений правил нечеткой продукции осуществляется методом min-активизации μ (y) = min{c; μ (x) } , где μ (x) и c – соответственно функции принадлежности термов лингвистических переменных и степени истинности нечетких высказываний, образующих соответствующие следствия (консеквенты) ядер нечетких продукционных правил.

Аккумуляция подзаключений правил нечеткой продукции проводится при помощи классического для нечеткой логики max-объединения функций принадлежности ∀ x ∈ X μ A B x = max{ μ A x ; μ B x } .

Дефаззификация проводится методом центра тяжести или центра площади.

12 Для реализации систем на базе нечетких правил разработано множество алгоритмов нечеткого вывода. Алгоритмы нечеткого вывода различаются главным образом видом используемых правил, логических операций и разновидностью метода дефазификации. Разработаны модели нечеткого вывода Мамдани, Сугено, Ларсена, Цукамото.

Например, правила нечеткого вывода заданы следующим образом:

П1: если x есть A, то w есть D, П2: если y есть B, то w есть E, П3: если z есть C, то w есть F,

где x, y, z – имена входных переменных (четкого формата);

w – имя переменной вывода;

A, B, C, D, E, F – заданные функции принадлежности.

FAT-теорема Б. Коско: Любая классическая математика может быть аппроксимирована средствами математики нечеткой. Т.е. возможно построить нечёткую систему максимально приближающую функцию колебания курса некоторой валюты.

Основные достоинства системы объяснений в ЭС.

1) Объяснения помогают пользователю использовать систему для решения своих задач,

2) Так как ЭС используются в слабоформализованных областях, где нет четких алгоритмов, то объяснения позволяют пользователю убедится в правильности полученных результатов, повышают его степень доверия к ЭС,

3) Служат для обучения пользователя,

4) Служат для отладки базы знаний ЭС

Основные недостатки системы объяснений в ЭС.

1) Запросы на объяснение интерпретируются только в одном узком смысле (вопросы ПОЧЕМУ и КАК интерпретируются только в терминах целей и правил),

2) Не все действия системы могут быть объяснены (например, почему сначала проверялась одна гипотеза, а потом другая),

3) Объяснения, основываются фактически на треке выполнения программы, поэтому при смене интерпретатора необходимо менять и систему объяснений.

Тщательная проработка и учет рисков стала неотъемлемой частью и важной составляющей успеха деятельности каждой компании. Однако все чаще компаниям приходится принимать решения в условиях неопределенности, которые могут привести к непредвиденным последствиям и, соответственно, нежелательным исходам и убыткам. Особенно серьезные последствия могут иметь неправильные решения относительно долгосрочных инвестиций, которые обычно подразумеваются при оценке инвестиционных проектов. Поэтому своевременное выявление, а также адекватная и наиболее точная оценка рисков является одной из насущных проблем современного инвестиционного анализа.

К сожалению, существующие на сегодняшний день методы учета и оценки рисков не лишены субъективизма и существенных предпосылок, приводящих к неправильным оценкам риска проектов. Теория нечеткой логики – это новый, динамично развивающийся подход к оценке риска. В последнее время нечеткое моделирование является одной из наиболее активных и перспективных направлений прикладных исследований в области управления и принятия решений.

В данной работе представлены:

Определение риска и неопределенности,

обоснование необходимости применения новых подходов к анализу риска,

краткое описание метода нечеткой логики,

примеры применения нечеткой логики

Решаемые нейронными сетями задачи весьма разнообразны. Неудивительно, что этот метод нашел применение в таких сферах, как медицина, финансовый менеджмент и политическая наука. В целом можно свести основную часть решаемых с помощью ИНС проблем к нескольким категориям задач.

Классификация. Задачей нейронной сети является распределение объектов по нескольким заранее установленным непересекающимся классам

В политической науке нейросетевой метод используется для решения задач классификации, в частности в ивент-анализе. Заранее определяется класс конфликтных событийных последовательностей, ведущих к мирному урегулированию, и класс конфликтных событийных последовательностей, ведущих к военному противостоянию

Иску́сственный нейро́н (математический нейрон Маккалока - Питтса, формальный нейрон) - узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента - линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети - соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера

18. Функция активации (активационная функция, функция возбуждения) – функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал Y, получаемый на выходе входного сумматора Sigma. Наиболее часто используются следующие функции активации.

1. Единичный скачок или жесткая пороговая функция

Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе – максимально допустимому.

Функция активации. Жесткая пороговая функция

2. Линейный порог или гистерезис

Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

Функция активации. Линейный порог

3. Сигмоидальная функция или сигмоид

Монотонно возрастающая всюду дифференцируемая S-образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Гроссберг (1973 год) обнаружил, что подобная нелинейная функция активации решает поставленную им дилемму шумового насыщения.

Иску́сственная нейро́нная се́ть (ИНС) - математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети У. Маккалока и У. Питтса. После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.

ИНС (Искусственные Нейронные Сеть) может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса: сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями. В наиболее распространенном семействе сетей первого класса, называемых многослойным перцептроном, нейроны расположены слоями и имеют однонаправленные связи между слоями. На рисунке представлены типовые сети каждого класса. Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети. 22

23. перцептрон- математическая модель процесса восприятия (См. Восприятие). Сталкиваясь с новыми явлениями или предметами, человек их узнаёт, то есть относит к тому или иному понятию (классу). Так, мы легко узнаём знакомых, даже если они изменили причёску или одежду, можем читать рукописи, хотя каждый почерк имеет свои особенности, узнаём мелодию в различной аранжировке и т.д. Эта способность человека и получила название феномена восприятия. Человек умеет на основании опыта вырабатывать и новые понятия, обучаться новой системе классификации. Например, при обучении различению рукописных знаков ученику показывают рукописные знаки и сообщают, каким буквам они соответствуют, то есть к каким классам эти знаки относятся; в результате у него вырабатывается умение правильно классифицировать знаки.

Каждая отдельная клетка называется узлом или персептроном:

нейронная сеть, состоящая из слоя узлов между входом и выходом, - однослойным персептроном: а сеть, состоящая из нескольких слоев - многослойным персептроном:

Справедливо утверждение, что многослойный персептрон более эффективен, чем однослойный

Обучение – это процесс, в котором свободные параметры нейронной сети настраиваются посредством моделирования среды, в которую эта сеть встроена. Тип обучения определяется способом подстройки этих параметров.

Это определение процесса обучения нейронной сети предполагает следующую последовательность событий:

В нейронную сеть поступают стимулы из внешней среды.

В результате первого пункта изменяются свободные параметры нейронной сети.

После изменения внутренней структуры нейронная сеть отвечает на возбуждения уже иным образом.

Вышеуказанный список четких правил решения проблемы обучения нейронной сети называется алгоритмом обучения. Несложно догадаться, что не существует универсального алгоритма обучения, подходящего для всех архитектур нейронных сетей. Существует лишь набор средств, представленный множеством алгоритмов обучения, каждый из которых имеет свои достоинства. Алгоритмы обучения отличаются друг от друга способом настройки синаптических весов нейронов. Еще одной отличительной характеристикой является способ связи обучаемой нейронной сети с внешним миром. В этом контексте говорят о парадигме обучения, связанной с моделью окружающей среды, в которой функционирует данная нейронная сеть.

Обучение нейронной сети с учителем предполагает, что для каждого входного вектора из обучающего множества существует требуемое значение выходного вектора, называемого целевым. Эти вектора образуют обучающую пару. Веса сети изменяют до тех пор, пока для каждого входного вектора не будет получен приемлемый уровень отклонения выходного вектора от целевого.

Обучение нейронной сети без учителя является намного более правдоподобной моделью обучения с точки зрения биологических корней искусственных нейронных сетей. Обучающее множество состоит лишь из входных векторов. Алгоритм обучения нейронной сети подстраивает веса сети так, чтобы получались согласованные выходные векторы, т.е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы.

Пусть имеется нейронная сеть, выполняющая преобразование F:X®Y векторов X из признакового пространства входов X в вектора Y выходного пространства Y. Сеть находится в состоянии W из пространства состояний W. Пусть далее имеется обучающая выборка (Xa,Ya), a = 1..p. Рассмотрим полную ошибку E, делаемую сетью в состоянии W.

Отметим два свойства полной ошибки. Во-первых, ошибка E=E(W) является функцией состояния W, определенной на пространстве состояний. По определению, она принимает неотрицательные значения. Во-вторых, в некотором обученном состоянии W*, в котором сеть не делает ошибок на обучающей выборке, данная функция принимает нулевое значение. Следовательно, обученные состояния являются точками минимума введенной функции E(W).

Логические операции

Включение. Пусть А и В - нечеткие множества на уни­версальном множестве Е. Говорят, что А содержится в В, если

Обозначение: А В.

Иногда используют термин доминирование, т.е. в случае, ко­гда А В, говорят, что В доминирует А.

Равенство. А и В равны, если

Обозначение: А = В.

Дополнение. Пусть М = , А и В – нечеткие множества, заданные на Е. А и В дополняют друг друга, если

Обозначение:

Очевидно, что (дополнение определено для М = , но очевидно, что его можно определить для любого упорядочен­ного М).

Пересечение. А В - наибольшее нечеткое подмножество, содержащееся одновременно в А и В:

Объединение. A В - наименьшее нечеткое подмножество, включающее как А, так и В, с функцией принадлежности:

Разность. с функцией принадлежности:

Дизъюнктивная сумма

А В = (A - B ) ∪ (B - A ) = (A ̅ B ) ∪ ( ̅A ⋂ B )

с функцией принадлежности:

Примеры. Пусть


Здесь:

1) А ⊂ В, т. е. А содержится в B или B доминирует А ; С несравнимо ни с A , ни с В, т.е. пары {А, С } и {А, С } - пары недоминируемых нечетких множеств.

2) A B C

3) ̅A = 0,6/x 1 + 0,8/x 2 + 1/x 3 + 0/x 4 ; ̅B = 0,3/x 1 + 0,1/x 2 + 0,9/x 3 +0/x 4 .

4) А В = 0,4/x 1 + 0,2/x 2 + 0/x 3 + 1 /х 4 .

5) A В = 0,7/ x 1 + 0,9/x 2 + 0,1/x 3 + 1/x 4 .

6) А - В = А ̅В = 0,3/x 1 + 0,l/x 2 + 0/x 3 + 0/x 4 ;

В - А= ̅А В = 0,6/x 1 + 0,8/x 2 + 0,l/x 3 + 0/x 4 .

7) А В = 0,6/x 1 + 0,8/x 2 + 0,1/x 3 + 0/x 4 .

Наглядное представление логических операций над нечеткими множествами. Для нечетких множеств можно строить визуальное представление. Рассмотрим прямоуголь­ную систему координат, на оси ординат которой откладываются значения μ А (х), на оси абсцисс в произвольном порядке распо­ложены элементы Е (мы уже использовали такое представление в примерах нечетких множеств). Если Е по своей природе упо­рядочено, то этот порядок желательно сохранить в расположении элементов на оси абсцисс. Такое представление делает нагляд­ными простые логические операции над нечеткими множествами (см. рис. 1.3).

Рис. 1.3. Графическая интерпретация логических операций: α - нечеткое мно­жество А; б - нечеткое множество ̅А, в - А ̅А; г - A ̅А

На рис. 1.3α заштрихованная часть соответствует нечеткому множеству А и, если говорить точно, изображает область значений А и всех нечетких множеств, содержащихся в А. На рис. 1.3б , в, г даны ̅А, А ̅ A , A U ̅А.

Свойства операций и

Пусть А, В, С - нечеткие множества, тогда выполняются сле­дующие свойства:


В отличие от четких множеств, для нечетких множеств в общем

случае:

A ̅A ≠ ∅, A ∪ ̅A ≠ E

(что, в частности, проиллюстрировано выше в примере наглядного представления нечетких множеств).

Замечание . Введенные выше операции над нечеткими мно­жествами основаны на использовании операций maxи min. В те­ории нечетких множеств разрабатываются вопросы построения обобщенных, параметризованных операторов пересечения, объеди­нения и дополнения, позволяющих учесть разнообразные смысло­вые оттенки соответствующих им связок «и», «или», «не».

Один из подходов к операторам пересечения и объединения за­ключается в их определении в классе треугольных норм и конорм.

Треугольной нормой (t -нормой ) называется двуместная дей­ствительная функция T : x → , удовлетворяющая следующим условиям:


Примеры треугольных норм

min(μ A , μ B )

произведение μ A · μ B

max(0, μ A + μ B - 1 ).

Треугольной конормой (t -конормой ) называется двуместная действительная функция S : x → со свойствами:


Примеры t -конорм

max(μ A , μ B )

μ A + μ B - μ A · μ B

min(1, μ A + μ B ).

Алгебраические операции над нечеткими множествами

Алгебраическое произведение А иВ обозначается A · В и опре­деляется так:

Алгебраическая сумма этих множеств обозначается А+ В и определяется так:

Для операций {-, +} выполняются свойства:

Не выполняются:


Замечание. При совместном использовании операций { U, ⋂, + , } выполняются свойства:


На основе операции алгебраического произведения определя­ется операция возведения в степень α нечеткого множества А, где α - положительное число. Нечеткое множество А α опреде­ляется функцией принадлежности μ α A = μ α A (x ). Частным случаем возведения в степень являются:

1) CON(А ) = А 2 - операция концентрирования (уплотне­ния );

2) DIL(А ) = А 0,5 - операция растяжения,

которые используются при работе с лингвистическими неопреде­ленностями (рис. 1.4).


Рис. 1.4. Иллюстрация к понятию операций концентрирования (уплотнения) и растяжения

Умножение на число. Если α - положительное число, такое, что , то нечеткое множество αА имеет функцию принадлежности:

μ αА (х) = αμ A (x ).

Выпуклая комбинация нечетких множеств. Пусть A 1 , А 2 ,... , А n - нечеткие множества универсального множества Е, aω 1 , ω 2 , …, ω n - неотрицательные числа, сумма которых равна 1.

Выпуклой комбинацией A 1 , А 2 , ..., А n называется нечеткое множество А с функцией принадлежности:

Декартово (прямое ) произведение нечетких множеств. Пусть A 1 , А 2 , ..., А n - нечеткие подмножества универсальных множеств Е 1 , Е 2 ,… , Е n соответственно. Декартово, или прямое произведение А = А 1 x А 2 x... x А n является нечетким подмно­жеством множества Е = Е 1 x Е 2 x... x Е n с функцией принад­лежности:

Оператор увеличения нечеткости используется для преобра­зования четких множеств в нечеткие и для увеличения нечеткости нечеткого множества.

Пусть А - нечеткое множество, Е - универсальное множество и для всех х ϵ Е определены нечеткие множества К(х). Совокуп­ность всех К(х) называется ядром оператора увеличения нечетко­сти Ф. Результатом действия оператора Ф на нечеткое множество А является нечеткое множество вида


где μ А (х)К(х) - произведение числа на нечеткое множество.

Пример . Пусть

Е = {1,2,3,4}; А = 0,8/1+ 0,6/2+ 0/3+ 0/4; К (1)= 1/1 + 0,4/2;

К (2) = 1/2 + 0,4/1 + 0,4/3; К (3) = 1/3 + 0,5/4; К (4)= 1/4.

Тогда

Четкое множество α-уровня (или уровня α). Множеством α-уровня нечеткого множества А универсального множества Е на­зывается четкое подмножество А α универсального множества Е, определяемое в виде

А α = { x /μ A (x ) ≥ α },

где α ≤ 1.

Пример. Пусть А = 0,2/ x 1 + 0/x 2 + 0,5/x 3 + 1/x 4 , тогда A 0,3 = { x 3 , x 4 }, A 0,7 = { х 4 }.

Достаточно очевидное свойство: если α 1 ≥ 2, то А α1 А α2 .

Лекция № 4. Операции с нечеткими множествами

Определение операций, выполняемых с нечеткими множествами, во многом аналогично операциям с обычными (четкими) множествами.

Эквивалентность. Два нечетких множества А и В эквивалентны (это
обозначается как ) тогда и только тогда, когда для всех имеет место .

Рис. 2.4. Операции с нечеткими множествами

Включение . Нечеткое множество А содержится в нечетком множестве В () тогда и только тогда, когда

Объединение , или дизъюнкция (disjunction), двух нечетких множеств А и В соответствует логической операции "ИЛИ " и определяется как наименьшее нечеткое множество, содержащее оба множества А и В. Функция принадлежности для этого множества находится с помощью операции взятия максимума (рис.2.4, б)

Пересечение , или конъюнкция (conjunction), соответствует логической операции "И " и определяется как наибольшее нечеткое множество, являющееся одновременно подмножеством обоих множеств.

Функция принадлежности множества выражается с помощью операции нахождения минимума (рис. 2.4,в)

Дополнение (complement) нечеткого множества А , обозначаемое через (или ¯| А), соответствует логическому отрицанию "НЕ " и определяется формулой (рис. 2.4,г)

Легко видеть, что применительно к классическим "четким" множествам, для которых функции принадлежности принимают только 2 значения: 0 или 1, формулы определяют известные операции логического "ИЛИ", "И", "НЕ".

Приведем определения еще двух достаточно распространенных операций над нечеткими множествами – алгебраического произведения и алгебраической суммы нечетких множеств.

Алгебраическое произведение АВ нечетких множеств А и В определяется следующим образом:

Алгебраическая сумма :

Кроме перечисленных имеются и другие операции, которые оказываются полезными при работе с лингвистическими переменными.

Операция концентрации (concentration) CON(А) определяется как алгебраическое произведение нечеткого множества А на самого себя: т.е.

В результате применения этой операции к множеству А уменьшаются степени принадлежности элементов х этому множеству, причем если , то это уменьшение относительно мало, а для элементов с малой степенью принадлежности - относительно велико. В естественном языке применение этой операции к тому или иному значению лингвистической переменной А соответствует использованию усиливающего терма "очень" (например, "очень высокий", "очень старый" и т.д.).

Операция растяжения (dilation) DIL(A) определяется как

DIL(A)=A 0,5 , где

Действие этой операции противоположно действию операции концентрации и соответствует неопределенному терму "довольно", выполняющему функцию ослабления следующего за ним (основного) терма А : "довольно высокий", "довольно старый" и т.п.

Можно ввести и другие аналогичные по смыслу операции, позволяющие модифицировать значения лингвистической переменной, увеличивая, таким образом, их количество. Так, терм "более чем" можно определить следующим образом:

составной терм "очень-очень":

Рассмотрим применение указанных операций на следующем наглядном примере. Пусть переменная х характеризует "возраст человека", X - интервал . Тогда нечеткие подмножества, описываемые термами "молодой" и "старый", можно представить с помощью функции принадлежности (рис. 2.5).

Рис. 2.5. Графическое представление лингвистической переменной “возраст человека"

Тогда, в соответствии с выражением, находим (рис. 2.5)

Точно так же, используя (2.10) и (2.14), получаем (рис. 2.5)

Например, если конкретному человеку исполнилось 55 лет (т.е. х = 55), то в соответствии с данными функциями принадлежности имеем:

До сих пор предполагалось, что речь идет о единственной переменной , принимающей значения на вещественной числовой оси.

Для случая двух вещественных переменных ( и ) можно говорить о нечетком отношении R: X Y , которое определяет некоторое соответствие между элементами множества X и множества У с помощью двумерной функции принадлежности μ(х,у ):

Приведем еще один пример.

Допустим, что мы имеем два набора чисел

и пусть субъективные мнения экспертов о сравнительной величине этих чисел представлены в виде нечетких отношений:

R 1 (x,y) = "x больше, чем у",

R 2 (x,y) = "x приблизительно равно у".

Зададим отношение R 1 с помощью табл.2.1, а отношение R 2 - с помощью табл. 2.2.

Здесь (i,j ) - й элемент таблицы равен значению соответствующей функции принадлежности для i -го значения х и j -гo значения у . Тогда операции объединения и пересечения указанных отношений могут быть интерпретированы как

Функции принадлежности и с помощью операций нахождения максимума и минимума, и принимают вид табл. 2.3, 2.4.


Нечеткая логика и
нейронные сети

Термин "нечеткая логика"

Термин "нечеткая логика"
В узком смысле,
нечеткая логика - это логическое исчисление,
являющееся расширением многозначной
логики.
В широком смысле
нечеткая логика равнозначна теории нечетких
множеств.

Основатель

Впервые термин
нечеткая логика
(fuzzy logic) был
введен
амерканским
профессором
Лотфи Заде в 1965
году в работе
“Нечеткие
множества” в
журнале
“Информатика и
управление”.
Родился в Баку, Азербайджан как Лотфи
Алескерзаде (или Аскер Заде) от русской
матери и отца азербайджанца иранского
происхождения; с 1932 года жил в Иране,
учился Тегеранском университете; с 1944 в
Соединенных Штатах; работает в
Калифорнийском университете (Беркли).

Пример

В феврале 1991 года была
сконструирована первая
<интеллектуальная>
стиральная машина, в
системе управления которой
сочетались нечеткая логика.
Автоматически определяя
нечеткие входные факторы:
объем и качество белья,
уровень загрязненности,
тип порошка и т.д.),
стиральная машина
выбирала оптимальный
режим стирки из 3800
возможных.

Распознавание рукописных символов в карманных компьютерах
(записных книжках)
(Sony)
Однокнопочное управление стиральными машинами
(Matsushita, Hitatchi)
Распознавание рукописных текстов, объектов, голоса
(CSK, Hitachi, Hosai Univ., Ricoh)
Управление метрополитенами для повышения удобства
вождения, точности остановки и экономии энергии (Hitachi)
Оптимизация потребления бензина в автомобилях
(NOK, Nippon Denki Tools)
Повышение чувствительности и эффективности управления
лифтами
(Fujitec, Hitachi, Toshiba)

Примеры применения нечеткой логики:

Автоматическое управление воротами плотины на
гидроэлектростанциях
Упрощенное управление роботами
Наведение телекамер при трансляции спортивных событий
Эффективное и стабильное управление автомобильными
двигателями
Управление экономичной скоростью автомобилей
(Nissan, Subaru)
Оптимизированное планирование автобусных расписаний (Toshiba)
Системы архивации документов
(Mitsubishi Elec.)
Системы прогнозирования землетрясений(Japan)
Диагностика рака
(Kawasaki Medical School)

Нечеткое множество

Основы нечеткой логики были заложены в конце 60-х лет в
работах известного американского математика
Латфи Заде
Пусть E – универсальное множество, x – элемент E, а R –
определенное свойство.
Тогда нечеткое подмножество A универсального множества E
определяется как множество упорядоченной пары
,
A { A (x) / x}
A (x)
где
– характеристическая функция принадлежности
(или просто функция принадлежности), принимающая
значение в некотором упорядоченном множестве M
(например, M = ).
Функция принадлежности указывает степень (или уровень)
принадлежности элемента x к подмножеству A.
18

Примеры записи нечеткого множества

Пусть Е={x1, x2, x3, x4, x5}, M=; A – элемент
множества, для которого
A (x1) 0,2 A (x2) 0 A (x3) 0,4 A (x4) 1 A (x5) 0,7
1)
2)
3)
Тогда A можно представить в виде:
А={0,2/x1;0/x2;0,4/x3;1/x4;0.7/x5},
A={0,2/x1+0/x2+0,4/x3+1/x4+0,7/x5},
А=
x1
x2 x3
x4 x5
0,2
0
0,4
1
0,7

Пример нечеткого множества

Основные характеристики нечётких множеств

Пусть М= и А – нечеткое множество с элементами из
универсального множества Е и множеством
принадлежностей М.
sup A (x)
Высота:
.
x E
A (x) 1
Если sup
, то нечёткое множество А нормально.
x E
sup A (x) 1
Если x E
, то нечёткое множество А
субнормально.
20

Нечеткое множество пусто, если x E A (x) 0
Непустое субнормальное множество можно
нормализовать по формуле: A (x) : A (x)
.
sup A (x)
x E
Нечеткое множество унимодально, если A (x) 1
только в одном x из E.
Носителем нечеткого множества A является обычное
подмножество со свойством A (x) 0 , т.е.A {x / x E , A (x) 0}
Элементы x E , для которых A (x) 0,5 ,
называются точками перехода множества A.
-уровневое подмножество из А это множество в
котором
Пример:
«Несколько»=0,5/3+0,8/4+1/5+1/6+0,8/7+0,5/8; его
характеристики: высота=1, носитель ={3,4,5,6,7,8},
точки перехода – {3,8}.

Лингвистическая переменная «Возраст»

Пусть перед нами стоит задача интерпретации значений ЛП «возраст», таких как «молодой»
возраст, «преклонный» возраст или «переходный» возраст. Определим «возраст» как ЛП.
Тогда «молодой», «преклонный», «переходный» будут значениями этой лингвистической
переменной. Более полный базовый набор значений ЛП «возраст» следующий:
В={младенческий, детский, юный, молодой, зрелый, преклонный, старческий}.
Для ЛП «возраст» базовая шкала - это числовая шкала от 0 до 120, обозначающая
количество прожитых лет, а функция принадлежности определяет, насколько мы уверены в
том, что данное количество лет можно отнести к данной категории возраста.
02:09
12

Характеристики нечетких множеств

Методы определения функции
принадлежности
Прямые (опросы экспертов)
Косвенные (парные сравнения)
L-R - функции

Методы определения функции принадлежности

L-R нечеткие числа

L-R нечеткие числа

.
Операции над нечёткими множествами
Логические операции
1. Включение. Пусть А и В – нечеткие множества на универсальном
множестве Е. Тогда А содержится в В, если x E A (x) B (x)
Обозначение: A B
2. Равенство. А и В равны, если x E A (x) B (x) Обозначение: А=В
3. Дополнение. Пусть М = , А и В – нечеткие множества, заданные на
Е. А и В дополняют друг друга, если x E A (x) 1 B (x)
Обозначение: B A
4. Пересечение – наибольшее нечеткое подмножество, содержащее
одновременно А и В (A B): A B (x) min(A (x), B (x))
5. Объединение – наименьшее нечеткое подмножество,
включающее как А, так и В, с функцией принадлежности (A B):
A B (x) max(A (x), B (x))
6. Разность – операция с функцией принадлежности (A B A B):
A B (x) A B (x) min(A (x), 1 B (x))
7. Дизъюнктивная сумма – логическая операция с функцией
принадлежности (A B (A B) (B A) (A B) (A B)):
A B (x) max(min(A (x), 1 B (x));min(1 A (x), B (x)))

Операции над нечёткими множествами

Пример
Пусть A нечеткий интервал от 5 до 8 и B
нечеткое число около 4

Пример

Пересечение нечеткое множество между 5
и 8 И (AND) около 4 (синяя линия).

Объединение Нечеткое множество между
5 и 8 ИЛИ (OR) около 4

Дополнение (отрицание) смысл НЕ

Концентрация
Лингвистический смысл «очень»

Размывание (или размытие)
Лингвистический смысл
«не очень»

Усиление или ослабление
лингвистических понятий
Усиление или ослабление лингвистических понятий достигается
введением специальных квантификаторов. Например, если
понятие «старческий возраст» определяется как
то понятие «очень старческий возраст» определится как
т. е. НМ для «очень старческий возраст» будет выглядеть так

Усиление или ослабление лингвистических понятий

Пример

Пример

Треугольные нормы и
конормы
Треугольная норма
Треугольная конорма

Треугольные нормы и конормы

Алгебраические операции
1. Алгебраическое произведение А и В обозначается
A B
и определяется так:
x E A B (x) A (x) B (x)
2. Алгебраическая сумма этих множеств обозначается A
ˆB
и определяется так:
x E A ˆ B (x) A (x) B (x) A (x) B (x)
На основе операции алгебраического произведения определяется
операция возведения в степень α нечеткого множества,
где α –
A
положительное число. Нечеткое множество
определяется
функцией принадлежности (x.)
A
A
Частным случаем возведения в степень являются следующие.
3. Операция концентрирования (уплотнения) CON (A) A2
4. Операция растяжения DIL(A) A
0.5
5. Умножение на число. Если α – положительное число, такое что
max A (x) 1 , то нечеткое множество αА имеет функцию
x A
принадлежности:
A (x) A (x)

Пример применения
треугольных норм и конорм

Пример применения треугольных норм и конорм

Нечеткая и
лингвистическая
переменные. Нечеткие
числа
Нечеткая логика и
нейронные сети

Нечеткие отношения.

Определение нечеткой
переменой

Пример нечеткого отношения

Пример: нечеткая переменная
«высокий рост»
Х - «высокий рост» (наименование
переменной),
U = ,
– функция принадлежности
элементов из универса X данной
нечеткой переменной.
Пояснение: Нечеткая переменная – именованное нечеткое множество

Пример представления 1

Определение лингвистической
переменной

Пример представления 2

Пример: ЛП «температура в комнате»
β = «температура в комнате» - имя лингвистической переменной;
U = – универс определения;
T = {"холодно", "комфортно", "жарко"} - базовое терм-множество;
G - синтаксические правила, порождающее новые термы с использованием
квантификаторов "и","или", "не", "очень", "более-менее";
М - процедура, ставящая каждому новому терму в соответствие
функцию принадлежности (т.е. задавая нечеткое множество) по правилам:
если термы А и В имели функции принадлежности μа(x) и μB(x)
соответственно, то новые термы будут иметь функции принадлежности:
Квантификатор
Функция принадлежности:
не t
очень t
более-менее t
АиВ
max(μA(x), μB(x))
А или В
min(μA(x), μB(x))

Модель «Рынок-Продукция»

Пример: ЛП «дисциплина»
β – дисциплина;
Т – {«Сложная дисциплина», «Интересная
дисциплина», «Пригодится в будущей работе»};
U = [«Программирование», «Базы данных»,
«Нечеткая логика», «История»] – множество
дисциплин, изучаемых студентами направления
«Бизнес-информатика»;
G – процедура перебора элементов базового терммножества;
M – процедура экспертного опроса.

Операции над нечеткими отношениями

Пример: толщина детали
Пусть эксперт определяет толщину выпускаемого изделия с помощью
понятий «малая толщина», «средняя толщина» и «большая толщина»,
при этом минимальная толщина равна 10 мм, а максимальная – 80 мм.
Формализация такого описания может быть проведена с помощью
следующей лингвистической переменной < β, T, X, G, M>, где
β – толщина изделия;
T – {«малая толщина», «средняя толщина», «большая толщина»};
U = ;
G – процедура образования новых термов с помощью связок и, или и
модификаторов типа очень, не, слегка и др. Например: «малая или
средняя толщина» (рис. 24), «очень малая толщина» и др.;
М – процедура задания на X = нечетких подмножеств
А1 = «малая толщина», А2 = «средняя толщина», А3 = «большая
толщина», а также нечетких множеств для термов из G(T) в соответствии
с правилами трансляции нечетких связок и модификаторов и, или, не,
очень, слегка и др.

Операции над нечеткими отношениями

Пример: толщина детали
Функции принадлежности нечетких множеств:
«малая толщина» = А1, «средняя толщина» = А2, «большая толщина» = А3
Функция принадлежности
нечеткого множества «малая или средняя толщина» = А1 U А1

Пример объединения нечетких отношений

Виды ЛП
ЛП
Дисциплина
Скорость
Игрок
команды
Размер
Возраст
Числовые
Нечисловые
Банк

Пример пересечения нечетких отношений

Нечеткие числа
Нечеткие числа – нечеткие переменные, определенные на числовой оси, т.е. нечеткое
число определяется как нечеткое множество А на множестве R c функцией
принадлежности
Нечеткое число - это нечеткое подмножество универсального множества
действительных чисел, имеющее нормальную и выпуклую функцию
принадлежности, то есть такую, что:
а) существует значение носителя, в котором функция принадлежности равна единице,
а также
b) при отступлении от своего максимума влево или вправо функция принадлежности не
возрастает.
Пример:
«Толщина» (Т = {«малая толщина», «средняя толщина», «большая толщина»})
Возможны значения, зависящие от области определения U: в данном случае значения
лингвистической переменной «толщина изделия» могут быть определены как
«около 20 мм», «около 50 мм», «около 70 мм», то есть в виде нечетких чисел.

Примеры композиций

Операции над нечеткими
числами

Примеры композиций

L-R нечеткие числа

Композиция двух нечётких отношений

L-R нечеткие числа

Выбор кандидатов на обучение

L-R нечеткие числа
Толерантные нечеткие числа (L-R)-типа называют трапезоидными
числами.
Если мы оцениваем параметр качественно, например, говоря: "Это значение
параметра является средним", необходимо ввести уточняющее
высказывание типа " Среднее значение - это примерно от a до b",
которое есть предмет экспертной оценки (нечеткой классификации), и
тогда можно использовать для моделирования нечетких классификаций
трапезоидные числа.
!!! это самый естественный способ неуверенной классификации.
Унимодальные нечеткие числа (L-R)-типа называют треугольными
числами.
Треугольные числа формализуют высказывания типа "приблизительно
равно α". Ясно, что α+σ≈α, причем по мере убывания σ до нуля степень
уверенности в оценке растет до единицы.

Нечеткий вывод
Нечеткая логика и
нейронные сети

Нечеткая и лингвистическая переменные. Нечеткие числа


y Y
X
Фаззификатор
A X
Блок нечеткого
логического
вывода
Нечеткая база
правил
B Y
Дефаззификатор

Определение нечеткой переменой


модели
Логико-лингвистические методы описания систем основаны на том, что
поведение исследуемой системы описывается в естественном
(или близком к естественному) языке в терминах лингвистических переменных.
L1: Если и/или … и/или то и/или… и/или
L2: Если и/или … и/или то и/или… и/или
....................
Lk: Если и/или … и/или то и/или… и/или
Нечёткие высказывания типов 1 и 2

Пример: нечеткая переменная «высокий рост»

Логико-лингвистическое описание систем, нечеткие
модели
L1: если то
L2: если то


....................
Lk: если то

Нечёткие высказывания типа 3
Совокупность импликаций {L1, L2, ..., Lk} отражает функциональную
взаимосвязь входных и выходных переменных и является основой
построения нечеткого отношения XRY, заданного на произведении X x Y
универсальных множеств входных и выходных переменных.
Отношение R строится как
L.
i
i

Определение лингвистической переменной


Лингвистические переменные
Рост баскетболиста

Множество термов - {очень высокий, высокий, средний, низкий}
Техника игры баскетболиста

Множество термов - {отличная, очень хорошая, хорошая, средняя, плохая}
Уверенность принятия в команду
Множество определения –
Множество термов - {полная, средняя, малая, не берём}

Система “Набор баскетболистов”
Рост баскетболиста
Множество определения –
Очень высокий
средний
высокий
низкий

Пример: ЛП «дисциплина»

Система “Набор баскетболистов”
Техника игры баскетболиста
Множество определения –
отличная
очень хорошая
хорошая
средняя
плохая

Пример: толщина детали

Система “Набор баскетболистов”
Уверенность принятия в команду
Множество определения –
полная
средняя
малая
не берём

Пример: толщина детали

Система “Набор баскетболистов”- Правила
Входные лингвистические переменные
Выходная ЛП
Техника игры
Рост игрока
Уверенность отбора
Отлично
Очень высокий
Полная
Отлично
Высокий
Полная
Отлично
Не очень высокий
Средняя
Отлично
Низкий
Средняя
Очень хорошо
Очень высокий
Полная
Очень хорошо
Высокий
Полная
Очень хорошо
Не очень высокий
Средняя
Очень хорошо
Низкий
Средняя
Хорошо
Очень высокий
Полная
Хорошо
Высокий
Полная
Хорошо
Не очень высокий
Средняя
Хорошо
Низкий
Малая
Не очень хорошо
Очень высокий
Средняя
Не очень хорошо
Высокий
Средняя
Не очень хорошо
Не очень высокий
Малая
Не очень хорошо
Низкий
Не берём
Плохо
Очень высокий
Малая
Плохо
Высокий
Малая
Плохо
Не очень высокий
Малая

Виды ЛП

Схемы нечеткого вывода
Схема 1: Алгоритм Мамдани (Mamdani). Импликация
моделируется минимумом, а агрегация – максимумом.
Схема 2: Алгоритм Цукамото (Tsukamoto). Исходные
посылки – как у предыдущего алгоритма, но
предполагается, что функции принадлежности являются
монотонными.
Схема 3. Алгоритм Суджено (Sugeno). Алгоритм
предполагает, что правые части правил вывода
представлены в виде линейных функций.
Схема 4. Алгоритм Ларсена (Larsen). В алгоритме Ларсена
нечеткая импликация моделируется с использованием
операции умножения.
Схема 5. Упрощенный алгоритм нечеткого вывода.
Исходные правила в данном случае задаются в виде:
Если X есть Аi и Y есть Bi , то z=Zi, где Zi – четкое значение.

Нечеткие числа

Алгоритм Мамдани
Пусть некоторая система описывается следующими
нечёткими правилами:
П1: если x есть A, тогда w есть D,
П2: если y есть B, тогда w есть E,
П3: если z есть C, тогда w есть F,
где x, y, z – имена входных переменных, w – имя
переменной вывода, а A, B, C, D, E, F – заданные
функции принадлежности (треугольной формы).
Предполагается, что входные переменные приняли
некоторые конкретные (чёткие) значения – x0, y0, z0.
15

Операции над нечеткими числами

Алгоритм Мамдани
Этап 1. Для данных значений и исходя из функций принадлежности A, B,
C, находятся степени истинности α(x0), α(y0), α(z0) для предпосылок
каждого из трёх приведённых правил.
Этап 2. Происходит «отсекание» функций принадлежности заключений
правил (т.е. D, E, F) на уровнях α(x0), α(y0), α(z0).
Этап 3. Рассматриваются усечённые на втором этапе функции
принадлежности и производится их объединение с использованием
операции max, в результате чего получается комбинированное нечёткое
подмножество, описываемое функцией принадлежности μ∑(w) и
соответствующее логическому выводу для выходной переменной w.
Этап 4 (при необходимости). Находится чёткое значение выходной
переменной, например, с применением центроидного метода: чёткое
значение выходной переменной определяется как центр тяжести для
кривой μ∑(w):
w0
w
(w)dw
(w)dw
16

L-R нечеткие числа

Алгоритм Мамдани
w0
w
(w)dw
(w)dw
17

L-R нечеткие числа

Приведение к четкости
(скаляризация)

L-R нечеткие числа

Приведение к четкости
(скаляризация)

Нечеткий вывод

Алгоритм Ларсена

Нечеткое (логико-лингвистическое) моделирование

Задача об управления
кондиционером
Правила:

Задача об управления
кондиционером

Логико-лингвистическое описание систем, нечеткие модели

Задача об управления
кондиционером

Система “Набор баскетболистов”

Алгоритм Цукамото

Алгоритм Суджено и Такажи

Схемы нечеткого вывода

Алгоритм упрощенного выбора

Алгоритм Мамдани

Алгоритм упрощенного выбора

Алгоритм Мамдани

Спасибо за внимание!
Успехов!!!

Алгоритм Мамдани

Нейроны и нейронные
сети
Нечеткая логика и
нейронные сети

Нейронные сети…
- раздел искусственного интеллекта, в
котором для обработки сигналов
используются явления, аналогичные
происходящим в нейронах живых
существ.
Аппроксимация
Прогнозирование
Ассоциативное управление
Идентификация и оценивание
Классификация и распознавание образов
86

Приведение к четкости (скаляризация)

Задачи, успешно
решаемые нейросетями
распознавание зрительных,
слуховых образов;
ассоциативный поиск
информации и создание
ассоциативных моделей; синтез
речи; формирование
естественного языка;
формирование моделей и
различных нелинейных и трудно
описываемых математически
систем, прогнозирование
развития этих систем во
времени:
применение на производстве;
прогнозирование развития
циклонов и других природных
процессов, прогнозирование
изменений курсов валют и других
финансовых процессов;
системы управления и
регулирования с
предсказанием; управление
роботами, другими сложными
устройствами
разнообразные конечные
автоматы: системы массового
обслуживания и коммутации,
телекоммуникационные
системы;
принятие решений и
диагностика, исключающие
логический вывод; особенно в
областях, где отсутствуют
четкие математические
модели: в медицине,
криминалистике, финансовой
сфере.
87

Алгоритм Ларсена

Сферы знаний
88

Нейрокомпьютер…
- программно-техническая система (ее
также можно назвать специализированной
ЭВМ), которая реализует, или, как
говорят, обеспечивает некоторую
формальную модель естественной
нейронной сети.
Программирование нейрокомпьютеров
осуществляется не заданием последовательности
команд, а предъявлением образцов, примеров
решения задач из нужной области
89

Задача об управления кондиционером

40-е
50-е
60-е
предпосылки
70-е
Новые знания о мозге
Развитие микроэлектроники и
КТ => техническая база
Несовершенство
существующих ИИС
спад из-за технических
сложностей реализации, развития
символьного программирования
5000 специалистов,
> 100 компаний
Публикация Хопфилда:
Модель Хебба ~ класс
физических систем
3)
1)
2)
Розенблатом и Уиндроу
создан персептрон устройство для
распознавания образов
концепция клеточных
ансамблей Хебба (Канада)
первые попытки разработки ИИС
на основе нервных клеток
Уровень интереса
История нейрокомпьютера
80-е
Международные
конференции по
нейросетям(Neural
Information Processing
Systems и др.),
специализированные
журналы (Neural
Networks,
NeuroComputers и др.)
1996
серийный выпуск и эксплуатация
основанных на нейросетевой
технологии прикладных систем
90-е
ХХI век
90

Некоторые сведения о мозге
Самая сложная из известных систем переработки информации.
В нем содержится около 100 млрд.
нейронов, каждый из которых имеет в
среднем 100 тыс. связей.
Надежен: функционирует при потере
(отмирании) нейронов
Обработка огромных объемов
информации осуществляется за доли
секунды, несмотря на то, что время
реакции нейрона несколько
миллисекунд.
Хорошо изучена структура и функции отдельных нейронов
Есть некоторые данные об организации внутренних и внешних
связей между нейронами некоторых структурных
образований мозга
Мало известно об участии различных структур в процессах
переработки информации.
91

Биологический нейрон
92

Нервный импульс
- процесс распространения
возбуждения по аксону от тела
клетки (аксонного холмика) до
окончания аксона.
- основная единица информации,
передаваемая по волокну.
… передаётся в виде скачков
потенциала внутриклеточной среды
по отношению к внешней среде,
окружающей клетку со скоростью от
1 до 100 м/с.
Рефрактерность – отсутствие возбудимости нервной клетки
после предшествующего возбуждения.
Период рефрактерности – минимальный интервал времени
между нервными импульсами (10-4.. 10-3 с)
93

Алгоритм Цукамото

Мембрана
Обеспечивает
проведение
нервных
импульсов по
волокну
Толщина
мембраны
около 10 нм
Мера возбуждения клетки = уровень поляризации
её мембраны, зависящий от суммарного
количества нейромедиатора (химической
субстанции), выделенной на всех синапсах.
94

Нейроподобный элемент (НПЭ)
или формальный нейрон
Модель физического нейрона.
НПЭ состоит из взвешенного сумматора и
нелинейного элемента. Функционирование
определяется формулами:
и
где xi - входные сигналы, совокупность xi образует вектор Х;
wi - весовые коэффициенты, совокупность wi образует вектор весов W;
NET - взвешенная сумма входных сигналов, значение NET передается на
нелинейный элемент;
Θ - пороговый уровень данного нейрона;
F - нелинейная функция, называемая функцией активации.
НПЭ имеет несколько входных сигналов х и один выходной сигнал OUT.
Параметры НПЭ: вектор весов W, пороговый уровень Θ и вид функции
активации F.
95

Алгоритм Суджено и Такажи

Принцип работы НПЭ
1. На НПЭ поступает входной вектор X, представляющий
собой выходные сигналы других НПЭ.
Этот входной сигнал соответствует сигналам, поступающим в
синапсы биологических нейронов
2. Каждый входной сигнал умножается на соответствующий
вес w1 , w2, ... wn - аналог эффективности сигнала.
Вес является скалярной величиной, положительной для
возбуждающих и отрицательной для тормозящих связей.
3. Взвешенные весами связей входные сигналы поступают на
блок суммирования, соответствующий телу клетки, где
осуществляется их алгебраическое суммирование и
определяется уровень возбуждения НПЭ.
4. Выходной сигнал нейрона y определяется путем
пропускания уровня возбуждения через функцию активации.
96

Алгоритм упрощенного выбора

Виды функций
активации F

Алгоритм упрощенного выбора

Жесткая ступенька и
Жёсткая
ступенька ступенька
пологая
Пологая ступенька
+ простая;
+ реализация требует малых затрат;
-не позволяет моделировать схемы
с непрерывными сигналами;
- затруднено обучение нейросетей.
+ легко рассчитывается;
+ обучение затруднено.
98

Гиперболический тангенс
Логистическая функция
и функция Ферми
(функция Ферми)
Гиперболический тангенс
* применяется для сетей с
непрерывными сигналами;
+ легкое обучение.
* применяется для
многослойных персептронов;
+ широкий диапазон сигналов;
+ легкое обучение.
99

Нейроны и нейронные сети

Особые функции активации
Экспонента
SOFTMAX-функция (выходывероятности)
Линейная функция (не требуется
последовательное соединение слоёв
Гауссова кривая (реакция НПЭ
должна быть максимальна для
некоторого значения)
100

Нейронные сети…

Выбор функции активации
определяется…
1. спецификой задачи.
2. удобством реализации на ЭВМ, в виде
электрической схемы или другим способом.
3. алгоритмом обучения: некоторые
алгоритмы накладывают ограничения на
вид функции активации, их нужно
учитывать.
Чаще всего вид нелинейности не оказывает принципиального
влияния на решение задачи. Однако удачный выбор может
сократить время обучения в несколько раз
101

Задачи, успешно решаемые нейросетями

Ограничения модели нейрона
Вычисления выхода нейрона
предполагаются
мгновенными, не вносящими
задержки.
В модели отсутствуют
нервные импульсы.
Нет модуляции уровня
сигнала плотностью
импульсов, как в нервной
системе.
Не появляются эффекты
синхронизации, когда
скопления нейронов
обрабатывают информацию
синхронно, под управлением
периодических волн
возбуждения-торможения.
Нет четких алгоритмов для
выбора функции активации.
Нет механизмов, регулирующих
работу сети в целом (пример гормональная регуляция
активности в биологических
нервных сетях).
Чрезмерная формализация
понятий: "порог", "весовые
коэффициенты".
Не поддерживается
многообразие синапсов.
Тормозные и возбуждающие
синапсы реализуются в данной
модели в виде весовых
коэффициентов
противоположного знака, но это
далеко не все виды.
В модели не прослеживается
различие между градуальными
потенциалами и нервными
импульсами.
102

Сферы знаний

Нейроподобная сеть
- совокупность нейроподобных элементов,
определенным образом соединенных друг
с другом и с внешней средой.
Входной вектор (кодирующий входное воздействие или образ
внешней среды) подается на сеть путем активации входных
нейроподобных элементов.
Множество выходных сигналов нейронной сети y1, y2,..., yn
называется вектором выходной активности, или паттерном
активности нейронной сети.
103

Нейрокомпьютер…

Особенности архитектуры
нейросети
топология межнейронных связей;
выбор определенного подмножества НПЭ для
ввода и вывода информации;
наличие или отсутствие конкуренции;
направление и способ управления и
синхронизации информационных потоков между
нейронами
обуславливают конкретный вид выполняемого
сетью преобразования информации
104

История нейрокомпьютера

Искусственные нейронные
сети
105

Некоторые сведения о мозге

Важнейшие свойства
биологических нейросетей
Способность к полной обработке
информации: ассоциативность
(сеть может восстанавливать
полный образ по его части),
способность к классификации,
обобщению, абстрагированию и
множество других.
Надежность. Биологические НС
обладают фантастической
надежностью: выход из строя
даже 10% нейронов в нервной
системе не прерывает ее
работы. По сравнению с
последовательными ЭВМ,
основанными на принципах фон
Неймана, где сбой одной ячейки
памяти или одного узла в
аппаратуре приводит к краху
системы.
Параллельность обработки
информации.
Самоорганизация. В процессе
работы биологические НС
самостоятельно, под
воздействием внешней
среды, обучаются решению
разнообразных задач.
Неизвестно никаких
принципиальных ограничений
на сложность задач,
решаемых биологическими
нейронными сетями. Нервная
система сама формирует
алгоритмы своей
деятельности, уточняя и
усложняя их в течение жизни.
Биологические НС являются
аналоговыми системами
106

Биологический нейрон

Подходы к созданию
нейронных сетей
Информационный подход: безразлично, какие
механизмы лежат в основе работы искусственных
нейронных сетей, важно лишь, чтобы при решении
задач информационные процессы в НС были
подобны биологическим.
Биологический подход: при моделировании важно
полное биоподобие, и необходимо детально
изучать работу биологического нейрона.
Крупные работы в исследованиях биологических
нейронных сетей принадлежат Эндрю Хаксли, Алану
Ходжкину, Бернарду Катцу, Джону Экклзу, Стивену
Куффлеру и др.
108

Нервный импульс

Методы исследования
нейроподобных сетей
Метод
Особенности
аналитическое
исследование
- сложность из-за большого количества НПЭ
+ интересные аналитические результаты получены
для многих моделей нейроподобных сетей
математическое
(имитационное
моделирование)
+ дает возможность создать практически любые
модели
- из-за последовательного характера их работы
удается исследовать модели ограниченного
размера
физическое
моделирование
+ позволяет быстро получить достоверные
результаты работы модели
- техническая сложность аппаратной реализации
большого количества НПЭ с многими
адаптивными связями
109

Мембрана

Категории моделей
нейронных сетей
модели отдельных нейронов;
модели небольших групп нейронов;
модели нейронных сетей;
модели мыслительной деятельности и
мозга в целом.
110

Нейроподобный элемент (НПЭ) или формальный нейрон

Виды обучения нейронных
сетей
111

Принцип работы НПЭ

Алгоритмы обучения
С учителем
Без учителя
Дано
вектор Х,
ожидаемые выходные сигналы
нейрона dj ∈ D
вектор Х
Подбор
значений
фактические выходные сигналы
нейрона должны принимать
значения, как можно более
близкие к ожидаемым
сеть учится давать наилучшие
значения выходов. Что
понимается под "наилучшими"
- определяется алгоритмом
обучения.
Новые
значения
.. за счет способности к
обобщению сетью, если подать
на вход вектор, который не
встречался при обучении.
всегда
112

Виды функций активации F

Методы обучения МСП
Алгоритм обратного
распространения ошибки
классический
Градиентные
Выявление градиента
целевой функции
Алгоритм переменной метрики
Эвристические методы
На основе личного опыта
автора в области обучения
нейронных сетей
Алгоритм наискорейшего спуска
Алгоритм сопряжения градиентов
Алгоритм Левенберга-Марквардта
113

Жесткая ступенька и пологая ступенька

Модель МакКаллока-Питса
Выходной сигнал:
Пороговая функция:
Построение дискретной модели обосновывается проявлением рефракции
у биологических нейронов, приводящей к тому, что нейрон может
изменять свое состояние с конечной частотой, причем длительность
периодов бездействия зависит от частоты его срабатывания.
114

Гиперболический тангенс и функция Ферми

Логические операции

Особые функции активации

Алгоритм обучения персептрона
Маккалока-Питтса

Выбор функции активации

Классификация нейронных
сетей
Однонаправленные
Рекуррентные
(с обратной связью)
Способ объединения нейронов
Нейронная сеть
Количество слоёв нейронов
Однослойные
Многослойные
118

Ограничения модели нейрона

Простой персептрон
матрица бинарных входов
(сенсорных нейронов или
"сетчатка") r1, r2, ... rn, куда
подаются входные образы;
набор нейроподобных
элементов x1 , x2, ... xm, с
фиксированными связями к
подмножествам сетчатки
("детекторы признаков");
"решающий элемент"- бинарный НПЭ с модифицируемыми
связями с "детекторами". Обычно число решающих элементов
выбирается равным количеству классов, на которое
необходимо разбить предъявляемые персептрону образы.
119

Нейроподобная сеть

Персептрон Розенблатта
Простой
которого
условия:
персептрон, для
справедливы
n=m и xi = ri,
при
этом
детекторы
признаков
могут
рассматриваться как входной
слой.
Персептрон Розенблатта имел один слой обучаемых весов,
на входы которого подавались сигналы с d = 512
ассоциирующих нейронов со случайными фиксированными
весами, образующие признаковое пространство для 400пиксельных образов
120

Особенности архитектуры нейросети

Алгоритм обучения
персептрона Розенблатта
процедура сходимости персептрона Розенблатта
1.Вектор весов wi устанавливается в произвольное
состояние.
2.На сетчатку поочередно подают образы из обучающей
выборки, которые трансформируются в выходной сигнал y
решающего элемента.
3.При правильном отклике ничего не изменяется.
4.При неправильном отклике y=0 веса всех связей от
активных элементов сетчатки увеличивают, а при
неправильном отклике y=1 – уменьшают на величину.
Если решение существует, оно будет достигнуто за
конечное число шагов при начальном выборе связей.
121

Искусственные нейронные сети

Характеристики персептрона
Тип входных сигналов: бинарные или аналоговые (действительные).
Размерности входа и выхода ограничены при программной реализации
только возможностями вычислительной системы, на которой
моделируется нейронная сеть, при аппаратной реализации технологическими возможностями.
Емкость сети совпадает с числом нейронов.
Модификации. Многослойные персептроны дают возможность строить
более сложные разделяющие поверхности и поэтому имеют более
широкое применение при решении задач распознавания.
Достоинства. Программные или аппаратные реализации модели очень
просты. Простой и быстрый алгоритм обучения.
Недостатки. Примитивные разделяющие поверхности (гиперплоскости)
дают возможность решать лишь самые простые задачи распознавания.
Области применения. Распознавание образов, классификация.

Важнейшие свойства биологических нейросетей

Многослойный персептрон
сеть прямого распространения
Сенсорный
(входной)
слой
Выходной
(результативный) слой
Скрытые (ассоциативные) слои
Принцип связи между нейронами - "каждый с каждым".
Количество нейронов в слоях может быть произвольным.
Обычно во всех скрытых слоях одинаковое количество нейронов.
Входной слой только распределяет сигналы.
123

Отличия между биологическими НС и ЭВМ на архитектуре фон Неймана

Классификация

Подходы к созданию нейронных сетей

Регрессия (аппроксимация)

Методы исследования нейроподобных сетей

Алгоритм решения задач с
помощью МСП
1.
2.
3.
4.
Определить, какой смысл
вкладывается в компоненты
входного вектора х. Входной
вектор должен содержать
формализованное условие
задачи, т.е. всю информацию,
необходимую для получения
ответа.
Выбрать выходной вектор у
таким образом, чтобы его
компоненты содержали полный
ответ поставленной задачи.
Выбрать вид нелинейности в
нейронах (функцию активации).
Задать диапазон изменения
входов, выходов, весов и
пороговых уровней, учитывая
множество значений выбранной
5. Присвоить начальные значения
весовым коэффициентам и
пороговым уровням и
дополнительным параметрам
(например, крутизне функции
активации, если она будет
настраиваться при обучении).
6. Провести обучение, т.е.
подобрать параметры сети так,
чтобы задача решалась
наилучшим образом. По
окончании обучения сеть готова
решить задачи того типа, которым
она обучена.
7. Подать на вход сети условия
задачи в виде вектора х.
Рассчитать выходной вектор у,
который и даст формализованное
решение задачи.
функции активации.
126

Категории моделей нейронных сетей

Алгоритм обратного
распространения ошибки
Error backpropagation
Основа метода – целевая функция, формулируемая в виде
квадратичной суммы разностей между фактическими и
ожидаемыми значениями выходных сигналов.
В случае единичной одинарной
выборки (x,d) целевая функция
определяется в виде:
При большом количестве обучающих выборок j (j = 1,2,.. p) целевая
функция превращается в сумму по всем выборкам:
127

Виды обучения нейронных сетей

Этапы выполнения алгоритма
обратного распространения ошибки
1.Анализ нейронной
сети в прямом
направлении
передачи информации
при генерации
входных сигналов,
составляющих
очередной вектор Х.
2.Создание сети
обратного
распространения
ошибок
3.Уточнение весов
4.Описанный в п. 1, 2
и 3 процесс следует
повторить для всех
обучающих выборок.
.
К 1. рассчитываются значения выходных
сигналов нейронов скрытых слоев и выходного
слоя, а также соответствующие производные
функций активации каждого слоя.
К 2.путем изменения направлений передачи
сигналов, замена функций активации их
производными и подача на бывший выход
возбуждения в виде разности между
фактическим и ожидаемым значением. Для
определенной таким образом сети необходимо
рассчитать значения требуемых обратных
разностей.
К 3. по формулам на основе результатов,
полученных в п. 1 и 2, для оригинальной сети и
для сети обратного распространения ошибки
К 4. Действие алгоритма завершается в момент,
когда норма градиента упадет ниже априори
заданного значения точности обучения е.
128

Алгоритмы обучения

Переобучение нейросети
Функцияучитель,
порождающая
обучающие
примеры, N<∞
У
Нейросеть с нулевой
ошибкой обучения
Проблема: недостаточно
информации, чтобы
выбрать единственное
правильное решение:
функцию-учителя.
выбранная случайным образом функция дает
плохие предсказания на новых примерах,
отсутствовавших в обучающей выборке, хотя
последнюю сеть воспроизвела без ошибок.
Вместо того, чтобы обобщить известные примеры,
сеть запомнила их
130

Методы обучения МСП

Многослойный персептрон
нейронов с фиксированными
большому).
весами
Разделение данных
на обучающее и
валидационное
множества примеров
сократить разнообразие
возможных конфигураций
обученных нейросетей
при минимальной потере
их аппроксимирующих
способностей
137

Персептрон Розенблатта

Сеть Хопфилда
выходные
сигналы
нейронов
являются одновременно входными
сигналами
сети,
при
этом
возбуждающий вектор особо не
выделяется.
отсутствует связь нейрона с
собственным выходом
Выходной сигнал i-го нейрона:
где bi- пороговое значение,
заданное внешним источником,
N – количество нейронов.
138

Алгоритм обучения персептрона Розенблатта

Решение задач с помощью
сетей Хопфилда
1. Построить функцию энергии таким образом, чтобы точка
глобального минимума этой функции совпадала с решением
задачи. При этом градиент функции энергии должен
допускать вычисление с помощью НС.
2. Записать формулы для расчета параметров сети (весовых
коэффициентов и пороговых уровней) для расчета
градиента функции энергии.
3. Разорвать цепочку обратной связи и предъявить сети
входной вектор. Рассчитать значения выходов.
4. Замкнуть обратную связь и предоставить сети возможность
самостоятельно менять свое состояние (релаксация).
Остановить процесс релаксации после того, как выходной
вектор перестанет меняться, т.е. по достижении минимума
функции энергии. Полученные выходы сети дают решение
задачи.
139

Характеристики персептрона

Свойства современных
нейросетей
Обучаемость. Выбрав одну из моделей НС, создав сеть и
выполнив алгоритм обучения, мы можем обучить сеть
решению задачи, которая ей по силам. Нет никаких
гарантий, что это удастся сделать при выбранных сети,
алгоритме и задаче, но если все сделано правильно, то
обучение бывает успешным.
Способность к обобщению. После обучения сеть
становится нечувствительной к малым изменениям
входных сигналов (шуму или вариациям входных образов)
и дает правильный результат на выходе.
Способность к абстрагированию. Если предъявить сети
несколько искаженных вариантов входного образа, то сеть
сама может создать на выходе идеальный образ, с
которым она никогда не встречалась.
142

Многослойный персептрон

Различие экспертных и НС
систем по характеру знаний
Экспертные системы (ЭС)
Источник Формализованный опыт
знаний
эксперта, выраженный в виде
логических утверждений правил и фактов, безусловно
принимаемых системой
Характер Формально-логическое
знаний
“левополушарное” знание в
виде правил
Развитие В форме расширения
знаний
совокупности правил и фактов
(базы знаний)
Нейросетевые системы (НС)
Совокупный опыт эксперта-учителя,
отбирающего примеры для обучения +
индивидуальный опыт обучающейся на этих
примерах нейронной сети
Ассоциативное “правополушарное” знание в
виде связей между нейронами сети
В форме дообучения на дополнительной
последовательности примеров, с уточнением
границ категорий и формированием новых
категорий
Роль
Задает на основе правил полный Отбирает характерные примеры, не
эксперта объем знаний экспертной
формулируя специально обоснование своего
системы
выбора
Роль
Поиск цепочки фактов и правил Формирование индивидуального опыта в
искус.сист. для доказательства суждения
форме категорий, получаемых на основе
примеров и категоризация образов

© dagexpo.ru, 2024
Стоматологический сайт