Učiace pravidlá

Učenie – adaptívna procedúra : - učiace pravidlo

- algoritmus

a) Supervised learning (learning with teacher,associative learning)

b) Unsupervised learning

- clustering of unlabeled patterns of a given training set

c) Reinforced learning

- updating the network’s weights in response to an „evaluative“ teacher signal; (may be viewed as stochastic search mech.)

Učenie s dozorom v jedinej jednotke – neuróne

2 – error correction rules

- gradient – descent – based rules

Chybu opravujúce pravidlá

- opravujú urobenú chybu obyčajne na nulu

1. Učiace pravidlo perceptrónu – Rosenblatt (1962)

W¹ - ľubovoľné

W^k+1 = w^k + r(d^k - y^k)z^k k=1,2,...

y^k = sgn(w^Tz^k)

(z¹,d₁),(z²,d₂),...,(z^k,d_k) ...... trénujúca vzorka

Zovšeobecnenie učiaceho pravidla perceptrónu

a)

W¹ - ľubovoľné

W^k+1 = w^k + r^kz^k , ak

W^k+1 = w^k ,inak

Veta : Ak trénujúca vzorka je separovateľná a platí

1. r^k ³ 0

2. 3.

potom w^k konverguje k riešeniu w^*, ktoré spĺňa podmienku

, pre i = 1,2,...,m.

Ak r je konštanta v r^k, t.j. r^k = r/k, r^k = kr, potom učiace pravidlo konverguje v konečnom čase.

b) batch update procedúra

W¹ - ľubovoľné

W^k+1 = w^k + r åz , zÎZ(w^k)

kde zÎZ(w^k) je množina nesprávne klasifikovaných vzorov pri váhe w^k.

- konverguje rýchlejšie, ale...

Butz (1967) zaviedol použitie nového faktora g, 0 £ g £ 1

W¹ - ľubovoľné

W^k+1 = w^k + r^kz^k , ak

W^k+1 = w^k + r^kgz^k , ak

Toto vylepšenie umiestní w do oblasti, ktorá minimalizuje pravdepodobnosť chyby nelineárne separovateľného prípadu.

Funkcia kritéria pre perceptróny

Duda & Hart, 1973

J(w)= -åz^Tw , zÎZ(w)

kde zÎZ(w) je množina nesprávne klasifikovaných príkladov pri w (t.j. z^Tw < 0).

Ak Z(w)=0 Þ J(w)=0, inak J(w)>0.

Čím je J jemnejšie, tým je to lepšie.

Pravidlo poklesu gradientu (gradient descent)

Þ

Mayovo učiace pravidlo (1964)

W¹ - ľubovoľné

Ak

W^k+1 = w^k , inak

0<r<2

r^k , r^k = r/k iný prípad vylepšenia

Widrow – Hoffowo učiace pravidlo

a - LMS pravidlo

ADALINE (Adaptive Linear Combine Element)

OBR.

Pravidlo :

W¹ = 0 alebo ľubovoľné

a>0, d^kÎR - uvažovaná zodpovednosť

a riadi rýchlosť konvergencie a stabilitu

0<a<2