Arhitecturi neurale. Memorii asociative bidirectionale

                                   CUPRINS
Introducere.................................................................
................................................I
1. Fundamentele arhitecturilor
neurale.....................................................................
..4
      1.1. Elemente de
procesare...................................................................
...........4
      1.2. Functii
semnal......................................................................
....................4
      1.3. Caracteristici
topologice..................................................................
.........6
            1.3.1. Tipuri de
conexiuni...................................................................
..6
                 1.3.2. Scheme de
interconectare............................................................6
            1.3.3. Configuratii de
campuri...............................................................7
      1.4.
Memoria.....................................................................
...............................8
            1.4.1. Tipuri de
forme.......................................................................
.....8
                 1.4.2. Tipuri de
memorii.....................................................................
...8
                 1.4.3. Mecanisme de
memorare.............................................................8
      1.5.
Decodarea...................................................................
..............................9
      1.6.
Instruirea..................................................................
.................................9
                 1.6.1. Invatarea prin corectarea
erorilor...............................................10
                 1.6.2. Invatarea prin
intarire................................................................11
                 1.6.3. Invatarea
stocastica..................................................................
..12
                 1.6.4. Sisteme
hardware....................................................................
...12
                 1.6.5. Invatarea
Hebbiana....................................................................
13
                 1.6.6. Invatarea competitiva si
cooperativa..........................................14
                 1.6.7. Sisteme conectate
aleator...........................................................15
      1.7. Stabilitatea si
convergenta.................................................................
......16
                 1.7.1. O definitie a stabilitatii
globale..................................................16
                       1.7.1.1 Metoda directa
Liapunov..............................................17
2. Arhitecturi neurale feedforward si
recurente.........................................................17
      2.1. Primul model de retea
neurala.................................................................17
      2.2. Arhitecturi neurale
feedforward...............................................................20
            2.2.1.
Perceptronul................................................................
..............20
                 2.2.1. 1. Perceptronul cu un singur
strat....................................20
                 2.2.1.2. Functia de
performanta................................................22
                 2.2.1.3.  Algoritm de
instruire...................................................23
                 2.2.1.4. Teorema de
convergenta..............................................27
                 2.2.1.5. Algoritmul
Gallant.......................................................29
            2.2.2. Memoria liniar asociativa -
LAM...............................................32
            2.2.3. Memoria liniar asociativa optimala -
OLAM..............................33
            2.2.4
Adaline/Madaline............................................................
..........36
                 2.2.4.1. Functia de
performanta................................................36
                 2.2.4.2. Algoritmi de
instruire...................................................37
            2.2.5. Retele cu backpropagare
-BNP..................................................39
                 2.2.5.1.
Introducere.................................................................
.39
                 2.2.5.2. Arhitectura multistrat a retelelor
neuronale..................41
                 2.2.5.3. Functia de
performanta...............................................45
2.2.5.4. Algoritm de
instruire...................................................45
                 2.2.5.5. Variante ale algoritmului de
backpropagare.................49
                       2.2.5.5.1. Varianta
momentum.......................................49
                       2.2.5.5.2. Varianta
netezirii............................................51
                       2.2.5.5.3. Varianta Batch-
updating.................................51
                       2.2.5.5.4. Varianta Delta-har-
Delta................................52
                       2.2.5.5.5. Varianta a doua a ratei de instruire
variabile...53
                       2.2.5.5.6. Varianta algoritmului
robust...........................54
      2.3. Arhitecturi neurale
recurente...................................................................
56
            2.3.1.
Introducere.................................................................
...............56
            2.3.2. Memorii asociative
bidirectionale..............................................57
                 2.3.2.1. Notiuni de
baza............................................................57
                 2.3.2.2. Asociatorul
liniar.........................................................58
                 2.3.2.3. Functionarea asociatorului
liniar..................................60
                 2.3.2.4. Memorii liniare
optimale.............................................61
            2.3.3. Functionarea memoriilor asociative
bidirectionale.....................62
                 2.3.3.1. Stabilirea
ponderilor.....................................................62
                 2.3.3.2. Dinamica BAM-
urilor..................................................63
                 2.3.3.3. Functionarea BAM-
urilor.............................................66
                 2.3.3.4. Algoritmul
BAM..........................................................72
            2.3.4. Stabilitatea memoriei asociative
bidirectionale...........................74
                 2.3.4.1. Stabilitatea
bidirectionala.............................................74
                 2.3.4.2. Consideratii elementare privind functiile
Liapunov......75
                 2.3.4.3. Sisteme dinamice
stabile..............................................76
                 2.3.4.4. Functia energie pentru retele
neurale............................77
                 2.3.4.5. Stabilitatea memoriei asociative
bidirectionale.............79
                 2.3.4.6. Stabilitatea memoriei asociative bidirectionale.
Cazul
general.....................................................................
...82
3. Descrierea
aplicatiei..................................................................
............................85
Bibliografie.