Sieci neuronowe w systemach pomiarowych

stacjonarne

II stopnia

W30/x, C12/+, L18/+

1. Analiza matematyczna /Znajomość rachunku macierzowego

2. Przetwarzanie sygnałów/Podstawowe pojęcia przetwarzania sygnałów

3. Metodyka i techniki programowania/Znajomość podstaw pracy w środowisku Matlab.

Kierunek: Elektronika i Telekomunikacja

Specjalności: Systemy Informacyjno-Pomiarowe

prof. dr hab. inż. Stanisław Osowski

Sieci neuronowe typu perceptron wielowarstwowy (MLP), sieci o radialnej funkcji bazowej (RBF), sieci wektorów nośnych (SVM), sieci rekurencyjne, sieci Kohonena, PCA i ICA, sieci rozmyte, struktury i metody uczenia, przykłady zastosowań w systemach pomiarowych.

Wykłady/metody dydaktyczne: werbalno-wizualna prezentacja treści programowych w postaci prezentacji w PowerPoint i pokaz działania sieci:

Tematy kolejnych zajęć (każdy temat w wymiarze 2 godzin):

1. Podstawowe pojęcia sieci neuronowych

Prototyp sieci nerwowej, sieci: autoasocjacyjne i heteroasocjacyjne, uczenie nadzorowane i bez nadzoru; rodzaje powiązań neuronów w sieci. Modele neuronów – perceptron, neuron sigmoidalny, RBF, neuron Hebba, neuron typu WTA.

2. Sieci jednokierunkowe sigmoidalne wielowarstwowe

Struktura sieci, ogólny algorytm uczenia, metoda propagacji wstecznej, reguła grafów przepływowych obliczania gradientu.

3. Metody gradientowe uczenia sieci wielowarstwowych

Algorytm największego spadku, algorytmy newtonowskie i pseudonewtonowskie, algorytm gradientów sprzężonych, dobór kroku optymalizacji.

4. Zagadnienie zdolności generalizacji sieci

Warunki dobrej generalizacji, dobór próbek uczących i architektury sieci, metody redukcji sieci.

5. Sieci RBF

Struktura sieci lokalnej, metody uczenia oparte o samoorganizację oraz metody gradientowe, dobór optymalnej architektury sieci RBF, przykłady zastosowań sieci RBF w sztucznym nosie elektronicznym.

6. Sieci SVM

Sieć SVM do klasyfikacji, zasada działania, zdefiniowanie problemu uczenia sieci SVM, algorytmy uczące. Sieci SVM do regresji, zasada działania, zdefiniowanie problemu uczenia sieci regresyjnej.

7. Przykłady zastosowań sieci z nauczycielem

Zadania klasyfikacji, kompresja stratna danych, identyfikacja, aproksymacja, predykcja. Przykłady zastosowań w systemach pomiarowych.

8. Zasady przygotowania danych uczących sieci

Normalizacja danych, generacja i selekcja cech diagnostycznych, dobór liczby cech, zespoły sieci neuronowych. Przykłady zastosowań praktycznych w systemach pomiarowych.

9. Sieci rekurencyjne

Podstawowe struktury sieci, sieć Hopfielda i Hamminga , algorytmy uczące, problemy minimów fałszywych. Sieć Elmana, przykłady zastosowań.

10. Sieci samoorganizujące Kohonena

Pojęcie sąsiedztwa i aktywacji neuronów z sąsiedztwa zwycięzcy, problem neuronów martwych, metody WTA i WTM uczenia tych sieci: algorytmy Kohonena, , algorytm gazu neuronowego. Przykłady zastosowań w diagnostyce systemów.

11. Sieci samoorganizujące Hebba

Dekompozycja PCA, sieć PCA, algorytm Oji i Sangera, przykłady zastosowań w generacji i selekcji cech diagnostycznych oraz wizualizacji graficznej rozkładu danych wielowymiarowych.

12. Sieci ICA i BSS

Uogólniony algorytm Hebba w sieciach Heraulta-Juttena (HJ), architektura sieci i metody uczenia, algorytmy „ślepej” separacji sygnałów stochastycznie niezależnych, program ICALAB, przykłady zastosowań sieci ślepej separacji w przetwarzaniu sygnałów pomiarowych

13. Systemy rozmyte

Podstawowe pojęcia zbiorów rozmytych, miary rozmytości, wnioskowanie rozmyte, systemy wnioskowania rozmytego.

14. Sieci neuronowe rozmyte

Sieci Mamdaniego-Zadeha i Takagi-Sugeno-Kanga (TSK), struktury sieci i algorytm hybrydowy uczenia. Sieć samoorganizacji rozmytej, algorytmy c-means i Gustaffsona-Kesela.

15. Przykłady zastosowań sieci rozmytych

Rozmyte systemy pomiarowe, przykłady doboru funkcji rozmywania w wybranych zagadnieniach szczególnych. Przykłady zastosowań grupowania rozmytego danych pomiarowych.

Ćwiczenia rachunkowe/metody dydaktyczne: weryfikacja działania sieci neuronowych w wybranych zadaniach klasyfikacji i aproksymacji przy użyciu programów komputerowych. Tematy zajęć:

1. Budowa sieci MLP do klasyfikacji – 2 godz.

2. Analiza działania i dobór parametrów sieci RBF – 2 godz.

3. Kształtowanie struktury sieci SVM – 2 godz.

4. Sieć Kohonena w zastosowaniu do grupowania danych – 2 godz.

5. Sieć PCA i jej działanie – 2 godz.

6. Systemy rozmyte – 2 godz.

Laboratoria/metody dydaktyczne: weryfikacja działania sieci neuronowych w wybranych zadaniach klasyfikacji i aproksymacji przy użyciu programów komputerowych

Tematy kolejnych zajęć:

1. Badanie algorytmów uczenia sieci MLP – 4 godz.

2. Badanie sieci RBF i ich zastosowania – 2 godz.

3. Sieci SVM w zadaniach klasyfikacji i regresji – 2 godz.

4. Sieci rekurencyjne Hopfielda i Hamminga – 2 godz.

5. Sieci samoorganizujące Kohonena i ich zastosowania – 2 godz.

6. Sieci PCA i ich zastosowania w przetwarzaniu sygnałów i obrazów – 2 godz.

7. Sieci ICA i ich zastosowanie w ślepej separacji sygnałów – 2godz.

8. Sieci neuronowe rozmyte – 2godz.

podstawowa:

1. S. Osowski, Sieci neuronowe do przetwarzania informacji, Oficyna Wydawnicza PW, Warszawa, 2006

2. W. Duch, J. Korbicz, L. Rutkowski, R. Tadeusiewicz, Sieci neuronowe, EXIT, ISBN: 83-87674-18-4, 2000

uzupełniająca:

1. J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci neuronowe : podstawy teorii i zastosowania. PWN, Warszawa, 1996

2. H. Demuth, M. Beale, Neural Network Toolbox User’s Guide – For Use with MATLAB. The MathWorks, Inc., Natick, MA, 2008

 S. Osowski, Metody i narzędzia eksploracji danych, BTC, Legionowo, 2013

W1 / Student zna i rozumie podstawowe pojęcia definiujące sztuczne sieci neuronowe, różne rozwiązania sieciowe, w tym sieci MLP, RBF, SVM, TSK, sieci samoorganizujące i rekurencyjne, metody uczenia sieci neuronowych, zdolności generalizacyjne sieci, podstawowe zastosowania sieci, zwłaszcza w systemach bezpieczeństwa. K_W10

W2 / Student zna i potrafi zastosować w praktyce uniwersalne środowisko do obliczeń naukowo-technicznych Matlab, specjalizowane komputerowe narzędzia i programy do uczenia i zastosowania sieci neuronowych różnego rodzaju w zastosowaniach praktycznych. K_W01

U1 / Student potrafi posłużyć się właściwie dobranymi środowiskami programistycznymi i dostępnymi narzędziami w tych środowiskach do zaprojektowania i weryfikacji określonych struktur sieci neuronowych dla osiągnięcia postawionego celu. K_U06

U2 / Student potrafi ocenić przydatność metod i narzędzi służących do rozwiązywania prostych zadań inżynierskich, typowych dla zastosowania sieci neuronowych dla rozwiązania postawionego zadania. K_U07

K1 / Student ma świadomość odpowiedzialności za pracę własną oraz jest gotowy do podporządkowania się zasadom pracy w zespole i ponoszenia odpowiedzialności za wspólnie realizowane zadania. K_K03

Przedmiot jest zaliczany na podstawie egzaminu przeprowadzanego w formie pisemnej, obejmującego całość programu przedmiotu. Warunkiem dopuszczenia do zaliczenia przedmiotu jest zaliczenie ćwiczeń laboratoryjnych oraz ćwiczeń rachunkowych w formie kolokwium. Warunkiem zaliczenia ćwiczeń laboratoryjnych jest wykonanie praktyczne i zaliczenie sprawozdań ze wszystkich ćwiczeń na ocenę pozytywną zgodnie z regulaminem obowiązującym w laboratorium. Ocena z zaliczenia ćwiczeń laboratoryjnych jest średnią ocen otrzymaną z poszczególnych ćwiczeń.

Osiągnięcie poszczególnych efektów kształcenia weryfikowane jest następująco:

Efekty W1, W2, U1, U2 weryfikowane są w trakcie ćwiczeń laboratoryjnych, sporządzaniu sprawozdania z laboratorium oraz w dużym zakresie na końcowym egzaminie z wykładu

Efekt K1 weryfikowany jest w trakcie ćwiczeń praktycznych.

Nie przewiduje się.