Metody analizy danych eksperymentalnych-PW

stacjonarne

II stopnia

wybieralny

W 20/+; C 24/+

Matematyka w zakresie studiów I stopnia/ wymagania wstępne: znajomość rachunku macierzowego oraz podstawowych pojęć rachunku prawdopodobieństwa i statystyki matematycznej (na przykład przedmioty podstawowe ze studiów I stopnia w Wydziale Elektroniki WAT : Algebra z geometrią analityczną oraz Rachunek prawdopodobieństwa i statystyka matematyczna)

Elektronika i telekomunikacja / systemy infomacyjno-pomiarowe, inżynieria systemów bezpieczeństwa

dr inż. Jacek Jakubowski

Przedmiot służy poznaniu technik obliczeniowych (formuł matematycznych oraz algorytmów komputerowych) przeznaczonych do ekstrakcji informacji z danych opisujących wyniki eksperymentu. Przedstawiane metody pochodzą z zakresu zarówno potwierdzającej, jak i eksploracyjnej analizy danych. Przedmiot zapoznaje i uczy zasad wykorzystania środowiska Matlab w zakresie przeprowadzenia analizy danych i opracowania raportu.

Wykłady / metody dydaktyczne: werbalno-wizualna prezentacja treści programowych z wykorzystaniem technik audiowizualnych; podanie informacji teoretycznych i wskazanie przykładów ilustrujących teorię;

Tematy kolejnych zajęć (po 2 godziny lekcyjne):

1. Zagadnienia wprowadzające

Zasady realizacji i zaliczania przedmiotu. Cele i podział metod analizy danych. Charakterystyka narzędzi programistycznych do analizy danych. Opis danych jednowymiarowych.

2. Zastosowanie wybranych metod wnioskowania statystycznego w analizie danych

Metoda największej wiarygodności. Estymacja parametrów. Ocena wpływu oddziaływań zewnętrznych na wynik eksperymentu. Odrzucanie danych odstających.

3. Rachunek skalarny modelu regresji liniowej

Wprowadzenie do analizy regresji. Założenia procesu estymacji parametrów modelu regresji. Jakość predykcji.

4. Rachunek macierzowy modelu regresji liniowej

Konstrukcja macierzy regresorów. Przypadek heteroskedastyczny. Macierz kowariancji estymatora parametrów. Regresja wieloraka. Regresja wielomianowa i krzywoliniowa. Ocena adekwatności modelu regresji.

5. Opis danych wielowymiarowych

Kowariancja jako miara współzmienności. Współczynnik korelacji liniowej Pearsona. Ilościowe znaczenie współczynnika korelacji. Reprezentacja graficzna danych wielowymiarowych: wykresy rozproszeń, gwiazdowe, twarzy Chernoffa, Andrewsa. Opis matematyczny operacji rzutowania punktu na wyróżniony kierunek.

6. Transformacja PCA

Macierz kowariancji. Idea przekształcenia PCA. Dekompozycja macierzy kowariancji na wektory i wartości własne. Własności macierzy przekształcenia i danych w przestrzeni docelowej.

7. Transformacja LDA

Kryterium transformacji LDA. Przebieg transformacji dla wariantu dwuklasowego. Schemat transformacji dla wariantu wieloklasowego.

8. Wprowadzenie do analizy dyskryminacji

Podział metod. Klasyfikacja wzorcowa w problemie dwu klas separowalnych liniowo. Metody wyznaczania hiperpłaszczyzn rozdzielających. Przypadek wieloklasowy.

9. Problemy nieseparowalne liniowo

Miary odległości w analizie danych. Klasyfikacja minimalno-odległościowa. Metoda najbliższych sąsiadów (k-NN).

10. Klasyfikacja bezwzorcowa

Metoda k-średnich i metoda grupowania hierarchicznego. Kolokwium zaliczające.

Ćwiczenia / metody dydaktyczne: repetytorium i utrwalenie elementów treści programowych; dyskusja; podanie zadań analizy danych do rozwiązania z wykorzystaniem komputera.

Tematy kolejnych zajęć (po 2 godziny lekcyjne):

1. Rozkłady wyników eksperymentu

Wykorzystanie środowiska Matlab do tworzenia raportu z analizy danych na przykładzie empirycznego wyznaczania funkcji gęstości prawdopodobieństwa. Dopasowanie rozkładu do danych eksperymentalnych.

2. Opis liczbowy jednowymiarowych wyników eksperymentu

Wykorzystanie środowiska Matlab do obliczania miar położenia, rozrzutu i kształtu rozkładów danych. Miary opisu wyników zawierających dane odstające. Reprezentacja graficzna danych.

3. Przykłady zastosowań wnioskowania statystycznego w analizie danych

Wykorzystanie środowiska Matlab w zagadnieniach estymacji przedziałowej. Realizacja procedury odrzucania danych odstających. Przykład weryfikacji hipotezy statystycznej.

4. Predykcja w modelu liniowym z jednym regresorem

Obliczenia współczynników prostej aproksymującej dyskretne wyniki eksperymentów. Wyznaczanie wariancji parametrów modelu.

5. Oszacowanie przedziałowe współczynników modelu regresji liniowej

Badanie własności modelu homo i heteroaskedastycznego. Obliczanie macierzy kowariancji estymatora parametrów.

6. Obliczenia dla regresji wielorakiej i regresji wielomianowej

Zadanie predykcji na podstawie wielu regresorów na przykładzie testowej bazy danych. Badanie stopnia dopasowania wielomianu do danych eksperymentalnych.

7. Badanie korelacji i wizualizacja danych wielowymiarowych

Obliczenia współczynnika korelacji Pearsona. Badanie istotności korelacji. Metody zobrazowania danych wielowymiarowych.

8. Badanie własności transformacji PCA

Obliczenia macierzy kowariancji. Wyznaczanie macierzy przekształcenia PCA. Redukcja wymiaru danych.

9. Przykłady zastosowań transformacji PCA

Eksploracja testowej bazy danych z wykorzystaniem PCA. Zastosowanie PCA do stratnej kompresji obrazów.

10. Przykłady zastosowań transformacji danych wielowymiarowych za pomocą LDA

Przykłady rozwiązywania zadań transformacji LDA dla danych dwuwymiarowych w wariancie dwuklasowym. Zastosowanie do analizy przypadku wielowymiarowego i wieloklasowego.

11. Wyznaczanie hiperpłaszczyzn rozdzielających

Przykłady obliczeń w wariancie dwuklasowym z wykorzystaniem metody reprezentantów klas i metody aproksymacji. Implementacja modelu neuronu Rosenblatta.

12. Tworzenie prezentacji wideo z analizy danych

Przykłady zastosowań metody k-średnich. Przykłady tworzenia prezentacji wideo w środowisku Matlab przedstawiających wyniki analizy danych wielowymiarowych.

podstawowa:

1. J. Koronacki, J. Ćwik, Statystyczne systemy uczące się, Akademicka Oficyna Wydawnicza EXIT, wyd. 2, 2008.

2. W. Kwiatkowski, Metody automatycznego rozpoznawania wzorców, Instytut Automatyki i Robotyki Wydziału Cybernetyki WAT, wyd. 1, 2001.

3. W. Klonecki, Statystyka dla inżynierów, Wydawnictwo Naukowe PWN, wyd. 1,1999.

uzupełniająca:

1. M. Dobosz, Wspomagana komputerowo statystyczna analiza wyników badań, Akademicka Oficyna Wydawnicza EXIT, 2001.

2. J. R. Taylor, Wstęp do analizy błędu pomiarowego, Wydawnictwo Naukowe PWN, wyd. 1 - 1995, wyd. 2 - 1999.

W1 / Student ma poszerzoną i pogłębioną wiedzę w zakresie zastosowania narzędzi wnioskowania statystycznego jako podstawowej metodologii analizy danych eksperymentalnych reprezentujących zjawiska lub obiekty fizyczne. / K_W01

W2 / Student zna i rozumie algorytmy wykorzystywane w systemach z obszaru specjalizacji obejmujące eksploracyjną analizę danych wielowymiarowych (data mining) ukierunkowaną na wizualizację, redukcję wymiarowości, ekstrakcję cech charakterystycznych, predykcję, klasyfikację i analizę skupień./ K_W07, K_W08

W3 / Student zna język programowania Matlab w zakresie posługiwania się specjalizowanym przybornikiem Statistics Toolbox przy wykorzystaniu komputera do wspomagania analizy danych./ K_W05

U1 / Student potrafi przygotować i przeprowadzić eksperymenty numeryczne z wykorzystaniem poznanych metod wielowymiarowej analizy danych eksperymentalnych jak PCA, LDA, k-NN i k-means. / K_U06

U2 / Student potrafi opracować szczegółową dokumentację przeprowadzonej analizy danych z wykorzystaniem narzędzi wytwarzania wersji elektronicznej raportu i narzędzi przygotowania elementów prezentacji multimedialnej oraz zawierającą omówienie uzyskanych wyników./ K_U03, K_U04

K1 / Student potrafi kreatywnie myśleć przy rozwiązywaniu problemu badawczego oraz współdziałać i pracować w małym zespole./ K_K03, K_K06

Przedmiot zaliczany jest na podstawie: kolokwium z tematyki wykładu.

Zaliczenie jest przeprowadzane w formie: pisemnej.

Warunkiem dopuszczenia do zaliczenia jest: zaliczenie ćwiczeń rachunkowych.

Warunkiem koniecznym do uzyskania zaliczenia ćwiczeń rachunkowych jest: uzyskanie pozytywnych ocen ze wszystkich raportów z analizy danych.

Efekty W1, W2 sprawdzane są na: ćwiczeniach rachunkowych i zaliczeniu.

Efekty W3, U1, U2 i K1 sprawdzane są na: ćwiczeniach rachunkowych oraz na podstawie sporządzanych przez studentów raportów z analizy danych.