Popis předmětu - XP13SAV

Přehled studia | Přehled oborů | Všechny skupiny předmětů | Všechny předměty | Seznam rolí | Vysvětlivky               Návod
XP13SAV Statistická analýza a vyhodnocení technologických dat
Role:S Rozsah výuky:2P+2S
Katedra:13113 Jazyk výuky:CS
Garanti:Molhanec M. Zakončení:Z,ZK
Přednášející:Molhanec M. Kreditů:4
Cvičící:Molhanec M. Semestr:L

Webová stránka:

https://moodle.fel.cvut.cz/course/B212/XP13SAV

Anotace:

Předmět je zaměřen na vyhodnocení a zpracování technologických dat, tj. dat získaných měřením technologických (procesních) veličin, ale i dat získaných z jiných zdrojů. Studenti se seznámí s formáty dat získaných měřením v průmyslu, s jejich načtením do vhodné aplikace, zpracováním (filtrování a transformace), vyhodnocením (statisticky a graficky) a uložením těchto dat a získaných výsledků ve vhodné formě pro další zpracování. Dále se seznámí se základními statickými veličinami, které se používají při analýze dat. Také se seznámí s různými způsoby vizuálního zobrazení získaných dat (různé typy grafů). Mimo zpracování dat získaných měřením se bude předmět zabývat také získáním a zpracováním dat z Internetu, nebo dalších zdrojů, například z formátů .pdf a .docx. Předmět je založen na využití jazyka Python a vývojového prostředí Jupyter Notebook. O dalších systémech a možnostech (například Matlab, R, Julia) bude poskytnuta pouze stručná informace. K ukončení předmětu je požadována semestrální práce ve které student předvede, že umí tvůrčím a samostatným způsobem uplatnit vědomosti v něm nabyté.

Osnovy přednášek:

1. Formáty měřených dat: csv, tsv, fixní data. Další formáty používané pro zpracování a archivaci: xml, json. Strukturovaná a nestrukturovaná data. Data na Internetu a v databázi. Textová data. Nástroje na prohlížení a práci s danými formáty dat.
2. Dávkové zpracování naměřených dat ve Windows a Linuxu. Skriptovací jazyky ve Windows a Linuxu. Použití příkazové řádky. Použití pipe a přesměrování v příkazové řádce. Vhodné nástroje na prohlížení a práci s datovými soubory z příkazové řádky. Příkazy: cat, less, tr, sed, grep, awk a další.
3. Jazyky užívané pro zpracování dat. Základy jazyka Python. Proměnné, pole, seznamy, slovníky a množiny. Funkce a třídy v jazyce Python. Příkazy větvení (If) a cyklu (For). Comprehense. Lambda funkce.
4. Práce s daty I. Datová věda. Co jsou to Tidy data. Co jsou normalizovaná data. Knihovna Pandas. Dataframe. Index. Výběr dat dle řádku a sloupečku.
5. Práce s daty II. Knihovna Pandas - pokračování. Výběr dle obsahu. Metoda Query. Třídění. Operace nad daty. Agregace a základní statistika.
6. Práce s daty III. Knihovna Pandas - pokračování. Detekce a filtrace NaN. Stylování buněk.
7. Statistika I. Populace a výběr. Statistické funkce v jazyce Python. Mean, průměr, rozptyl, standardní odchylka a další charakteristické hodnoty.
8. Statistika II. Korelace a kovariace. Lineární regrese. Testování hypotéz. Testy normality.
9. Vizualizace I. Vizualizace dat a jejich interpretace. Scatter diagram, boxplot, sloupcový diagram a histogram. Knihovna Matplotlib.
10. Vizualiazace II. Koláčový diagram. Další 2D a 3D diagramy. Zásady tvorby diagramů pro znázornění technologických dat. Popisy os. Volba barev. Knihovna Seaborn.
11. Extract-Transfer-Load (ETL). Exploratory data analysis (EDA). Machine learning (ML). Další knihovny na práci s daty. Interaktivní možnosti.
12. Stahování dat z webu. Extrakce dat z .pdf a .docx. Animace. Další náročnější témata.
13. Další systémy na zpracování dat, stručný přehled: Matlab, R, Mathematica, Julia, MathCAD. Možnosti Excelu.
14. Prezentace dat. Publikování dat. Open access. Autorská práva.

Osnovy cvičení:

Literatura:

[1] Milan Meloun, Jiří Militký.: Statistické zpracování experimentálních dat, ars magna, 1998, Praha
[2] Václav Dupač a Marie Hušková, Pravděpodobnost a matematická statistika, Karolinum, 2009
[3] M. Navara.: Pravděpodobnost a matematická statistika. Skripta FEL ČVUT, 2007

Požadavky:

Klíčová slova:

zpracování dat, datová věda, statistika, Python, Jupyter

Předmět je zahrnut do těchto studijních plánů:

Plán Obor Role Dop. semestr
DOKP Před zařazením do oboru S
DOKK Před zařazením do oboru S


Stránka vytvořena 27.1.2023 17:50:44, semestry: Z,L/2022-3, L/2021-2, Z/2024-5, připomínky k informační náplni zasílejte správci studijních plánů Návrh a realizace: I. Halaška (K336), J. Novák (K336)