Přehled studia |
Přehled oborů |
Všechny skupiny předmětů |
Všechny předměty |
Seznam rolí |
Vysvětlivky
Návod
Anotace:
Kurz představuje hluboké neuronové sítě a hluboké učení jako jednou z oblastí strojového učení a umělé inteligence.
Úvodem představuje základní pojmy strojového učení (minimalizace empirického rizika, lineární klasifikátory a regrese, meze zobecnění). Následně jsou představeny sítě jako třídy modelů pro predikci (klasifikaci) a regresi společně
se složitostí jejich modelů a meze zobecnění. Cílem kurzu je důkladné pochopení konceptů a algoritmů potřebných
k úspěšnému návrhu, implementaci a učení hlubokých sítí v aplikacích strojového učení. To zahrnuje metody zpětného
šíření chyb a stochastického gradientu, inicializaci a normalizaci vah, deterministické a stochastické metody
regularizace, rozšiřování dat a také nepříznivě odolné přístupy k učení. Kurz je zakončen úvodní diskusí o generativních
neuronových sítích (VAE a GAN) a rekurentních neuronových sítích (GRU a LSTM) pro klasifikaci strukturovaných
výstupů. Studující získají znalosti souvisejících metod a konceptů i praktické dovednosti potřebné pro úspěšný návrh,
implementaci a učení hlubokých sítí v aplikacích strojového učení. Kurz poskytuje základ pro specifické aplikace, např.
v počítačového vidění, využívající specializované a často složitější varianty neuronových sítí, ztrátových funkcí a učebních přístupů.
Předmět může být vyučován v anglickém jazyce.
Cíle studia:
Cílem kurzu je poskytnout příslušné algoritmické a teoretické koncepty potřebné pro úspěšný návrh a trénování
(hlubokých) neuronových sítí. Současně poskytuje technické a praktické dovednosti v této oblasti.
Osnovy přednášek:
| 1. | | Machine learning 101: model, loss, learning, issues, regression, classification |
| 2. | | Under the hood of a linear classifier: two-class and multiclass linear classifier on RGB images |
| 3. | | Under the hood of auto-differentiation: Computational graph of fully connected NN, Vector-Jacobian-Product |
(VJP) vs chain rule and multiplication of Jacobians.
| 4. | | The story of the cat's brain surgery: cortex + convolutional layer and its Vector-Jacobian-Product (VJP) |
| 5. | | The loss: MAP and ML estimate, KL divergence and losses. |
| 6. | | Why is learning prone to fail? - Structural issues: layers + issues, batch-norm, drop-out |
| 7. | | Why is learning prone to fail? - Optimization issues: optimization vs learning, KL divergence, SGD, |
momentum, convergence rate, Adagrad, RMSProp, Adam, diminishing/exploding gradient, oscillation, double
descent
| 8. | | What can('t) we do with a deep net? Classification, Segmentation, Detection, Regression |
| 9. | | Reinforcement learning: Approximated Q-learning, DQN, DDPG, Derivation of the policy gradient, Reward |
shaping, Inverse RL, Applications
| 10. | | Memory and attention: recurrent nets, Image transformers with attention module |
| 11. | | Generative models: GANs and diffusion models |
| 12. | | Implicit layers: Backpropagation through unconstrained and constrained optimization problems, ODE solvers, |
root finders, fixed points) + existing end-to-end differentiable modules
Osnovy cvičení:
Cvičení jsou orientované na praktické ověření teoretických konceptů společně s konzultacemi řešení domácích úkolů,
ve kterých mají studující možnost implementovat metody diskutované v kurzu a experimentovat s nimi.
Literatura:
Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016.
Požadavky:
Klíčová slova:
Hluboké učení, neuronové sítě
Předmět je zahrnut do těchto studijních plánů:
| Stránka vytvořena 18.7.2026 05:50:25, semestry: L/2025-6, L/2029-30, Z/2026-7, Z/2027-8, L/2028-9, L/2027-8, L/2026-7, Z/2028-9, připomínky k informační náplni zasílejte správci studijních plánů |
Návrh a realizace: I. Halaška (K336), J. Novák (K336) |