Vybrané technológie analýzy dát - cvičenia, ZS 2026/27

Termín a miesto: Štvrtok 11:30 - 13:00, M 217
- Cvičenia sa nekonajú každý týždeň, termíny konania budú vopred oznámené
Stránka prednášok
Cvičiaci: RNDr. Jana Kostičová, PhD., KI FMFI UK
Konzultácie po dohode e-mailom

Predbežný plán cvičení

(Ešte sa môže mierne zmeniť, prípadné zmeny budú vždy hlásené dostatočne vopred.)

22.10. Data lake / lakehouse

Je potrebné mať nainštalovaný Docker + Docker Compose
Postup inštalácie

Windows: inštalovať Docker Desktop - https://docs.docker.com/desktop/setup/install/windows-install/, odporúčam zvoliť si WSL 2 backend
Mac: inštalovať Docker Desktop - https://docs.docker.com/desktop/setup/install/mac-install/
Linux: odporúčam inštalovať priamo Docker Engine, Docker CLI a Docker Compose plugin https://docs.docker.com/engine/install/

Inštrukcie k cvičeniu

05.11. Apache Spark 1

Je potrebné mať nainštalovaného VPN klienta (OpenConnect alebo Cisco AnyConnect): inštrukcie
Jupyter notebook: Spark_Lab1.ipynb

12.11. Apache Spark 2

Jupyter notebook: Spark_Lab2.ipynb

19.11. Apache Kafka 1
03.12. Apache Kafka 2
10.12. TBA

Domáce úlohy:

DÚ1 - zadanie (max. 20 bodov)

Ďalšie zdroje a materiály:

Príklad ETL v Apache Hop z prednášky: ZIP. Pozor, je potrebné si nastaviť vaše prostredie - DB pripojenie a vytvoriť dané tabuľky v DB (podľa PDF, DIM_PRODUCTS je iniciálne prázdna, po spustení workflowu má vyzerať ako v dokumente)