Pořádáte podobný kurz/školení?
Pořádáte podobné kurzy, školení a/nebo studium. Vložte Vaše kurzy na web. Kurs / kurzy nemusí být rekvalifikační,
stačí když kurzy budou mít termín konání školení pro on-line objednávku kurzu
Apache Spark for Data Engineers - Advanced Optimizations - Následující kurzy: APACHE SPARK FOR DATA ENGINEERS ADVANCED OPTIMIZATIONSViz také následující kurzy :
- Kubernetes Advanced
 - Apache Spark - od jednoduchých transformací po vysoce výkonné joby
- Automatizovaná správa linuxových serverů pomocí Foreman
- Apache Kafka
- Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake
|
Kurz - Apache Spark for Data Engineers - Advanced Optimizations
DataScript s.r.o.
Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů a to nejen v prostředí velkých dat. Jedním z důvodů proč roste popularita Sparku je také jeho programové API, neboli tzv. DataFramy, které nabízejí univerzální datovou abstrakci, již je možné použít ve všech výše zmíněných obl ...
Cena kurzu:
...
15.000
Kč / Kurz
... včetně DPH: 18.150 Kč / Kurz
Objednat - pro přihlášení na kurz/školení klikněte na zvolený termín školení a místo konání
Popis kurzu
Apache Spark for Data Engineers - Advanced Optimizations
Kurz je určen pro ...Cílová skupina: Datový inženýři, scientisti a další uživatelé Sparku, kteří již mají se Sparkem nějakou zkušenost a chtějí se naučit optimalizovat Sparkové joby pro dosažení maximálního výkonu.
Lektoři kurzu: David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
[Kurz] Program kurzu (obsah přednášky/semináře/rekvalifikace/studia) ...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
* : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
Garant kurzu : David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup. Osnova : Spark SQL internals (Query Execution) - Logical planning (Catalog, Analyzer, Cache Management, Optimizer)
- Catalyst API
- Extending the optimizer
- Limiting the optimizer
- Physical planning
- Query planner, strategies
- Spark plan
- Executed plan
- Understanding operators in the physical plan
- Cost based optimizer
- How cost-based optimizations work
- Statistics collection
- Statistics usage
Query optimization - Shuffle elimination
- Bucketing
- Data repartition (when and how)
- Optimizing joins
- Shuffle-free join
- One-side shuffle-free join
- Broadcast join vs sort-merge join
- Data reuse
- Caching
- Checkpointing
- Exchange reuse
Optimization tips - Choose the appropriate number of shuffle partitions
- Nondeterministic expressions
- Configuration settings
Data layout - Different file formats
- Partitioning and bucketing
- How bucketing works
- How to ensure the proper number of files
- Tables management
- Working with the Catalog API
- Delta-io
- Open-source storage layer with ACID transactions
Předpoklady na účastníka: - Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku.
- Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[Kurz] Cíl školení / poznámka ke kurzu...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
|
[dotaz na školení/kurz] Formulář pro komentáře, dotazy a odpovědi
DataScript s.r.o. ::
DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Poslední aktualizace: 2025-01-24 03:47:15
DataScript s.r.o. |
Apache Spark for Data Engineers - Advanced Optimizations # Počítačové kurzy a semináře - grafika, databáze, programování, web & internet, office, GIS
Téma kurzů nebo školení:
  Počítačové a IT kurzy
Programování
Typ kurzu/školení: Kurz
Klíčová slova pro dané školení: advanced, apache, brapache, distribuovaný, engineers, optimizations, výpočetní
[RSS] Nechte si posílat nové termíny kurzu
Chcete vědět kdy bude další termín kurzu? - Využijte RSS a nechte si posílat každé změny a/nebo nové termíny kurzu do Vaší čtečky RSS (bez registrace)
Apache Spark for Data Engineers - Advanced Optimizations [RSS] - Novinky a nové termíny kurzu
© DataScript s.r.o. -
Praha 7
::
- DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...
Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Komentáře a dotazy na školení a nebo kurz
Hledáte náhodou nějakou práci?Key Ac- Manager [oblast Morava], prodávat naše produkty a budovat povědomí o značce. Mapovat potřeby klientů, analyzovat data a hledat způsoby..., jak optimalizovat spolupráci. Pracovat s naším CRM Pipedrive, kde budeš spravovat zákaznická data a zapisovat aktivity. Spolupracovat..., Praha 7 Podobné kurzy # apache + spark + data + engineers + advanced + optimizations
|
|
= Podobný kurz nebo školení
