Schița de curs
Introducere în Google Colab și Apache Spark
- Prezentare generală a Google Colab
- Introducere în Apache Spark
- Configurarea Spark în Google Colab
Prelucrarea datelor cu Apache Spark
- Lucrul cu RDD-uri și DataFrames
- Încărcarea și prelucrarea seturilor mari de date
- Utilizarea Spark SQL pentru interogarea datelor structurate
Analiză avansată cu Spark
- Învățarea automată cu Spark MLlib
- Efectuarea de analize de date în timp real
- Calcul distribuit cu Spark
Vizualizarea și Collaboration în Google Colab
- Integrarea Colab cu biblioteci de vizualizare populare
- Fluxuri de lucru colaborative cu notebook-uri Colab
- Partajarea și exportul rezultatelor
Optimizarea Big Data fluxurilor de lucru
- Reglarea Spark pentru performanță
- Optimizarea utilizării memoriei și a stocării
- Scalarea fluxurilor de lucru pentru seturi mari de date
Big Data în cloud
- Integrarea Google Colab cu instrumentele bazate pe cloud
- Utilizarea stocării în cloud pentru date mari
- Lucrul cu Spark în medii cloud distribuite
Studii de caz și bune practici
- Trecerea în revistă a aplicațiilor big data din lumea reală
- Studii de caz care utilizează Apache Spark și Colab
- Cele mai bune practici pentru analiza datelor mari
Rezumat și pași următori
Cerințe
- Cunoștințe de bază despre conceptele științei datelor
- Familiaritate cu Apache Spark
- Python abilități de programare
Audiență
- Oameni de știință în domeniul datelor
- Ingineri de date
- Cercetători care lucrează cu date mari
Mărturii (5)
Hands-on examples allowed us to get an actual feel for how the program works. Good explanations and integration of theoretical concepts and how they relate to practical applications.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Exercițiu de laborator
Tse Kiat - ST Engineering Training & Simulation Systems Pte. Ltd.
Curs - Automated Monitoring with Zabbix
Tradus de catre o masina
All the topics which he covered including examples. And also explained how they are helpful in our daily job.
madduri madduri - Boskalis Singapore Pte Ltd
Curs - QGIS for Geographic Information System
Mi-a plăcut stilul lui Pablo, faptul că a abordat o mulțime de subiecte, de la proiectarea rapoartelor, personalizarea cu html până la implementarea unor algoritmi ML simpli. Good bilanț informații teoretice / exerciții. Pablo a acoperit cu adevărat toate subiectele care m-au interesat și a dat răspunsuri complete la întrebările mele.
Cristian Tudose - SC Automobile Dacia SA
Curs - Advanced Data Analysis with TIBCO Spotfire
Tradus de catre o masina
Actual application of spotfire and all basic functions.