Schița de curs

Introducere în Apache Iceberg

  • Prezentare generală a Apache Iceberg
  • Revizuirea conceptelor de bază

Scufundare în arhitectura Iceberg

  • Analiză în profunzime a formatului de tabele Iceberg
  • Prezentare detaliată a arhitecturii, inclusiv metadatele și aspectul fișierelor
  • Aspecte interne ale schemei și evoluția partițiilor

Instalare și configurare avansată

  • Configurarea Iceberg pentru o performanță optimă în diferite medii
  • Integrarea cu diverse motoare de procesare a datelor
  • Configurare avansată: securitate, criptare și controale de acces
  • Configurarea Iceberg într-un mediu distribuit

Operațiuni avansate și întreținere

  • Gestionarea tabelelor Iceberg pe scară largă
  • Implementarea și gestionarea modificărilor complexe de schemă
  • Gestionarea evoluției partițiilor și a partițiilor ascunse
  • Operațiuni CRUD avansate cu modificări de schemă și partiții

Tehnici de optimizare a interogărilor

  • Tehnici de reducere a latenței interogărilor
  • Reducerea partițiilor și reducerea fișierelor
  • Strategii de stocare în cache a metadatelor și de optimizare
  • Implementarea și testarea tehnicilor de optimizare a interogărilor

Reglarea performanțelor pentru seturi mari de date

  • Optimizarea performanței pentru seturi de date de mari dimensiuni
  • Utilizarea funcțiilor încorporate în Iceberg pentru reglarea performanței
  • Studii de caz privind reglarea performanței în scenarii din lumea reală
  • Reglarea performanței pentru seturi de date de mari dimensiuni

Migrarea și integrarea avansată a datelor

  • Migrarea structurilor de date complexe de la alte sisteme
  • Integrarea Iceberg cu fluxuri de date în timp real
  • Migrarea seturilor de date complexe și integrarea fluxurilor de date în timp real

Fiabilitate și consistență

  • Asigurarea consistenței și integrității datelor în medii distribuite
  • Implementarea și gestionarea garanțiilor tranzacționale
  • Gestionarea eșecurilor și a mecanismelor de recuperare
  • Implementarea caracteristicilor de fiabilitate și consistență

Caracteristici avansate și personalizare

  • Implementări de cataloage personalizate
  • Extinderea Iceberg cu caracteristici personalizate
  • Implementarea catalogului personalizat și extinderea funcționalităților Iceberg

Garantarea și conformitatea datelor

  • Implementarea politicilor de guvernanță a datelor
  • Conformitatea cu reglementările privind datele
  • Gestionarea traseelor de audit și a filierei datelor
  • Implementarea funcțiilor de guvernanță și conformitate

Rezumat și etape următoare

Cerințe

  • Cunoașterea conceptelor de bază, a operațiunilor de bază și a gestionării tabelelor Iceberg

Audiență

  • Inginerii de date
  • Arhitecți de date
  • Analiști de date
  • Dezvoltatorii de software
 21 ore

Numărul de participanți


Pret per participant

Mărturii (3)

Upcoming Courses

Categorii înrudite