Schița de curs

Introducere

  • Prezentare generală a provocărilor legate de scalarea învățării profunde
  • Prezentare generală a DeepSpeed și a caracteristicilor sale
  • DeepSpeed vs. alte biblioteci distribuite de învățare profundă

Noțiuni introductive

  • Configurarea mediului de dezvoltare
  • Instalarea PyTorch și DeepSpeed
  • Configurarea DeepSpeed pentru instruire distribuită

Caracteristici de optimizare DeepSpeed

  • Conducta de formare DeepSpeed
  • ZeRO (optimizarea memoriei)
  • Punct de control al activării
  • Punct de control al gradientului
  • Paralelismul conductei

Scalarea modelelor cu DeepSpeed

  • Scalarea de bază utilizând DeepSpeed
  • Tehnici avansate de scalare
  • Considerații privind performanța și cele mai bune practici
  • Tehnici de depanare și de rezolvare a problemelor

Subiecte avansate DeepSpeed

  • Tehnici avansate de optimizare
  • Utilizarea DeepSpeed cu instruire cu precizie mixtă
  • DeepSpeed pe hardware diferit (de exemplu, GPUs, TPU)
  • DeepSpeed cu noduri de formare multiple

Integrarea DeepSpeed cu PyTorch

  • Integrarea DeepSpeed cu fluxurile de lucru PyTorch
  • Utilizarea DeepSpeed cu PyTorch Lightning

Rezolvarea problemelor

  • Depanarea problemelor comune ale DeepSpeed
  • Monitorizare și logare

Rezumat și pași următori

  • Recapitularea conceptelor și caracteristicilor cheie
  • Cele mai bune practici pentru utilizarea DeepSpeed în producție
  • Resurse suplimentare pentru a afla mai multe despre DeepSpeed

Cerințe

  • Cunoașterea intermediară a principiilor învățării profunde
  • Experiență cu PyTorch sau cadre similare de învățare profundă
  • Familiaritate cu programarea Python

Audiență

  • Oameni de știință în domeniul datelor
  • Ingineri de învățare automată
  • Dezvoltatori
 21 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite