Реєстрацію закрито

Data Engineering Курс

Розклад:

Тривалість лекції:
3 години
Тривалість навчання (пн,ср,пт):
3,5 місяці
Тривалість оплачуваного стажування (5 днів на тиждень, 8 годин на день)
2,5 місяці

Опис курсу:

Курс Data Engineering розроблений для тих, хто зацікавлений у кар'єрі в галузі обробки даних. В рамках цього курсу ви вивчите основи проектування даних, пов'язані з побудовою конвеєрів даних за допомогою Python, SQL, NoSQL та інших сучасних технологій. 

Завдяки цьому курсу ви познайомитеся з екосистемою Data Engineering, пайплайнами інтеграції та репозиторіями даних. Ви вивчите реляційні та нереляційні бази даних, дізнаєтеся, що таке сховища, а також будете вміти зберігати та обробляти великі обсяги інформації. 

В рамках курсу ви зможете: 

  • Зрозуміти, що таке інженерія даних, як виглядає сучасна екосистема даних. 
  • Застосувати на практиці основи програмування Python, а також різні способи обробки даних, використовуючи базові конструкції, колекції, Pandas і т.д. 
  • Вивчити бази даних, включаючи проектування баз даних, створення таблиць, використання обмежень та роботи з ними. 

 

Проєкти 

Протягом навчання студенти будуть розробляти проекти, які охоплюють матеріал, вивчений під час курсу, це дозволить їм закріпити отримані знання на практиці. Фінальним етапом курсу Data Engineering є розробка підсумкового проекту. Ви зможете комплексно зібрати всі знання отримані протягом навчання і застосувати їх на практиці використовуючи реальні кейси і працюючи в команді. Всі кейси охоплюють розв'язання реальної проблеми з використанням знань та досвіду, набутих вами в рамках курсу навчання. 

Оцінювання

Під час навчального процесу студенти будуть виконувати домашні завдання і проекти, на основі яких експерти курсу оцінять їх практичні навички та знання, а також рівень індивідуальної роботи. Результати фінального проекту будуть оцінюватися наставниками, які проводять комплексну оцінку підходів і артефактів.

ЕКСПЕРТИ КУРСУ

Maksym Voitko
Maksym Voitko
Data Engineer Team Lead
Dmytro Kulyk
Dmytro Kulyk
DWH Architect
Vladyslav Suprunov
Vladyslav Suprunov
Python Team Lead
Serhii Dimchenko
Serhii Dimchenko
Lead Data Analyst
Oleksandr Tonkonozhenko
Oleksandr Tonkonozhenko
Head of Engineering

Програма курсу

1.
Git

Git

  • Git Basic workflow
  • Best Practices
  • Code review methodology

Python

  • Python intro 
  • Data-oriented techniques 
  • Pandas, NumPy 
  • OOP
  • Asynchronous

Linux intro

Docker

  • Docker common workflows. Docker registries 
  • Building images with Dockerfile 
  • Local SDLC with Docker-compose 
  • Docker application in CI/CD

Data Engineering

  • Data Sources. Formats. Models. Storage Engines and Processing 
  • SQL, NoSQL
  • Columnar DB 
  • MapReduce, Kafka 
  • Data transformation techniques
  • Data warehousing

Airflow

  • Airflow basic concepts 
  • ETL with Airflow Workshop

CI/CD with GitLab

  • CI/CD Problematic 
  • Software Development Lifecycle 
  • CI/CD Pipelines with GitLab CI 
  • .gitlab-ci.yml directivies 
  • Runners infrastructure

Terraform

  • Deploying Infrastructure with Terraform 
  • Terraform Provisioners 
  • Modules & Workspaces 
  • Remote State Management

Kubernetes

  • Orchestration problematic 
  • Kubernetes platform architecture 
  • K8s abstractions and objects

Data Analysis

  • Statistic 101
  • Visualization types. Tools overview: Tableau, Superset, Excel, Python/R; Grafana

Data-driven/product mindset

  • MVP, hypothesis, prioritization; 
  • Metrics; 
  • A/B tests
Реєстрацію закрито
Заповни форму
вихід