Инженер данных [2024] [teachmeskills] [Дмитрий]

Инженер данных [2024] [teachmeskills] [Дмитрий]

Стань востребованным Data-инженером c нуля через 6 месяцев.

О профессии:
Онлайн-образование в IT-школе TeachMeSkills предлагает курсы по профессии Data Engineer, которые станут отличным стартом для тех, кто хочет стать инженером данных. Инженер данных, играет ключевую роль в обработке и анализе больших объемов данных.

Твой результат в конце курса:
1. Будете обладать основными навыками программирования на Python и работы с данными, включая загрузку, обработку и визуализацию данных с помощью библиотеки Pandas и Matplotlib.
2. Сможете эффективно работать с базами данных, включая создание таблиц, выполнение запросов SQL, управление данными и оптимизацию структур баз данных.
3. Приобретете знания по моделированию данных, включая понимание основных концепций, типов моделей данных и их применение в реальных проектах.
4. Научитесь управлять рабочими процессами с помощью Apache Airflow, включая создание и конфигурирование DAG, планирование и мониторинг задач, а также использование расширенных возможностей этого инструмента.
5. Завершите курс, разработав и реализовав полноценный проект Data Engineering, который включает в себя проектирование ETL процессов, анализ и визуализацию данных, оптимизацию баз данных и представление результатов проекта.
6. Станешь востребованным Инженером данных в IT

Спойлер: Содержание

Модуль 1 - Роль Data Engineer в современной индустрии

• Обзор роли Data Engineer в процессе анализа и обработки данных.
• Рассмотрение ключевых обязанностей Data Engineer в различных компаниях и проектах

Модуль 2 - Задачи и обязанности Data Engineer

• Анализ конкретных задач, которые решает Data Engineer.
• Изучение процесса сбора, обработки, хранения и анализа данных

Модуль 3 - Инструменты и технологии, используемые Data Engineer

• Обзор основных инструментов и технологий, применяемых Data Engineer.
• Сравнение различных технологических стеков и их применение в различных сценариях.

Модуль 4 - Основные концепции моделирования данных и его значение для проектов обработки данных

• Введение в основные концепции моделирования данных.
• Обсуждение значения моделирования данных для успешного выполнения проектов обработки данных.

Модуль 5 - Введение в Python: Основы синтаксиса

• Основные правила и конструкции языка Python.
• Знакомство с синтаксисом: инструкции, отступы, комментарии и строковые литералы.

Модуль 6 - Введение в Python: Переменные, типы данных и операторы

• Работа с переменными и их типами в Python.
• Операторы и их применение для выполнения операций с данными.

Модуль 7 - Введение в Python: Управляющие структуры

• Условные операторы (if-else) и циклы (for, while).
• Применение управляющих структур для решения различных задач.

Модуль 8 - Введение в Python: Структуры данных

• Списки, кортежи, словари и множества в Python.
• Операции и методы для работы с различными структурами данных.

Модуль 9 - Введение в Python: Работа с файлами

• Открытие, чтение и запись файлов в Python.
• Обработка файловых объектов с помощью стандартных методов и операций.

Модуль 10 - Введение в Python: Функции и модули

• Создание и использование функций в Python.
• Модули и их роль в организации кода.

Модуль 11 - Введение в Python: Обработка исключений

• Понятие исключений в Python.
• Обработка исключений с помощью конструкции try-except.

Модуль 12 - Введение в работу с данными: Работа с библиотекой Pandas

• Обзор функциональности библиотеки Pandas для работы с данными.
• Загрузка и первичная обработка данных с помощью Pandas.

Модуль 13 - Введение в работу с данными: Загрузка и обработка данных

• Загрузка данных из различных источников: файлы, базы данных и API.
• Предварительная обработка данных для анализа и визуализации

Модуль 14 - Введение в систему контроля версий Git

• Основные понятия системы контроля версий (VCS) и Git.
• Установка Git и настройка окружения.
• Создание репозитория: локального и удаленного.
• Основные команды Git: init, add, commit, push, pull, clone.
• Работа с ветками: создание, переключение, слияние, удаление.
• Разрешение конфликтов при слиянии веток.
• Использование .gitignore для исключения файлов из отслеживания.
• Работа с удаленными репозиториями: добавление удаленных ссылок, работа с ветками на удаленном репозитории.
• Практические примеры использования Git для управления проектами.

Модуль 15 - Введение в SQL: Введение в базы данных

• Обзор различных типов баз данных и их особенностей.
• Структура реляционных баз данных и их компоненты

Модуль 16 - Введение в SQL: Основы SQL

• Создание таблиц и вставка данных.
• Запросы SELECT для выборки данных из базы данных

Модуль 17 - Введение в SQL: Условия, сортировка и ограничения

• Использование условий и операторов сравнения в SQL.
• Сортировка данных и применение ограничений к выборке.

Модуль 18 - Введение в SQL: Объединения таблиц

• Применение операторов JOIN для объединения данных из различных таблиц.
• Работа с несколькими таблицами для выполнения сложных запросов.

Модуль 19 - Работа с данными в SQL: Группировка данных и агрегатные функции

• Группировка данных по определенным критериям.
• Применение агрегатных функций для вычисления статистических показателей.

Модуль 20 - Работа с данными в SQL: Подзапросы

• Создание подзапросов для выполнения вложенных запросов.
• Применение подзапросов для фильтрации и агрегации данных.

Модуль 21 - Работа с данными в SQL: Изменение и удаление данных

• Выполнение операций добавления, обновления и удаления данных в базе данных.
• Применение транзакций для обеспечения целостности данных.

Модуль 22 - Управление базами данных: Создание и удаление баз данных

• Создание новых баз данных с помощью SQL команд.
• Удаление баз данных и их компонентов.

Модуль 23 - Управление базами данных: Работа с индексами и ключами

• Создание индексов для ускорения выполнения запросов.
• Управление первичными и внешними ключами для обеспечения целостности данных.

Модуль 24 - Управление базами данных: Транзакции и управление данными

• Понятие транзакции в базах данных и их роль в обеспечении целостности данных.
• Управление данными с использованием транзакций и команд DML

Модуль 25 - Основы моделирования данных: Понятие моделирования данных

• Обзор основных понятий моделирования данных.
• Различные подходы к моделированию данных в Data Engineering.

Модуль 26 - Основы моделирования данных: Типы моделей данных

• Рассмотрение различных типов моделей данных: реляционные, графовые, документоориентированные и др.
• Выбор подходящей модели данных для конкретного проекта.

Модуль 27 - Основы моделирования данных: Принципы нормализации и денормализации данных

• Основные принципы нормализации данных и их значение.
• Применение денормализации для оптимизации производительности запросов.

Модуль 28 - Современные подходы к моделированию данных: Использование NoSQL баз данных

• Обзор NoSQL баз данных и их особенностей.
• Применение NoSQL баз данных для хранения и обработки разнотипных данных

Модуль 29 - Современные подходы к моделированию данных: Графовые базы данных

• Роль графовых баз данных в анализе связей и сетей.
• Примеры использования графовых баз данных в реальных проектах.

Модуль 30 - Современные подходы к моделированию данных: Обзор технологий для моделирования данных в реальном времени

• Изучение технологий, позволяющих работать с данными в реальном времени.
• Применение стриминговых архитектур для обработки данных в режиме реального времени.

Модуль 31 - Проектирование и оптимизация структур данных: Проектирование схем баз данных

• Понятие проектирования схем баз данных и его значение для успешной работы с данными.
• Применение методов нормализации и денормализации для проектирования эффективных схем.

Модуль 32 - Проектирование и оптимизация структур данных: Оптимизация структур данных

• Изучение методов оптимизации структур данных для повышения производительности запросов.
• Применение индексов, кластеризации и разделения данных для оптимизации доступа к данным

Модуль 33 - Интеграция данных и ETL процессы: Проектирование ETL процессов

• Анализ потребностей в данных и проектирование процессов их извлечения, преобразования и загрузки.
• Выбор подходящих инструментов и технологий для реализации ETL процессов.

Модуль 34 - Интеграция данных и ETL процессы: Интеграция данных из различных источников

• Работа с различными источниками данных: файлы, базы данных, API и другие.
• Проектирование и реализация механизмов интеграции данных для обеспечения единой точки доступа.

Модуль 35 - Интеграция данных и ETL процессы: Автоматизация ETL процессов

• Разработка автоматизированных ETL процессов с использованием современных инструментов и платформ.
• Использование расписаний и мониторинга для обеспечения надежности и производительности процессов ETL.

Модуль 36 - Введение в Apache Airflow: Основные концепции и возможности

• Обзор Apache Airflow и его роли в управлении рабочими процессами.
• Изучение ключевых концепций: DAG, задачи и операторы, cron выражения.

Модуль 37 - Введение в Apache Airflow: Установка и настройка

• Подготовка среды для установки Apache Airflow.
• Установка и базовая настройка Apache Airflow для начала работы.

Модуль 38 - Введение в Apache Airflow: Разработка и запуск простых DAG

• Создание простых DAG для выполнения базовых задач.
• Запуск и мониторинг выполнения DAG в Apache Airflow.

Модуль 39 - Введение в Apache Airflow: Создание и конфигурация DAG

• Подробное рассмотрение процесса создания и настройки DAG в Apache Airflow.
• Определение зависимостей между задачами и конфигурация параметров выполнения.

Модуль 40 - Введение в Apache Airflow: Задачи и операторы

• Обзор различных типов задач и операторов, доступных в Apache Airflow.
• Применение задач и операторов для реализации различных рабочих процессов.

Модуль 41 - Введение в Apache Airflow: Планирование и мониторинг задач

• Организация планирования выполнения задач в Apache Airflow.
• Мониторинг выполнения задач и состояния DAG с помощью интерфейса пользователя и логов

Модуль 42 - Введение в Apache Airflow: Логирование и отладка DAG

• Применение логирования для отслеживания выполнения задач и выявления ошибок.
• Отладка DAG с использованием инструментов и методов, предоставляемых Apache Airflow

Модуль 43 - Введение в Apache Airflow: Параметризация и динамическое определение DAG

• Использование параметров для создания динамических DAG в Apache Airflow.\

Модуль 44 - Введение в Apache Airflow: Использование переменных и шаблонов

• Введение в переменные в Apache Airflow.
• Создание и управление переменными через интерфейс пользовательского веб-интерфейса (UI).
• Применение переменных в настройках DAG и задач.
• Использование шаблонов для динамической настройки DAG и параметров задач.

Модуль 45 - Введение в Apache Airflow: Внедрение пользовательских операторов и хуков

• Создание пользовательских операторов для выполнения специфических задач.
• Разработка пользовательских хуков для взаимодействия с внешними системами.
• Внедрение пользовательских операторов и хуков в DAG.
• Тестирование пользовательских операторов и хуков.

Модуль 46 - Практические проекты и развитие навыков: Проектирование и разработка ETL процессов

• Анализ требований к данным и определение целей проекта.
• Проектирование структуры ETL процессов.
• Реализация ETL процессов с использованием инструментов Data Engineering.
• Тестирование и оптимизация разработанных ETL процессов.

Модуль 47 - Практические проекты и развитие навыков: Анализ и визуализация данных

• Построение отчетов и дашбордов на основе данных проекта.
• Использование инструментов визуализации данных для создания графиков и диаграмм.
• Интерактивная визуализация данных для исследования и анализа.
• Практические упражнения по анализу и визуализации данных.

Модуль 48 - Практические проекты и развитие навыков: Разработка и оптимизация баз данных

• Оптимизация запросов SQL для улучшения производительности.
• Нормализация баз данных для улучшения структуры и управления данными.
• Разработка индексов для оптимизации доступа к данным и выполнения запросов.
• Тестирование и оптимизация

Модуль 49 - Введение в инструмент визуализации данных Tableau Public

• Создание дашбордов и визуализаций на основе анализа данных с использованием Tableau Public.
• Презентация результатов анализа данных с использованием различных типов графиков, диаграмм и карт.

Модуль 50 - Подготовка к дипломному проекту: Документация и презентация проекта

• Написание документации, описывающей процесс разработки системы анализа и визуализации данных.
• Подготовка презентации, демонстрирующей результаты работы, включая основные этапы проекта, использованные инструменты и полученные выводы.

Преподаватель курса: Дмитрий
Business Intelligence lead Developer в EPAM. 4,5+ года коммерческой разработки

Стоимость курса 2 970 (BYN) ~ 84497р.
Скрытая ссылка