Explore

Modernizing Data Lakes and Data Warehouses with GCP em Português Brasileiro

Approx. 8 hours to complete

Save Course

Go to Course

Course Summary

Learn how to design, build, operationalize and secure data processing systems using Google Cloud Platform technologies such as Google Compute Engine, Google Cloud Storage, Google Bigtable, Google BigQuery and Google Dataflow.

Key Learning Points

Learn how to design and build data processing systems on Google Cloud Platform
Understand the difference between a data lake and a data warehouse
Gain hands-on experience with GCP tools such as Google Compute Engine and Google BigQuery

Job Positions & Salaries of people who have taken this course might have

Data Analyst
- USA: Median salary of $62,453 per year
- India: Median salary of ₹4,00,000 per year
- Spain: Median salary of €23,000 per year
Data Engineer
- USA: Median salary of $91,553 per year
- India: Median salary of ₹10,00,000 per year
- Spain: Median salary of €33,000 per year
Cloud Solutions Architect
- USA: Median salary of $138,000 per year
- India: Median salary of ₹20,00,000 per year
- Spain: Median salary of €50,000 per year

Learning Outcomes

Design and build data processing systems on Google Cloud Platform
Understand the difference between a data lake and a data warehouse
Gain hands-on experience with GCP tools such as Google Compute Engine and Google BigQuery

Prerequisites or good to have knowledge before taking this course

Basic knowledge of data processing concepts
Familiarity with Google Cloud Platform

Course Difficulty Level

Intermediate

Course Format

Online Self-Paced
Video Lectures
Hands-On Exercises

Similar Courses

Data Engineering on Google Cloud Platform
Google Cloud Platform Fundamentals: Core Infrastructure
Data Warehousing for Business Intelligence

Related Education Paths

Related Books

Description

Os dois principais componentes de qualquer pipeline de dados são os data lakes e os armazenamento de dados. Neste curso, destacamos os casos de uso de cada tipo de armazenamento e analisamos detalhadamente as soluções de data lake e de armazenamento de dados disponíveis no Google Cloud Platform. Também descrevemos a função do engenheiro de dados e os benefícios dos pipelines para as operações de negócios, além de examinar por que é melhor fazer a engenharia de dados em um ambiente em nuvem. Os participantes terão uma experiência prática com data lakes e armazenamento de dados no Google Cloud Platform por meio do QwikLabs.

Outline

Introdução
Introdução ao curso
Primeiros passos no Google Cloud Platform e no Qwiklabs

Data Engineering
Conheça o papel do engenheiro de dados
Analise os desafios da engenharia de dados
Introdução ao BigQuery
Data lakes e armazenamentos de dados
Demonstração: Consultas federadas com o BigQuery
Comparação entre bancos de dados transacionais e armazenamentos de dados
Crie parcerias eficientes com as outras equipes de dados
Gerencie o acesso e a governança de dados
Demonstração: Como encontrar PIIs em conjuntos de dados com a API DLP
Crie pipelines prontos para a produção
Veja o estudo de caso de um cliente do GCP
Revisão
Introdução ao laboratório: Como usar o BigQuery para fazer análise
Introdução a Data Engineering

Como criar um data lake
Introdução a data lakes
Armazenamento de dados e opções de ETL no GCP
Como criar um data lake usando o Cloud Storage
Demonstração: Como otimizar custos com as classes do Google Cloud Storage e o Cloud Functions
Como proteger o armazenamento na nuvem
Como armazenar todo tipo de dados
Demonstração: Como executar consultas federadas em arquivos Parquet e ORC no BigQuery
Como armazenar dados relacionais na nuvem
Cloud SQL como data lake relacional
Laboratório: Como carregar os dados de táxi no Cloud SQL
Como criar um data lake

Como criar um armazenamento de dados
O armazenamento de dados moderno
Introdução ao BigQuery
Demonstração: Como consultar terabytes de dados em segundos
Primeiros passos
Como carregar dados
Introdução ao laboratório: Como carregar dados no BigQuery
Como analisar esquemas
Demonstração: Como analisar esquemas
Design de esquemas
Campos aninhados e repetidos
Demonstração: Campos aninhados e repetidos
Introdução ao laboratório: Como trabalhar com JSON e dados de matriz no BigQuery
Como otimizar com particionamento e clustering
Demonstração: Como criar tabelas particionadas
Demonstração: Particionamento e clustering
Prévia: Como transformar dados em lote e em streaming
Revisão
Como criar um armazenamento de dados

Resumo
Resumo do curso

Summary of User Reviews

Discover the fundamentals of data lakes and data warehouses on GCP with this comprehensive course. Students praise the in-depth explanations and hands-on exercises that help them understand the material better.