Modernizing Data Lakes and Data Warehouses with GCP 日本語版
- 0.0
Course Summary
Learn how to build and manage data lakes and data warehouses on Google Cloud Platform with this course. Gain hands-on experience using GCP services like BigQuery, Cloud Storage, and Dataflow to design and implement effective data storage solutions.Key Learning Points
- Understand the differences between data lakes and data warehouses
- Learn how to design and implement data storage solutions using GCP services
- Gain hands-on experience with BigQuery, Cloud Storage, and Dataflow
- Explore best practices for managing and securing data lakes and data warehouses
Job Positions & Salaries of people who have taken this course might have
- USA: $125,000
- India: ₹1,000,000
- Spain: €70,000
- USA: $125,000
- India: ₹1,000,000
- Spain: €70,000
- USA: $115,000
- India: ₹900,000
- Spain: €65,000
- USA: $125,000
- India: ₹1,000,000
- Spain: €70,000
- USA: $115,000
- India: ₹900,000
- Spain: €65,000
- USA: $110,000
- India: ₹850,000
- Spain: €60,000
Related Topics for further study
Learning Outcomes
- Design and implement effective data storage solutions using GCP services
- Understand the differences between data lakes and data warehouses and when to use each
- Gain hands-on experience with BigQuery, Cloud Storage, and Dataflow
Prerequisites or good to have knowledge before taking this course
- Basic knowledge of SQL
- Familiarity with cloud computing concepts
Course Difficulty Level
IntermediateCourse Format
- Online self-paced
- Video lectures
- Hands-on exercises
Similar Courses
- Data Engineering with Google Cloud Professional Certificate
- Data Warehousing on AWS
- Big Data Analytics on Google Cloud Platform
Related Education Paths
- Google Cloud Certified - Professional Data Engineer
- Google Cloud Certified - Associate Cloud Engineer
Notable People in This Field
- Creator of Apache Airflow
- Co-founder of Snorkel AI
Related Books
Description
すべてのデータ パイプラインには、データレイクとデータ ウェアハウスという 2 つの主要コンポーネントがあります。このコースでは、それぞれのストレージのユースケースに焦点を当て、Google Cloud Platform で利用可能なデータレイクおよびデータ ウェアハウスのソリューションを技術的に詳しく説明します。 また、データ エンジニアの役割や、適切なデータ パイプラインが事業運営にもたらすメリットについて述べ、クラウド環境でデータ エンジニアリングを行うべき理由を説明します。受講者は Qwiklabs を使用して、Google Cloud Platform のデータレイクとデータ ウェアハウスを実際に使ってみることができます。
Outline
- はじめに
- コース概要
- Google Cloud Platform と Qwiklabs の使用方法
- データ エンジニアリング
- データ エンジニアの役割を確認する
- データ エンジニアリングの課題を分析する
- BigQuery の概要
- データレイクとデータ ウェアハウス
- デモ: BigQuery での連携クエリ
- トランザクション データベースとデータ ウェアハウスの比較
- 他のデータチームと効果的に連携する
- データアクセスとデータ ガバナンスを管理する
- デモ: DLP API を使用してデータセット内の個人情報(PII)を検出する
- 本番環境向けパイプラインを構築する
- GCP ユーザーの事例紹介
- まとめ
- ラボの概要: BigQuery を使用した分析
- データ エンジニアリングの概要
- データレイクの構築
- データレイクの概要
- GCP のデータ ストレージと ETL のオプション
- Cloud Storage を使用したデータレイクの構築
- デモ: Google Cloud Storage のストレージ クラスと Cloud Functions を使用したコストの最適化
- Cloud Storage のセキュリティ機能
- あらゆる種類のデータの保存
- デモ: BigQuery で Parquet ファイルと ORC ファイルに対して連携クエリを実行する
- リレーショナル データのクラウドへの保存
- リレーショナル データレイクとしての Cloud SQL
- ラボ: タクシーデータを Cloud SQL に読み込む
- データレイクの構築
- データ ウェアハウスの構築
- 最新のデータ ウェアハウス
- BigQuery の概要
- デモ: テラバイト規模のデータを数秒でクエリする
- はじめに
- データの読み込み
- ラボの概要: BigQuery にデータを読み込む
- スキーマの確認
- デモ: スキーマの確認
- スキーマ設計
- ネストされたフィールドと繰り返しフィールド
- デモ: ネストされたフィールドと繰り返しフィールド
- ラボの概要: BigQuery で JSON データと配列データを操作する
- パーティショニングとクラスタ化による最適化
- デモ: パーティション分割テーブルの作成
- デモ: パーティショニングとクラスタ化
- プレビュー: バッチデータとストリーミング データの変換
- まとめ
- データ ウェアハウスの構築
- まとめ
- コースのまとめ
Summary of User Reviews
Learn about data lakes and data warehouses on GCP with this comprehensive course on Coursera. Users have praised the course for its detailed explanations and hands-on exercises. Overall, the course has received high ratings for its effectiveness in teaching data warehousing on GCP.Key Aspect Users Liked About This Course
The course provides clear explanations and practical exercises to help users understand and apply data warehousing concepts on GCP.Pros from User Reviews
- Detailed explanations and hands-on exercises
- Effective in teaching data warehousing on GCP
- Course content is up-to-date and relevant
- Instructors provide timely and helpful feedback on coursework
- Course structure is well-organized and easy to follow
Cons from User Reviews
- Some users find the course to be too basic or slow-paced
- Course materials can be repetitive at times
- Limited opportunities for interaction with instructors and other students
- Some technical issues with the Coursera platform reported by users
- Not suitable for users with no prior knowledge of data warehousing or GCP