掌握 Apache Airflow 的完整实践课程

课程简介

学习使用 Apache Airflow 编写、调度和监视数据管道

课程介绍:English 繁中

从这 3.5 小时的课程,你会学到

  • 创建插件为 Apache Airflow 添加功能
  • 以 Airflow 和不同的运行器 使用 Docker
  • 掌握核心功能,如 DAGs、操作员( Operators )、任务、工作流程等
  • 理解和应用 Apache Airflow 的先进概念,例如 XCOMs、分支和 SubDAGs
  • 顺序运行器、本地运行器和 Celery 运行器之间的区别,它们如何工作以及如何使用它们
  • 在大数据生态系统中使用 Apache Airflow,包括 Hive、 PostgreSQL、 Elasticsearch 等
  • 安装和配置 Apache Airflow
  • 思考、回答和实现利用 Airflow 来解决实际数据处理问题的解决方案

要求

  • 访问已安装 VirtualBox 的个人电脑,你必须下载 VM (5Go)
  • 以前有些编程或脚本经验将有帮助。 Python 经验会有很大的帮助,但是因为它是一种非常容易学习的语言,所以如果你不熟悉编程,应该也不会太难了解

课程说明

Apache Airflow 是一个开源平台,可以通过编程方式编写、调度和监控工作流。 如果你有很多 ETL ( Extract-Transform-Load )要管理,Airflow 是必须的工具。

在本课程中,你将由理论和实践的视频课程学习如何掌握 Apache Airflow。 从非常基本的概念开始,比如什么是 Airflow 以及它如何工作的,我们将深入研究先进的概念,比如,如何创建插件以及制作真正的动态管道。

目标受众

  • 对数据工程很好奇人
  • 想要学习关于 Apache Airflow 的基本和先进概念的人
  • 喜欢亲自动手做的人

讲师简介

Marc Lamberti 大数据工程师

你好!

我叫 Marc Lamberti,今年 27 岁,我很高兴能够唤起你们的好奇心! 我目前在法国最大的在线银行做全职的大数据工程师,处理超过 150 万的客户。 3年多以来,我创建了不同的 ETL( Extract-Transform-Load ,将数据从来源端经过萃取extract、转置 transform、加载 load 至目的端的过程 ),以解决银行每天都会遇到的问题,例如,一个实时监控信息系统的平台,以检测异常并减少客户的电话数量,一个实时检测任何可疑交易或潜在诈欺者的工具,一个注入 Cassandra  大量数据的 ETL,等等。

当你是一个大数据工程师的时候,最大的问题是要处理越来越多的可用的开源工具。 你必须知道如何使用它们,何时使用它们,以及它们如何相互连接,以便构建健壮、安全和可运行的系统,解决你的潜在业务需求。

我坚信,学习和理解一项新技能的最佳方式是采取实践的方法,只要有足够的理论来解释概念,并在生产环境中做大量的实践以准备好实战。 这就是为什么在我的每一门课程中,你总能找到与理论说明相关的实际例子。

祝你学习愉快!

英文字幕:有

  • 想要了解如何将英文字幕自动翻译成中文? 请参考这篇 How-To

参加课程 ♥找优惠折扣码?

Sponsored by Udemy

也许你会有兴趣

 欢迎使用 e-mail 订阅 Soft & Share 

发表评论

Powered by WordPress.com.

Up ↑

%d 博主赞过: