python – Airflow DAG中的动态任务生成

发布时间：2020-12-20 13:16:58 所属栏目：Python 来源：网络整理

导读：我想使用Airflow生成客户端报告,我希望有一个DAG循环遍历所有客户端并启动任务来生成他们的报告.客户端列表由DAG中的第一个任务收集,无法进行硬编码. 基本上我有一个任务,在python运算符中使用数据库钩子来生成列表.然后对于列表中的每个项目,我想使用python

我想使用Airflow生成客户端报告,我希望有一个DAG循环遍历所有客户端并启动任务来生成他们的报告.客户端列表由DAG中的第一个任务收集,无法进行硬编码.

基本上我有一个任务,在python运算符中使用数据库钩子来生成列表.然后对于列表中的每个项目,我想使用python运算符执行任务,该项目作为参数传递给python函数.我可以使用某种模式来实现这一目标吗？

Trigger_dag概念

让在python运算符中使用数据库钩子的任务生成列表“是控制器dag中的任务,并将列表中的每个项目传递给params部分中的trigger_dag.

您可以在气流安装的examples文件夹中找到参考

祝好运！

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!