postgresql – Airflow：排队但未运行的任务

发布时间：2020-12-13 16:02:47 所属栏目：百科来源：网络整理

导读：我是气流新手并试图设置气流来运行ETL管道.我能够安装气流 postgres 芹菜 rabbitmq 我能够测试运行turtorial dag.当我尝试安排作业时,调度程序能够获取它并将我可以在UI上看到的作业排队,但任务没有运行.有人可以帮我解决这个问题吗？我相信我在这里缺少最

我是气流新手并试图设置气流来运行ETL管道.我能够安装

>气流
> postgres
>芹菜
> rabbitmq

我能够测试运行turtorial dag.当我尝试安排作业时,调度程序能够获取它并将我可以在UI上看到的作业排队,但任务没有运行.有人可以帮我解决这个问题吗？我相信我在这里缺少最基本的气流概念.下面是airflow.cfg

这是我的配置文件：

[core]

airflow_home = /root/airflow

dags_folder = /root/airflow/dags

base_log_folder = /root/airflow/logs

executor = CeleryExecutor

sql_alchemy_conn = postgresql+psycopg2://xxxx.amazonaws.com:5432/airflow

api_client = airflow.api.client.local_client


[webserver]


web_server_host = 0.0.0.0

web_server_port = 8080

web_server_worker_timeout = 120

worker_refresh_batch_size = 1

worker_refresh_interval = 30

[celery]

celery_app_name = airflow.executors.celery_executor

celeryd_concurrency = 16

worker_log_server_port = 8793

broker_url = amqp://rabbit:rabbit@x.x.x.x/rabbitmq_vhost

celery_result_backend = db+postgresql+psycopg2://postgres:airflow@xxx.amazonaws.com:5432/airflow


flower_host = 0.0.0.0

flower_port = 5555

default_queue = default

DAG：This is the tutorial dag i used

我的dag的开始日期是 – ‘start_date’：datetime(2017,4,11),

解决方法

让你运行气流的所有三个组成部分,即：

airflow webserver
airflow scheduler
airflow worker

如果只运行前两个,则任务将排队,但不会执行.气流工作者将提供实际执行匕首的工人.

顺便说一句,芹菜4.0.2目前与气流1.7或1.8不兼容.请改用芹菜3.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!