AirFlow之安装
发布日期:2022-02-14 23:02:48 浏览次数:39 分类:技术文章

本文共 1779 字,大约阅读时间需要 5 分钟。

文档

Docker安装

直接安装

  • 准备数据库
  • 设置基础环境
# 直接安装会报错,需要导入如下设置export SLUGIFY_USES_TEXT_UNIDECODE=yes
  • install
pip install apache-airflow
  • 生成airflow.cfg文件
    • 设置airflow的HOME目录,并将其写入当前用户的环境变量中
    export AIRFLOW_HOME=~/airflow
    • 执行生成文件
    airflow version
  • 修改airflow.cfg
    # 数据库连接字符串sql_alchemy_conn = sql_alchemy_conn = mysql+pymysql://user_name:passwd@ip:port/db# executorexecutor = LocalExecutor# 设置时区default_timezone = Asia/Shanghai# 隐藏官方示例load_examples = False
  • 设置本地时区
    • 修改:~/anaconda3/envs/airflow/lib/python3.7/site-packages/airflow/utils/timezone.py
    # 第27行# utc = pendulum.timezone('UTC')from airflow import configuration as conftry: tz = conf.get("core", "default_timezone") if tz == "system":   utc = pendulum.local_timezone() else:   utc = pendulum.timezone(tz)except Exception: pass#第70行# d = dt.datetime.utcnow()d = dt.datetime.now()
    • 修改:~/anaconda3/envs/airflow/lib/python3.7/site-packages/airflow/utils/sqlalchemy.py
    # 第37行# utc = pendulum.timezone('UTC')from airflow import configuration as conftry: tz = conf.get("core", "default_timezone") if tz == "system":   utc = pendulum.local_timezone() else:   utc = pendulum.timezone(tz)except Exception: pass
    • 修改:~/anaconda3/envs/airflow/lib/python3.7/site-packages/airflow/www/templates/master.html
    var UTCseconds = x.getTime();
    "timeFormat":"H:i:s",
  • db初始化
airflow initdb
  • 用户认证
    • 安装插件
    pip install "apache-airflow[password]"
    • 修改airflow.cfg
    [webserver]authenticate = Trueauth_backend = airflow.contrib.auth.backends.password_auth
    • 增加用户(Python下执行)
    from airflow import configuration as conftry: tz = conf.get("core", "default_timezone") if tz == "system":  utc = pendulum.local_timezone() else:  utc = pendulum.timezone(tz)except Exception: pass
  • 启动服务
# 启动定时器airflow scheduler# 启动 web 服务器,默认端口是 8080(可以在airflow.cfg文件中修改)airflow webserver -p 8081

转载地址:https://blog.csdn.net/fish2009122/article/details/105294977 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:tensorflow2之切片
下一篇:实时数据同步

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年04月26日 05时09分02秒