airflow 安装步骤

因为python2.7各种版本的问题,所以最终使用 python3.6

1、下载anaconda3
2、通过conda 创建虚拟环境
3、根据airflow 的官方文档 Quick Start, 部署demo
     文档 URL: http://airflow.apache.org/start.html

-- 将数据存储从sqlite变成mysql
4、安装mysql
     文档 URL: https://dinfratechsource.com/2018/11/10/how-to-install-latest-mysql-5-7-21-on-rhel-centos-7/

5、设置mysql 

a.在my.cnf中的[mysqld]下,加入 explicit_defaults_for_timestamp=1
b.在mysql 中创建一个airflow的库

6、修改airflow 的airflow.cfg文件 参考官方文档的 Initializing a Database Backend
      文档 URL: http://airflow.apache.org/howto/initialize-database.html

主要涉及2点:
a.修改 airflow.cfg 文件中的 executor, 将其值修改为 LocalExecutor
b.修改 airflow.cfg 文件中的 sql_alchemy_conn,
   将其值修改为 mysql+pymysql://username:password@ip:port/airflow

7、启动airflow

猜你喜欢

转载自www.cnblogs.com/lt1548748657/p/11319302.html