Airflow-S3のメモ
目次
はじめに
Airflowのログ保存にAWSのS3を利用するためのメモです。
ローカルにログを長期間保存するとディスク容量が必要になるため、クラウドサービスを利用します。
パッケージのインストール
AirflowでAWSを利用するために下記のコマンドを実行します。
pip install 'apache-airflow[amazon]'コネクションの作成
AirflowのWeb UIからAWS用のコネクションを作成します。
ここでは一番シンプルな設定を入れます。
下記の項目を入力します。
- Connection Id: S3_log
- Connection Type: Amazon Web Services
- AWS Access Key ID: AWSで確認してください
- AWS Secret Access Key: AWSで確認してください
ログ設定
airflow.cfgに下記の設定を追加します。
[logging]
remote_logging = True
remote_base_log_folder = s3://bucket_name/log_directory
remote_log_conn_id = S3_log
encrypt_s3_logs = False
