地方在住IT系ニート

bkds

Airflow-S3のメモ

はじめに

Airflowのログ保存にAWSのS3を利用するためのメモです。
ローカルにログを長期間保存するとディスク容量が必要になるため、クラウドサービスを利用します。

パッケージのインストール

AirflowでAWSを利用するために下記のコマンドを実行します。

pip install 'apache-airflow[amazon]'

コネクションの作成

AirflowのWeb UIからAWS用のコネクションを作成します。
ここでは一番シンプルな設定を入れます。
下記の項目を入力します。

  • Connection Id: S3_log
  • Connection Type: Amazon Web Services
  • AWS Access Key ID: AWSで確認してください
  • AWS Secret Access Key: AWSで確認してください

ログ設定

airflow.cfgに下記の設定を追加します。

[logging]
remote_logging = True
remote_base_log_folder = s3://bucket_name/log_directory
remote_log_conn_id = S3_log
encrypt_s3_logs = False
にほんブログ村 IT技術ブログ IT技術メモへPVアクセスランキング にほんブログ村