2015年8月16日日曜日

fluentd output plugin s3

fluentdからs3にログを残す。
s3プラグイン: http://docs.fluentd.org/articles/out_s3
以下はstoreの設定例。

    type s3 #plugin名
    aws_key_id <アクセスキー>
    aws_sec_key <シークレットキー>
    s3_bucket <バケット名>
    s3_region <リージョン名>
    format json #レコードの出力をjsonに変更
    path webapi/ #バケット配下の階層
    buffer_path /var/log/td-agent/buffer/s3_e #バッファ用ファイルのprefix
    time_slice_format %Y%m%d/%Y%m%d-%H #sliceのフォーマット
    #time_slice_wait 10m
    s3_object_key_format %{path}%{time_slice}_%{index}_%{hostname}_error.%{file_extension} #s3上のファイル名
    utc #標準時形式
    include_time_key true #出力レコードに時刻を追加
    include_tag_key true #出力レコードにタグを追加
    buffer_chunk_limit 256m #バッファファイルが256MBになったら送信
    flush_interval 60s #60秒ごとに送信
    store_as json #保存形式をgzからjsonに変更(AWS Console上で内容を確認したい)

0 件のコメント:

コメントを投稿