Fluentd 1,2の違い
2015年6月現在は1と2の二つのバージョンが並行してリリースされている
td-agent 1
・現在はold stable
・同梱しているRuby 1.9.3が2015年2月にサポートが終了している
td-agent 2
・現在リリースされているstable版
・コアライブラリがアップデートされることもあり
・サポート環境が1よりも多い(DebianやMacも)
・Fluentd UIも利用可能
インストール -fluentd-
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 | ### 事前準備 ###[root@ip-172-32-0-221 src]# vi /etc/security/limits.conf===# 以下を追加root soft nofile 65536root hard nofile 65536* soft nofile 65536* hard nofile 65536===[root@ip-172-32-0-221 src]# reboot...[root@ip-172-32-0-221 src]# ulimit -n65536### インストール ###[root@ip-172-32-0-221 src]# curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh...インストール: td-agent.x86_64 0:2.2.0-0完了しました![root@ip-172-32-0-221 src]# chkconfig --list td-agenttd-agent 0:off 1:off 2:off 3:off 4:off 5:off 6:off[root@ip-172-32-0-221 src]# chkconfig td-agent on[root@ip-172-32-0-221 src]# chkconfig --list td-agenttd-agent 0:off 1:off 2:on 3:on 4:on 5:on 6:off### 取り込むファイルによっては起動ユーザをtd-agentからrootに変更する ###[root@ip-172-32-0-221 src]# vi /etc/init.d/td-agent...#DAEMON_ARGS=${DAEMON_ARGS---user td-agent}#TD_AGENT_ARGS="${TD_AGENT_ARGS-/usr/sbin/td-agent --group td-agent --log /var/log/td-agent/td-agent.log --use-v1-config}"DAEMON_ARGS=${DAEMON_ARGS---user root}TD_AGENT_ARGS="${TD_AGENT_ARGS-/usr/sbin/td-agent --group root --log /var/log/td-agent/td-agent.log --use-v1-config}"...### プラグインのインストール ###[root@ip-172-32-0-221 src]# /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch...Done installing documentation for elasticsearch, elasticsearch-api, elasticsearch-transport, excon, faraday, fluent-plugin-elasticsearch, multipart-post after 4 seconds7 gems installed |
後にインストールするtd-agent-UIを利用して、プラグインをインストールすることも可能
td-agent-UI
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 | [root@ip-172-32-0-221 src]# /opt/td-agent/usr/sbin/td-agent-ui startPuma 2.11.0 starting...* Min threads: 0, max threads: 16* Environment: production* Listening on tcp://0.0.0.0:9292...### フォアグラウンドで起動するため、バックグラウンドで動作するようにする #### supervisorは<a href="http://tech.akat.info/?p=1931">インスト－ル済</a>とする[root@ip-172-32-0-221 src]# vi /etc/supervisor/conf.d/td-agent-ui.conf[program:td-agent-ui]user=rootcommand=td-agent-ui startstdout_logfile=/var/log/supervisor/%(program_name)s.logstderr_logfile=/var/log/supervisor/%(program_name)s_error.lognumprocs = 1stdout_logfile_maxbytes = 10MBstderr_logfile_maxbytes = 10MBstdout_logfile_backups = 5stderr_logfile_backups = 5autostart = trueautorestart = true; ここに指定した秒数より早く終了したら、終了コードにかかわらず起動失敗とみなす(default:1)startsecs = 3; 起動に失敗した場合にリトライする回数(default:3)startretries = 3priority = 10[root@ip-172-32-0-221 src]# /usr/local/bin/supervisorctl start td-agent-uitd-agent-ui: started[root@ip-172-32-0-221 src]# /usr/local/bin/supervisorctl statustd-agent-ui RUNNING pid 28644, uptime 0:00:05 |
fluentd設定
9292ポートにアクセスする
・アカウント名 : admin
・パスワード : changeme
でログイン可能
初期設定(pidファイルやログの場所を設定)
ソースと出力先を設定する
@todo
http://docs.fluentd.org/recipe/nginx/elasticsearch
この通りにしたらうまくいった
http://toshihirock.blogspot.jp/2015/04/fluentd-v2elasticsearchkibana3ec2.html
http://hivecolor.com/id/37
http://inokara.hateblo.jp/entry/2013/11/30/104023
↑これも確認する
kibana設定
インストールについては割愛
@todo
参考URL
Treasure Agent(td-agent)の1と2の今後
http://qiita.com/repeatedly/items/c8107bc8ba5ba01133f8
td-agent2をAmazon Linuxで実行する
http://dev.classmethod.jp/cloud/td-agent2-amazon-linux/
Check! はじめての fluentd を Amazon Linux で動かしてみる (ログを PHP から送る)
http://qiita.com/dz_/items/960319ffffa0d7355f8c
td-agent2をAmazon Linuxで実行する
http://dev.classmethod.jp/cloud/td-agent2-amazon-linux/
@todo メモ
基礎の習得
死活監視
fluent-prugin-ping-message
リソース監視
monitor_agent
バッファをフラッシュしてから終了するようにするべし
ただOutputプラグインを呼び出すと
BufferやQueueに入ることはない
★中身を閲覧したい場合は
fluent-tail コマンドを利用するべし
★elasticsearch のindexを活かせるように
fluent-catでログの流れを試す
tailの場合はすべて文字列として認識される
elasticsearchは動的に型を判断するため、
codeはinteglarなど決めておく必要がある
(fluent-plugin-typecast)を利用するべし
supervisorで起動すると停止時に問題が発生します
/usr/sbin/td-agent-ui start > /var/log/td-agent-ui &
でバックグラウンド起動がよさそうです