fukata/vagrant-norikra-fluentd-mongodb

fluentd経由でnorikraに送られたログをストリームで処理してくれている感じが分かるかと思います。

何かで遊んだ環境をvagrantで残しておけば環境構築ログも残せるしすぐ手元で動かせるしで便利なので次回からもvagrantで残していこうと思った。

fukata/fluent-plugin-hostname · GitHub

元々オレオレプラグインとして開発しており、使うのも自分くらいしか居ないだろうと軽い気持ちで開発していてかつ、forestプラグインと併用しておりタグの変更はforestプラグインの方で行なっていました。このプラグイン単体で使っていなかったので問題に気づいていませんでした。

でも、各プラグインでタグに関する機能を実装しないといけないのは統一感も出にくいので、簡単に組み込めると楽なんだけどなぁ。それこそforestプラグインみたいなプラグインと併用すれば良いんじゃないかと個人的には思った。それすらもコストになるようなものだったら独自に実装すればいいし、こういう部分もfluentd-v11のlabel機能とかで解決できるようになったりするのかな。

現在も調査中なので、下記はメモ程度に受け取って下さい。

今回使用したtd-agentのバージョンは0.10.25になります。

exec_filterのソースとtd-agent.confの設定は下記のようになっています。mecabで分解した文字列が名詞かどうか判定するのが下記のやり方で正しいのかどうかわかりませんが。

実際に動かしてみた挙動としては、td-agentを再起動する段階で値が入ることもあれば、入らないこともあるという感じで、少なくともリアルタイムには値が入っていませんでした。今回行ったmecabでの名詞取り出しの処理はout_exec_filterで行うには重い処理なのかもしれないと思い、試しにmecabを使わずに固定の文字列を出力するだけのものを作成し、動かしてみたところ、クエリの総数よりも少ない数がいくつかだけデータベースに格納されているといった状況でした。

ちなみに、今回、Treasure Dataとローカルに設置したMongoDBの2つに格納するようにしていますが、ローカルのMongoDBにもリアルタイムとは言えないラグがありました。また、予想された数よりも少ないレコードしかありませんでした。out_exec_filterを介さず、直接データを格納するようにすればほとんどラグが無くデータが格納されます。

役職が付くようになり、今まで自分が行なっていた仕事を他に振るようになったので、以前に比べてプログラミングする量がかなり減って多少焦っているところです。

今回は、fluentd経由でMongoDBにログを400万件ほど挿れていたところ、「8011: tried to insert object with no valid shard key」というエラーが出てかなりハマったのでログとして残しておきます。

foward先としてリモートに設置したfluentdのログに下記のようなものが出ていました。

2012-06-11 21:33:18 +0900: failed to flush the buffer, retrying. error="8011: tried to insert object with no valid shard key" instance=70320056203900
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/networking.rb:95:in `send_message_with_safe_check'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/collection.rb:979:in `block in insert_documents'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/util/logging.rb:36:in `instrument'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/collection.rb:977:in `insert_documents'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/collection.rb:353:in `insert'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluent-plugin-mongo-0.6.7/lib/fluent/plugin/out_mongo.rb:139:in `operate_invalid_records'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluent-plugin-mongo-0.6.7/lib/fluent/plugin/out_mongo.rb:118:in `operate'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluent-plugin-mongo-0.6.7/lib/fluent/plugin/out_mongo.rb:106:in `write'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluentd-0.10.22/lib/fluent/buffer.rb:274:in `write_chunk'

no valid shard keyと書かれているのでてっきりshard keyに不正な値でも指定してしまったのかなと思い、そこばかり探していたんですが、似たような現象にあったブログもあまり見つからなかったので、ローラー作戦的に挿入するドキュメントの内容をshard keyのみから始まり、徐々に増やしていくことにしました。そこで、一番最初にshard keyのみで挿入したところ、正常に処理できたので、shard key自体が問題ではないんだなと思いました。徐々に増やしていった結果、あるキーに対する値が変に文字化けを起こしており、それが原因で当エラーが発生していたようです。そのキーを外したところ、正常に処理されました。

今回はあまり時間がなかったので直接的な原因は調べられていませんが、一段落着いたら調べてみたいと思います。

また、少し気になった動作として挿入できなかった場合にリトライするような設定になっているんですが、リトライする単位はchunkだと思うのですが、chunk内で異常なデータを含まないものに関しては重複して挿入されているような気がします。（プログラム側から指定した以上の件数が挿入されていたため）コレを防ぐ方法があるのかどうかはまだ分かりませんが・・・。

環境

MongoDB: 2.0.6
fluentd: 1.1.6