fukata/vagrant-norikra-fluentd-mongodb

fluentd経由でnorikraに送られたログをストリームで処理してくれている感じが分かるかと思います。

何かで遊んだ環境をvagrantで残しておけば環境構築ログも残せるしすぐ手元で動かせるしで便利なので次回からもvagrantで残していこうと思った。

現在も調査中なので、下記はメモ程度に受け取って下さい。

今回使用したtd-agentのバージョンは0.10.25になります。

exec_filterのソースとtd-agent.confの設定は下記のようになっています。mecabで分解した文字列が名詞かどうか判定するのが下記のやり方で正しいのかどうかわかりませんが。

実際に動かしてみた挙動としては、td-agentを再起動する段階で値が入ることもあれば、入らないこともあるという感じで、少なくともリアルタイムには値が入っていませんでした。今回行ったmecabでの名詞取り出しの処理はout_exec_filterで行うには重い処理なのかもしれないと思い、試しにmecabを使わずに固定の文字列を出力するだけのものを作成し、動かしてみたところ、クエリの総数よりも少ない数がいくつかだけデータベースに格納されているといった状況でした。

ちなみに、今回、Treasure Dataとローカルに設置したMongoDBの2つに格納するようにしていますが、ローカルのMongoDBにもリアルタイムとは言えないラグがありました。また、予想された数よりも少ないレコードしかありませんでした。out_exec_filterを介さず、直接データを格納するようにすればほとんどラグが無くデータが格納されます。

役職が付くようになり、今まで自分が行なっていた仕事を他に振るようになったので、以前に比べてプログラミングする量がかなり減って多少焦っているところです。

今回は、fluentd経由でMongoDBにログを400万件ほど挿れていたところ、「8011: tried to insert object with no valid shard key」というエラーが出てかなりハマったのでログとして残しておきます。

foward先としてリモートに設置したfluentdのログに下記のようなものが出ていました。

2012-06-11 21:33:18 +0900: failed to flush the buffer, retrying. error="8011: tried to insert object with no valid shard key" instance=70320056203900
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/networking.rb:95:in `send_message_with_safe_check'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/collection.rb:979:in `block in insert_documents'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/util/logging.rb:36:in `instrument'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/collection.rb:977:in `insert_documents'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/mongo-1.6.2/lib/mongo/collection.rb:353:in `insert'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluent-plugin-mongo-0.6.7/lib/fluent/plugin/out_mongo.rb:139:in `operate_invalid_records'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluent-plugin-mongo-0.6.7/lib/fluent/plugin/out_mongo.rb:118:in `operate'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluent-plugin-mongo-0.6.7/lib/fluent/plugin/out_mongo.rb:106:in `write'
2012-06-11 21:33:18 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluentd-0.10.22/lib/fluent/buffer.rb:274:in `write_chunk'

no valid shard keyと書かれているのでてっきりshard keyに不正な値でも指定してしまったのかなと思い、そこばかり探していたんですが、似たような現象にあったブログもあまり見つからなかったので、ローラー作戦的に挿入するドキュメントの内容をshard keyのみから始まり、徐々に増やしていくことにしました。そこで、一番最初にshard keyのみで挿入したところ、正常に処理できたので、shard key自体が問題ではないんだなと思いました。徐々に増やしていった結果、あるキーに対する値が変に文字化けを起こしており、それが原因で当エラーが発生していたようです。そのキーを外したところ、正常に処理されました。

今回はあまり時間がなかったので直接的な原因は調べられていませんが、一段落着いたら調べてみたいと思います。

また、少し気になった動作として挿入できなかった場合にリトライするような設定になっているんですが、リトライする単位はchunkだと思うのですが、chunk内で異常なデータを含まないものに関しては重複して挿入されているような気がします。（プログラム側から指定した以上の件数が挿入されていたため）コレを防ぐ方法があるのかどうかはまだ分かりませんが・・・。

環境

MongoDB: 2.0.6
fluentd: 1.1.6

Compojure(Ring)でセッションを使う場合、handlerにwrap-sessionを指定してあげるとCookieセッションが使える。デフォルトだとデータの保存先はメモリ。

で、少しSession関連のモジュールを調べてみたところ、sandbarというのがwrap-sessionのラッパーで高機能かつ、インタフェースが使いやすかったので、今回はコレを使うことにしました。

Session Wrapper

sandbarはwrap-sessionのラッパーというだけでなく、セッションを使ったサイトでよく使われるような、ログインユーザの名前や権限を取得する関数等も提供されています。

brentonashworth/sandbar – GitHub

実際に組み込み後のコードはこんな感じになりました。

(ns compojuretest.core
  (:use compojure.core
        compojure.response
        ring.adapter.jetty
        ring.middleware.reload-modified
        somnium.congomongo
        [ring.util.response :only (response content-type)]
        fleet
+        (sandbar stateful-session auth))

... 省略 ...

;; =============================================
;; Routes
;; =============================================
(defroutes app-routes 
  (GET "/" {} (tpl/index {})))

+(def app
+  (-> app-routes
+    wrap-stateful-session))

;; =============================================
;; Run Server
;; =============================================
;; AutoReload Configuration
(def app (handler/site app))
(def handlerApp
    (wrap-reload-modified #'app ["src"]))

(defn -main []
  (let [port (Integer/parseInt (get (System/getenv) "PORT" "8080"))]
    (run-jetty handlerApp {:port port})))

これで、Sessionが使えるようになります。Sessionを取り出したり設定したりするAPIは本家のwikiを見るか、行数が少ないのでソースを直接見たほうが早いかもしれません。該当箇所は以下です。

src/sandbar/stateful_session.clj at master from brentonashworth/sandbar – GitHub

保存先

上記に書いた通り、標準のSessionの保存先はメモリとなっているので、サーバの再起動等で消えてしまいます。少し不安でもあったので、ファイルかDBに保存するモジュールが無いか調べました。

その前にwrap-sessionで指定できるSessionの保存先というのはオプションで指定でき、下記の継承したものであれば良いようです。

ring-core/src/ring/middleware/session/store.clj at master from mmcgrana/ring – GitHub

SessionもMongoDBに保存したい！

せっかく今回、MongoDBを使っているので、セッションもMongoDBに格納したい！！

clojars.orgで検索してみたところ、下記のモジュールが見つかりました。

hozumi/mongodb-session – GitHub

サンプルを見たところ

(ns hello
  (:require [ring.middleware.session :as rs]
            [somnium.congomongo :as congo]
            [hozumi.mongodb-session :as mongoss]
        ...))

(congo/mongo! :db "mydb" :host "127.0.0.1")

(defroutes my-routes ....)

(def app (-> my-routes
           (rs/wrap-session {:store (mongoss/mongodb-store)})))

とあるので、既に宣言しているmongo!の周り無視して、wrap-session辺りを修正するだけで大丈夫なようです。mongodb-storeを組み込んだコードはこんな感じになりました。

(ns compojuretest.core
  (:use compojure.core
        compojure.response
        ring.adapter.jetty
        ring.middleware.reload-modified
        somnium.congomongo
        [ring.util.response :only (response content-type)]
        fleet
        (sandbar stateful-session auth))
  (:require [compojure.route :as route]
            [compojure.handler :as handl(mongoss/er]
            [clj-json.core :as json]
            [clojure.contrib.string :as string]
+            [hozumi.mongodb-session :as mongoss]))

... 省略 ...

;; =============================================
;; Routes
;; =============================================
(defroutes app-routes 
  (GET "/" {} (tpl/index {})))

(def app
  (-> app-routes
-    wrap-stateful-session
+    (wrap-stateful-session {:store (mongoss/mongodb-store)})))

;; =============================================
;; Run Server
;; =============================================
;; AutoReload Configuration
(def app (handler/site app))
(def handlerApp
    (wrap-reload-modified #'app ["src"]))

(defn -main []
  (let [port (Integer/parseInt (get (System/getenv) "PORT" "8080"))]
    (run-jetty handlerApp {:port port})))

この状態で実際にセッションに値を格納するとMongoDBの方にring_sessionsというコレクションが出来ていると思います。ちなみに、ring_sessionsのレコードはこんな形式です。

> db.ring_sessions.find().forEach(printjson);
{
	"_id" : "c83528b0-cfce-4e0f-b70b-90adce0c21d5",
	"_date" : ISODate("2011-10-31T17:34:55.022Z"),
	"_sandbar_session" : {
		"name" : "Tatsuya Fukata"
	}
}

Cookieのオプション

wrap-sessionで生成されるCookieはデフォルトではexpires未指定でブラウザを閉じた場合に消去されるものになっています。これらのオプションを指定する場合には、wrap-sessionの引数として下記のように指定します。また、これはwrap-stateful-sessionでも同じ形式の引数で渡すことが出来ます。

(def app
  (-> app-routes
    (wrap-stateful-session
      {:cookie-attrs {:expires "Thu, 1-Jan-2030 00:00:00 GMT", :path "/"},
      :cookie-name "compojuretest-session",
      :store (mongoss/mongodb-store)})))

上記以外の詳しい指定方法については、下記のソースを参照してみてください。

ring-core/src/ring/middleware/session.clj at master from mmcgrana/ring – GitHub

garyburd/go-mongo – GitHub

もう一つ、gomongo（名前が紛らわしい）というのもあるそうですが、こっちは現リリース版のgolangだとコンパイルが通らなかったので、とりあえず、上記のものを利用しました。

githubのREADMEに情報が少なかったので、メモとして基本的な操作方法について記載しておきます。

基本操作

接続、コレクションの選択、切断

// 接続
conn, err := mongo.Dial("localhost:27017")
// コレクションの選択
c := mongo.Collection{conn, "hoge.foocollections", mongo.DefaultLastErrorCmd}
// 切断
conn.Close()

SELECT

// 単数
// 値をマップに格納
var foo_map mongo.M
err := c.Find(nil).One(&foo_map)
log.Println(foo_map["_id"])

// 値を構造体に格納
type Foo struct {
    Id mongo.ObjectId `bson:"_id"`
    Name string `bson:"name"`
}

var foo Foo
err := c.Find(nil).One(&foo)
log.Println(foo.Id)

// 複数
cursor, err := c.Find(nil).Limit(10).Cursor()
for cursor.HasNext() {
    var f Foo
    err = cursor.Next(&f)
    log.Println(f)
}

INSERT

id := mongo.NewObjectId()
err = c.Insert(&Foo{Id: id, Name: "Tatsuya Fukata"})

UPDATE

// 引数： 検索条件, 更新情報
err = c.Update(mongo.M{"name": "Tatsuya Fukata"}, mongo.M{"name": "深田達也"})

DELETE

err = c.Remove(mongo.M{"name": "深田達也"})

BSONとGolangの変換表

go-mongoではBSONからgolang内の型変換は下記のようになっています。

//      BSON                -> Go
//      Integer32           -> signed and unsigned integers, floats, bool
//      Integer64           -> signed and unsigned integers, floats, bool
//      Array               -> []interface{}, other slice types
//      Binary              -> []byte
//      Boolean             -> bool
//      Datetime            -> mongo.Datetime, int64
//      Document            -> map[string]interface{}, struct types
//      Double              -> signed and unsigned integers, floats, bool
//      MinValue, MaxValue  -> mongo.MinMax
//      ObjectID            -> mongo.ObjectId
//      Symbol              -> mongo.Symbol, string
//      Timestamp           -> mongo.Timestamp, int64
//      string              -> string

後でmasterブランチのテストコードを見てみると上記の方法ではなく、Queryに対してUpdateやRemoveメソッドが使えるようになっていたので、今後はメソッドチェインで検索条件を構築した後に、操作が行えるようにもなるみたいです。

これは、goinstallでインストールされるバージョンにはまだ含まれていません。

その際参考にしたサイトは下記です。

• HerokuでClojure(Compojure)を使う – komagata
• Heroku | Dev Center | Getting Started With Clojure on Heroku/Cedar

で、いつものようにまともに説明を読まずにやっていたらherokuにpushして、heroku psコマンドでプロセスを確認したところ一向に立ち上がっていませんでした。で、もう一度公式の手順を一から順に観てるとProcfileを作成していないことに気づき、Procfileを作成し、pushしたところ、正常にプロセスが立ち上がりました。

たいてい動かない時というのは、自分が手順をすっぽかしてる事が多いですね・・・気を付けないと。

Heroku | Dev Center | Declaring and Scaling Process Types with Procfile

一応今のところ、Clojure(Compojure) + MongoDBという構成（テンプレートエンジンは模索中）で作ろうかと思っているので、また何かあったら書こうかと思います。それにしてもherokuコマンドだけでも色々なことができるんですね。