去年、年末付近に書いた記事の中でterraformを使ってみたいと書いたのがやっと実現出来た。

とりあえず、今回使ったterraformの設定ファイルはこちら。初めて試してみたのでまずい所とかがあるかもしれない。
main.tf

大部分をクラスメソッドさんの記事を参考にさせてもらった。
AWSでTerraformに入門 ｜ Developers.IO

これを機にちゃんとterraform使って環境構築もコードに落としていこうと思う。

VPCやらInternetGatewayやら手動で設定しなくて良くなったのは非常に良い。新たなサービスを作る時に毎回の作業だったのでこれだけでも簡略化されるのは非常にありがたい。早速次のプロジェクトから使っていこう。tfstateファイルのバックアップ先としてs3を選べるのも面白い。

homebrewでインストールされるterraformが0.6系でimportコマンドとかがなかったので本家から0.8.7を落としてインストールすることにした。

既にDigital Oceanでこのブログを公開していたのでRoute53周りはimportコマンドを使って既存の物を取り込んだ。

マップのアクセス方法が変わってたり多少書き換える箇所があったけどほぼ問題なく動作した。

一つハマったのは aws_instance の associate_public_ip_address に false を指定してもなぜかtfstate内でtrueになっていて再度applyを行った際にインスタンスが再作成されてしまうこと。 associate_public_ip_address の行ごと削除したら解消した。ただ、解消したと言ってもfalseになったわけじゃなくtfstateもmain.tfもtrueの状態になってるというだけ。

さて、次は何を試そう。とりあえず、「ゼロから作るDeep Learning」を読み終えないと。

うちでも4月からAWSを使うようにしたのでBilling ReferenceにあるProgrammatic Accessを有効にしてレポートを社内システムに取り込んでいたんだけど、それが急に更新されなくなり、何かと調べたらS3にアップされなくなっていた。

気づいたのは8/21。

レポートが更新されないので何かと調べてみたところ、S3のレポートの最終更新日時が8/20 19時過ぎで止まっていた。更に調べてみると、Billing ReferenceにあるProgrammatic AccessがDisabledになっていた。今まで初回に設定してから特に弄っていないのでAWS側の問題かもしれないので問い合わせてみると、バケット名にドットを含んでいる場合、ドットを含めずに試してみてくれという風に言われた。

まさかなと思い、ドットを含めない名前でバケットを作成し、ポリシーも設定し直すとEnabledになった。

AWS側で何か変わったのかな・・・。

とりあえず、今はドット含めないパターンで運用してる。

追記: 2013.09.06 11:30
AWSのバグだったらしく、現在は修正済みとのことです。

Simple Amazon Glacier Uploader

一応、これを使って先ほど6GBのzipファイルをアップしてみました。

明日くらいにダウンロードしてみます。

今作っているサービスで少し使ってみたので、メモしておきます。

使い方は至って簡単で、

(use 'am.ik.clj-aws-ecs)
(def requester (make-requester "ecs.amazonaws.jp" "YOUR-ACCESS-KEY-ID" "YOUR-ACCESS-SECRET-KEY"))
(item-search-map requester "SearchIndex" "KEYWORD")

商品カテゴリーの指定(SearchIndex) – 商品検索(ItemSearch) – Amazon Web サービス

SearchIndex一覧については上記のページに書いています。

clj-aws-ecs | Clojars

clojars.orgにも登録されているので、project.cljに下記のように登録すれば簡単に使えるようになります。

[am.ik/clj-aws-ecs "0.1.0"]

ただ、ECSの戻り値がXMLで、item-search-mapの構造はXMLをそのままMapに変換した構造になっているため、その値を使って何かに利用する時に面倒なので、簡易的ですが、下記のようなコードを書いてXMLベースのMapから値を抜き出す処理を書きました。

(defn ecs-attr-value
  ([attrs tag] (ecs-attr-value attrs tag true))
  ([attrs tag first-only]
   (if (empty? attrs)
     nil 
     (let [attr (first attrs)
           attr-tag (:tag (first attrs))]
       (if (= tag attr-tag)
         (if first-only
           (first (:content attr))
           (:content attr))
         (recur (next attrs) tag first-only))))))

(defn ecs-item-attrs-parse
  [item attrs]
  (if (empty? attrs)
    item
    (let [attr (first attrs)]
      (def attr-value
        (cond
          (= (:tag attr) :ASIN) {:ASIN (first (:content attr))} 
          (= (:tag attr) :ItemAttributes) {:Title (ecs-attr-value (:content attr) :Title)} 
          (= (:tag attr) :SmallImage) {:SmallImage (ecs-attr-value (:content attr) :URL)} 
          (= (:tag attr) :MediumImage) {:MediumImage (ecs-attr-value (:content attr) :URL)} 
          (= (:tag attr) :LargeImage) {:LargeImage (ecs-attr-value (:content attr) :URL)} 
          (= (:tag attr) :DetailPageURL) {:DetailPageURL (first (:content attr))}))
      (recur (if (nil? attr-value) item (conj item attr-value)) (next attrs)))))

(defn ecs-item-parse [items xml-items] 
  (if (empty? xml-items)
    items
    (recur 
      (conj items (ecs-item-attrs-parse {} (:content (first xml-items)))) 
      (next xml-items))))

(defn ecs-item-search [search-index keywords]
  (ecs-item-parse [] (filter 
                       #(= :Item (% :tag))
                       (:content 
                         (first 
                           (filter 
                             #(= :Items (% :tag))
                             (:content (item-search-map 
                                         requester 
                                         search-index 
                                         keywords 
                                         {"AssociateTag" "example-22"
                                          "ResponseGroup" "Medium"}))))))))

？？？

micro instance一台しか起動していないのにどうして？そういえば、先月も30ドル程度請求が来てました。先月はsmall instanceなど色々試しに使っていたのでそれで高くなったのかなと思っていたのですが、今月はそれを上回る金額でした。

先月のAWS利用明細はこちら。

AWS Billing 201011

micro instanceを1ヶ月間維持するのに約17ドル。それに対してCloudWatchとEC2 EBSを合わせて約23ドル。EBSに関しては容量がそれだけあれば仕方ないのですが、自分の場合は１GB程度しか利用していなかったので、かなり無駄に課金されていました。ちなみに、EBSの容量は１００GBです。CloudWatchに関してはそれほど情報の粒度が細かいわけではないので、モニタリングしたいだけであれば、独自でmuninやらnagiosなりを入れた方がモニタリングできる値も多いですし良いかなと思います。

CloudWatchとEBSでmicro instanceの維持費よりもかかっていたわけですから、これらを止めればもう一台micro instanceが増やせるわけです。そうすれば、現在、WEBとDBが同一サーバ内にあるので分離すれば多少は速くなるんじゃないかと。もう少し広告収入が増えたら2台構成を考えたいと思います。

料金とは関係ありませんが、micro instanceは32bit, 64bit両方に対応しているのにsmall instannceのみ32bitのみ対応というのは64bitでmicroを構築していた場合、smallではなくいきなりlargeにスケールアップしないといけません。また、smallで構築しているサーバをlargeにスケールアップすることもできません。現在、うちのサイトはmicro(64bit)で運用していますが、うちのような小さなサイトでlarge instanceが必要になる頃には標準のWordPressをそのまま利用している可能性は低いと思うので、無理に64bit版を利用する必要はないかもしれません。むしろまだsmallにスケールアップが可能なmicro(32bit)を選択しておいた方が賢いのかもしれません。

まぁ、早いところsmall instanceでも64bit環境がサポートされるようになってほしいところです。

自分は回線の弱い中国にいるので実際にどれくらい早くなったのかいまいちわかりませんが、それでも前より描画が早くなったような気がします。

これで、自分のサイトが急激に大きくなってもスケーラビリティのあるEC２やその他のサービスを利用することが可能になります。まぁ、当分はMicro Instanceのみで充分だと思いますが＾＾；

仕事でEC2を使っていることもあり、個人でも使いたかったのですが、常に使う分にはSmallインスタンスでも利用料金が7000円程度／月と割と高いので、躊躇していたのですが1500円程度／月のMicroインスタンスが追加されたので、早速使ってみました。

Amazon Web Services (日本語)

まだ、AWSのアカウントすら持っていなかったのですが、Amazonのアカウントを持っていれば利用することができるようなので特にアカウント作成などはありませんでした。

ログインすると、AWS Management Consoleに繋げるようになり、EC2や、S3などAWSの各サービスの設定や監視などが行なえます。今のところインタフェースは英語のみとなっているようですが、解説サイトや書籍も数多く出回っているのでそれらを読めばとくに苦労することはないと思います。

Microインスタンスは、Smallインスタンスと違い、64bitOSもサポートしていますが、個人で、Largeインスタンス以上を利用することは基本的にないだろうと思ったので32bitのUbuntuを使用。鍵ファイル、セキュリティグループをあらかじめ設定しておけば、サーバの用意自体は1分程度で行なえます。また、実際の運用時には、これらに加え、EBSの設定や、Elastic IPなどを使用することになると思いますが今回は省略します。

Ubuntuを選択したので、サーバへは鍵ファイル認証または、パスワード認証でのSSH接続となります。デフォルトでは、rootユーザのパスワードが「root」となっており、IPさえ分かればすぐにログインすることができてしまうので、SSHの設定はすぐに変更した方が良いかと思います。

EBSなど特徴がありますが（今回は省略）ログイン後は、基本的に通常のサーバと同様なので、aptでLAMP環境を作成して、現状の設定をAMIとして作成しました。AMIとは、スナップショットした仮想イメージのようなもので、次から同じようなインスタンスを立ち上げたい時は今作成したAMIを指定すれば、既にLAMP環境が整ったサーバを用意することができます。また、これらの他に魅力的なAWSのサービスがありますが、また後ほど個人で使用した際に書きたいと思います。

とりあえず、いくつかあるブログサーバをEC2上に移行しようかと考えています。もう少し負荷が高くなれば、当サイトも移行を考えています。

今回、EC2を利用するにあたり、下記の書籍を参考にしました。今まで自分たちでサーバを用意していた時のサーバ構成をどうやってAWS上で構成するか、またその際の注意点やAWSの紹介、基本的な使い方なども書かれており、非常に良書でした。