June 18, 2011
数年前、自宅サーバだったモバツイをEC2に移転しなくてはいけない状態になった時、吉祥寺のお店で夕飯を取っていた時に、モバツイが重くて仕方なくなったのが原因だった。
モバツイが重いと僕の機嫌がものすごく悪くなるので喧嘩した記憶がある。急いで食べて家に帰ったので、何を食べたという記憶がない。まさに、かきこむように食べた、という次第。家に帰って、何故重いのか？というのを調べたら家のルーターが過負荷。ルーターともなると対処のしようがなく、EC2に行く覚悟がついた、、、というか、それ以外選択肢がなかったというのが当時のこと。
その後、いろいろ状況が変わって、現在の会社になって、これまた吉祥寺のお寿司屋屋さんで並んでいたら、突然モバツイの調子が悪くなった。サーバの負荷が高くなって、EC2のインスタンスとしては暴走状態になってしまい、最後はマスターDBを入れ替えるまでの問題になってしまった。
まだ社内にモバツイサーバに慣れてる人が少なかったので、僕が中心になって作業をしていたが、吉祥寺は意外とイーモバイルの電波の入りが悪くて、吉祥寺の商店街の中からMacBook Airからサーバに接続しながらも、いらだつ環境の中で作業をしていた。
結局、寿司は食べられずに、すぐに家に帰るハメになったのと、マスターDBの入れかえというのはそもそも大事であって、家に帰ってからも夜中遅くまで作業していたのを覚えている。
そして今日、、、、車の修理をしにディーラーに行っていたら、吉祥寺が割と近いことがわかったので、久しぶりに食事でもして帰ろうかと思ったら、モバツイがつながらないという電話が。
状況的に、バックエンドの障害ではなく、Webサーバの負荷がそんなに高いわけでもなく、でも、うまくつながらない、という謎の状況で、下手するとDNSの障害かもしれない、Amazon EC2の障害かもしれない、、、、と、いろんな不安が頭をよぎる。
そういえば、その辺の対処の可能性まで考えると、家/休日用のMacBook Airでは情報が足りずに、家に置いてあるVAIOを開かないと対処できないぞ、ということで、これまた急きょ、家に帰ることへ。
結局、スタッフとやりとりをして、途中の首都高の渋滞のど真ん中で、DNSではなく、ツイッターのapi障害に引っ張られてのことということがわかった。
ツイッターapiが完全に落ちてればモバツイ側もエラー画面が表示されるのですが、apiが死に損ないみたいな状態で、繋がってるけどひたすら遅いという状態になると、Web側に待ち行列ができてしまって、Webサーバの接続を使いきってしまうんですね。もしくは裏側が重くなって引っ張られたり。
丁度、他のサービスがどうなってるのか？というのを助手席の人に聞いた矢先に、他のサービスも落ちてるという連絡をもらって。
他のサービスが落ちてたり調子が悪いのであれば、ツイッター全体の話なので、僕らには手出しできず。待つだけでした。
ただ、僕等はツイッターが障害の時にも、必ず自分たちに問題がありやしないか？というのを切り分けておかないといけないのです。api障害に連動して、起きるモバツイの不具合ってのもないとは限りませんしね。復帰時にアクセスが集中して、DBのクエリ―が処理できなくなりました、とかね。
ということで、やっぱり僕は吉祥寺に行ってはいけない、ということがわかった。
もしくは、行くときはちゃんとVAIOを持ってのフル装備でいくべし。
でも、日常の中で、やっぱりモバツイを使ってくださるユーザーさんがいるからこそ、僕等はインフラを守り続けるわけです。こういう状況を、ただの「仕事」という枠内だけではなく、人生の喜びとして楽しめる人は、是非、僕等の仲間になってくれるとうれしいですね。
と、むりやり採用的な流れに結びつけて終わり。
##なんか悔しいから、今からリベンジで吉祥寺に行ってやろうかな。