JJUG CCC 2009 fall に行ってきました

スーパー台風が直撃し、山手線をはじめ主要交通機関が全面的にストップするなか、CCC は午前中 30 分遅れになったものの、基本的につつがなく進行。すごいよ。

頓知・の井口さんの基調講演に何とか滑り込み、セカイカメラの野望を聞きながら、会場にペタっとエアタグを貼ったりしていました。 :-p


午後のセッション最初の、日経BP社 / 日経コンピュータの中田敦さんのお話が個人的にはとても楽しかったので、少し詳しめにメモを残しておきます。

# 聞き間違いや勘違いがあるかもしれないので、ご容赦ください。

データセンター視点で比較したクラウドの内側

  • 問題意識
    • なぜクラウドを使うのか
    • 安いからというのは誤解
    • クラウドが提供するアプリのほうが、PC のアプリより優秀だから
      • CPU もメモリもディスクもすべて性能が上
      • 検索エンジンGoogle Maps、...とかローカルアプリとして実現しようとしたら大変だよね
      • Web ブラウザ以外での利用も可能に
  • Google が提供するアプリケーションはなぜ高速なのか?
    • Ken Thompson 氏:「重要なのはクラウドコンピュータが Google にあること」
    • 個人がもちえない超高速コンピュータ、それをつくったという意味で異形のメーカー
  • サーバ生産台数
    • DELL、HP に続いて世界 3 位の可能性!!!
    • データセンターでは 300 万台が稼動してるらしく、年に数百万台生産しているはず
    • 世界的には、年間 800万台のサーバが生産
    • MS,Google,Amazon,Yahoo! の 4社で 20%、約 150万台のサーバを 1年で購入?
  • Google の先進性
    • 2006年に Project Black Box を Sun が発表したとき誰が使うの?と思ったが、
    • 実は 2005年 11月から Googleはすでに運用していた!?
    • 去年の今頃には、潮力発電の水上型データセンターの特許をとっている...
    • もうできつつあるのかもしれない
  • Google サーバ
    • ノートPC のように 12V のバッテリー内蔵
    • UPS 使わない
    • 200 or 400 V で蓄電しても無駄なので、マザーボードのそばで蓄電したほうが効率が高い
  • 電力利用効率
    • PUE
    • 冷却コストが高いほど値が大きくなってしまう
    • Google は 1.2 を実現
    • 日本の標準的なデータセンターは PUE 2.3 - 2.5 とか
    • IBM の最新鋭で 1.8、日立の最新鋭で 1.6
    • でもこれは計画値であり、データセンターが満床にならないとだめ
    • Google はすでに実測値なのがすごい
  • 影響を受けているのはマイクロソフト
    • Gmail 1GB のとき、MS は 25MB
    • 追い付こうとしたが、追い付けない
    • MS は組織を全面変更、デンターセンター運用部門を内部にもった
    • ATOM 搭載サーバは DELL がつくってるらしい
    • 二階建コンテナサーバもすべて MS のためにつくって、シカゴのデータセンターに納入されている
    • MS のデータセンター部門が設計したものを、DELL につくらせているっぽい
  • Amazon
    • データが公開されてないので規模を推測してみた
    • Rackable System (現 SGI)のサーバ売上 2億5千万ドルのうち 35% が Amazon
    • 1年で 2万5千台くらい調達しているはず
    • となるとデータセンター的には 7-10万台くらいあるはず
    • 最近は Amazon も自作をはじめたという噂がでている
  • Yahoo!
    • 本社前にコンテナ型データセンター
    • なかで Hadoop まわしてる?
    • SGI の ICEcube で水冷方式
      • コンテナ 1台あたり 2400台
      • ストレージ容量も 1台でペタバイト
  • MS のシカゴのデータセンター
    • コンテナ 112台 (当初は 200台の予定だった)
    • サーバ 22万4000台 (予定は 50万?)
    • コンテナ型をつかう理由
      • 冷却効率がいい
      • ラックにマウントするコストがばかにならない
      • 年間何十万台もデプロイできない
      • どーんと駐車場のような広い場所にコンテナを並べるだけ
    • 第四世代データセンター構想
      • 建物もつくらずにコンテナを野晒しでおくだけ
    • HP, DELL, IBMGoogle を 3年遅れくらいでおいかけてるのが現状
  • シカゴのデータセンターの規模感
    • 日本の年間のPCサーバの出荷代数 55万台
    • シカゴデータセンター、30 - 40万台
    • 50M ワットの年間電気料金は 110億円 (東京電力)
    • 1サーバあたり、100-150 ワット
  • The Data Center as a Computer
    • 今回のネタ本w
    • 日経BP社から翻訳決定、年明けくらいにでる
    • 原著の訳に加えて、MapReduce とかの論文も入れたいそうな
    • ちなみに原著の PDF 版は無料で公開

The Data Center as a Computer: An Introduction to the Design of Warehouse- Scale Machines (Synthesis Lectures on Computer Architecture)

The Data Center as a Computer: An Introduction to the Design of Warehouse- Scale Machines (Synthesis Lectures on Computer Architecture)

  • チラーレス
    • Google のベルギーのデータセンタはチラータワーがない
    • 高いとこに水を運んで落とすことで気化熱で冷ます、これがチラータワー
    • ベルギーみたく水が豊富なとこではそれが不要
    • 川から水をひいてあっためたまま返すのかな? (^^;
    • さらに、寒いとこにデータセンターつくることで冷却コストなしにしようとしてる
  • 逆に、冷やす必要はない!?
    • データセンターは、27 - 29 度が最適とも言っている by Google
    • 摂氏50度未満ならハードディスク温度と故障率に相関関係はない
    • サーバルームの高温化競争
    • これがグリーンIT ww
    • 「グリーンデータセンター」
  • サーバの管理
    • MS では 1人の管理者が 5000台を管理
    • こわれたサーバは修理/交換しない、定期的なメンテナンス時にのみ交換する
    • サーバのメンテナンスはバッチ処理的に行ったほうが効率的
    • Amazon でも Google でもそうしてるらしい
    • 50万台あっても100人で管理
      • シカゴの創出雇用は50人から100人?
      • 誘致しても無駄..w
  • 自前主義
    • 一番大事なデータセンターのプロパティはオープンにしてない
    • Android はある意味どうでもいい部分
    • 「巨大なクラスタ保有しないサードパーティ、ソフトウェア、プロバイダがソフトウェアのテストやチューニングを十分な水準で行うのは困難だ」
    • OS レイヤがあるとしたら、それは「Cluster-Level Infrastructure」のことだ
      • Linux は OS だと思ってない?
    • ProLiant の価格性能比は、SuperDome の4倍
      • どんな大きな SMP サーバでも1台ではまかないきれない
      • レイテンシはLANに集約されるので、SMP サーバを利用するのは無駄
    • プロセッサ使用率が高いほど消費電力効率が良い
      • つまり、安い遅いほうがよい
  • Google にとっての障害 (上から順に重い)
    • 喪失、データが再生成できない
    • 未到達、サービスがダウン
    • 劣化、サービスは使えているが劣化している状態
    • 隠蔽、S/W H/W で問題をカバーできてる状態
  • スループット指向とレスポンス指向
    • 両立できないといけない
    • MapReduce がうまくいくのは数千台が連携しながらもうまくいける対障害性
  • Salesforce CTO
    • 近い将来 Oracle がなくなるかもしれない
    • クラウドベースのデータベースの時代の到来を予感している
    • Oracle べったりなとこから、Google のやりかたをとり入れはじめてる

From SQL way to Bigtable way by ひがやすをさん

  • Bigtable 使ったことあるのは会場の 3割くらい
  • Bigtable の制限にどう対応していくか
    • Join 使えないよとか文句言ってると、それ RDBMS
    • atomic put や atomic get の話
    • index や table の話
    • 複雑なクエリは API で取得して、オンメモリでがちゃがちゃ

クラウドにおけるスケールアウト設計を掘り下げる by 萩原正義さん

  • Azure には SQLAzure があるらしい
    • スケーラビリティは劣るが、既存資産の移行では便利
    • クラウドの使用料としては RDBMS はかなり高い
    • 自分でやったほうが安くなるw
  • クラウドのアプリケーションアーキテクチャをどう考えるか
    • 概念モデルからデータとデータの関係性
      • 意味、コンテキスト
      • 関数従属性、正規化
    • ユースケースから一貫性の条件
      • トランザクションというかたちでモデル化
      • ACID ではなく、一貫性要求にもとづいたもの
      • 一貫性に対する要求の強弱に応じてモデル化
        • Immediate/Eventually/No Consistency
      • 参照/更新、CRUD、アクセス頻度
      • 並列性、可換性
      • テスト可能性
      • 保守性、配布

クラウドアプリケーションのつくり方

  • edge2.cc の浅海智晴さん
  • GAEJ
    • 基本的には Servlet コンテナ
    • 使用できる API が限られているのでフレームワークなどは完全に動作しない
    • RDBMS サポートしない、KVS のみ
    • スレッドは使用できない
    • MOM は未サポート
    • Cron による定期的実行
    • 1.2.5 から experimental として TaskQueue をサポート
  • GAEJ で開発してみた経験から
    • REST でいくのが楽
    • MVC2 (Webアプリケーション向け)から、MVC (GUIアプリケーション向け)
    • サーバ側の開発手法は既存の F/W が利用できないので変わるかも
    • HTML5 & REST、あるいは敷居が高ければ GWT も候補か
    • メッセージ指向、いずれは Apache Camel?
  • SimpleModeler の話
  • TwitterRecommender の話

最後はライブコーディングを少し覗きつつ、引きあげてきましたー。slim3wicket のライブコーディングが見れたのは面白かったです。

スタッフの皆様、講演者の皆様、おつかれさまでした。