構成

評価システムは以下のような構成です。

1Uサーバ ハードウェア仕様

ストレージ ハードウェア仕様（Linux SCST softwareターゲット）
1号機

2号機

構成解説

今回の評価では、BR1020を搭載した1UサーバからBR8000を経由してFibre Channel(以下FC)ストレージ装置にアクセスを行い、その性能を計測しました。
ここで問題となったのが弊社に常設されているFCストレージシステムでは、10GbEのFCoEが持つと予想される帯域幅やIO性能を十分に発揮させることができないということでした。
通常、この手の試験では、この問題を回避するため、SANBlaze Technology社のターゲットエミュレーションシステムを利用することで、超高速なストレージ装置をエミュレートして性能測定を行います。ですが、今回はLinux SCST(Software SCSI target)のNULLIO modeを利用することで、この問題を回避しました。

測定方法

測定は、1UサーバにOSとしてMicrosoft Windows Server 2008 R2 Enterpriseを導入後、ベンチマークツールであるIOmeter(2008-06-22-rc2)を利用して行いました。
帯域幅の測定は、1MB単位でシーケンシャルなアクセスを行うワーカー（ディスクへのIOを実際に行うIOmeterのプロセス）をターゲットごとに動作させて行いました。
※ターゲットは、各ストレージハードウェアのFCポート毎に作成したため４つです。よってワーカーの数も4つです。各ワーカーのQueue Depthは1に設定

IO性能（IOPS）の測定は、4KB単位でランダムなアクセスを行うワーカーを1Uサーバに搭載されているコア数である8つ動作させて行いました。
※各ワーカーのQueue Depthは8に設定

測定結果

以下の測定結果は、BR1020の1ポートだけを利用した場合の値です。
（2ポートの場合は、ターゲット側の性能不足で正しい計測値が得られませんでした）

測定結果解説

帯域幅の測定結果は、10GbEの持つ帯域幅をほぼ使い切る性能があることを示しています。またCPU負荷も非常に低く抑えられています。
IO性能（IOPS）の測定結果は、アクセス単位が4KBなことを考えると、10GbEの持つ帯域幅が律速となる最大IOPS性能を持っていることを示しています。
CPU負荷も同時に計測を行った他社の10GbE NICと比較すると半分近くに抑えられておりDCB及びFCoE処理をすべてカード側で行うBR1020の優位性が確認できました。

まとめ

10GbE 1ポート及び4Gb FC 4ポートのみでのテストでしたが、Brocade8000がDCB(CEE)及びFCoEに対応したスイッチとして高い性能を持っていることが伺える測定結果が得られました。
また、CNAであるBrocade 1020がDCB及びFCoE処理をホスト側にほとんど負荷を掛けずに行え、10GbEの持つ帯域をフルに活用できる性能を持っていることが確認できました。

IIJさんは、あえてコンテナ型データセンターとは呼ばずに次世代モジュール型エコ・データセンターと呼んでいます、理由は後で出てきます。

今回見学させて頂いた施設は、保安上の理由から場所は原則非公開です。（中部地区某所ってところまでは公開してOK）

現在建設中の本番データセンターの場所は、寒からず・暑からずの中国地方だそうです。（ネットで検索すると自治体名まで出てきます）

施設に到着して、実際に見学する前に、レクチャーを受けました。内容を抜粋すると以下のような感じです。

なぜIIJはコンテナ型データセンターをつくるのか？

• 従来のデータセンターは、建築コストが高い
• 従来のデータセンターは、一度にまとめて広いフロアを建設しないといけない
• 従来のデータセンターは、建築に長い時間が必要なため、需要発生から供給までのリードタイムが長い
• リードタイムが長いために、大量に在庫（空きラック）を抱えるリスクを負う必要がある
• これらの問題を解決するためにコンテナ型データセンターを選択して検証して実際に建設することにした。

IIJ 次世代モジュール型エコ・データセンターの特徴

• 外気導入型空冷で通年PUE 1.2
• 日本の事情に合わせた設計
• 屋根無し（コンテナを屋外に設置）
• コモディティサーバを利用（コンテナ型専用タイプは利用しない予定）
• N+１タイプの空調装置（コンテナごとに1台と予備1台）

実証実験の概要

• 実証実験のパートナーと実施
• コンテナ製造　NLMエカル（日本軽金属の子会社でコンテナ製造が本業）
• 電気空調設備　東芝
• 防災消火設備　能美防災
• ラック分電盤電流測定器　河村電器産業
• IT機器　国際産業技術（OTTOさん）
• 外気冷却方式の実証実験が主目的である
• ASHRAE（アメリカ暖房冷凍空調学会）の温湿度条件ASHRAE class1&2 recommended level(2008 Version)に収める制御を行う

空調システムの動作モード概要

• 中間期　外気運転モード（外気をそのままコールドエリアに供給、ホットエリアの排熱は全て排気）
• 冬期　　混合運転モード（冷たく乾燥しすぎの外気をホットエリアの排気と混合して、適切な温湿度にしてコールドエリアに供給）
• 夏期　　循環運転モード（外気は利用せず、冷却機を稼動して運転）

参加者にレクチャーするIIJ堂前さん

レクチャー中に行われた質疑応答の内容を抜粋すると以下の通りです。

コンテナ型データセンターの何が１番のメリット？

• リードタイムの短縮

コンテナのサイズは？

• 幅3m、高さ3m 、奥行き 8m で所謂ISO規格コンテナではない
• ISO規格コンテナでは、幅が狭まい（幅は2.438m、高さは2種類2.591mと2.896m長さも2種類6.096mと12.192m）
• ISO規格コンテナではないので、モジュール型と呼んでいる
• 日本の道路交通法上、輸送に許可を必要とするサイズなので、将来的には許可が不要なサイズに変更する予定

コモディティサーバを利用する理由は？

• 専用設計のサーバを利用するとリードタイム短縮効果が薄れる可能性がある
• 大きな仕様変更には、サーバメーカーは消極的
• 通常のサーバから冷却ファンを抜いた仕様などは、PUE値の比較では不利になるが利用を考えている

PUE値が不利になる理由は？

• PUEは、データセンター全体の消費電力をIT機器の消費電力で割った値
• サーバから冷却ファンを取り外すと、そのかわりに空調装置側の負荷（電力）が増えることになる
• 冷却ファンの電力がIT機器の消費電力から減って、空調装置側の電力が全体の消費電力に追加されることになり、PUEの値は大きく（悪く）なる
• 一般的に、サーバの冷却ファンよりも空調装置の大型ファンの効率がよいので、全体の消費電力を押さえることができるのに、PUEの値は悪くなる
• PUEの問題点は、さまざま指摘されているが、他の指標（DCiE・DPPE・etc）にも問題がないわけではなく、またPUE程認知されていない。

他の指標の問題点ってなに？

• 自然エネルギーや再生可能エネルギーをつかっても評価されない

温度及び湿度に下限がある理由は？

• 温度の下限は、モータ等に利用されているオイルの粘性など
• 湿度の下限は、静電気の発生を抑えることが理由
• 温度の上限は、あらゆる部品の故障率や寿命に関連
• 湿度の上限は、結露及び腐食

サーバのキッティングは、どこで行うの？

• 実証実験では、コンテナを設置後に行った
• 本番では、運送前にキッティングを行う予定

コンテナに輸送及び地震に関連する振動対策はあるのか？

• Oracle（元Sun）のコンテナ型にあるコイルスプリングのような対策はしていない
• 輸送時は、エアサス車を利用することで対応可能だと考えている
• 地震対策としては、震度7レベルの耐震設計を行っている

屋根無しで大丈夫なのか？

• 建築基準法などの法規に関連する問題は、データセンター特区でクリアできる予定(2010/8/10 23:22修正）国土交通省からコンテナ型データセンターは建築物扱いされないとの検討結果が発表されたのでクリアしている（参考 構造改革特別区域推進本部 資料1 PDF・検討要請に対する各府省庁からの回答　国土交通省 PDF 6ページ）
• 実証実験の設備は、４号建築物の特例でクリアしている（コンテナの製造を担当しているNLMエカルには、携帯電話基地局などでの実績があり、また1級建築士が在籍している）
• 屋根有りを選ぶ海外事例もあるので、情報収集は続けていく予定

障害対応は？

• 冷却機の障害には、N+1構成で対応（障害時には各ユニット間の接続部分にあるダンパー（空気弁）を開放して全体で支えるモードに移行する）
• 電源装置の障害には、自家発電機などで対応
• 人が作業中に空調が故障するケースもテストしたが、無事生還しております。
• Googleなどの行っているデータセンターレベルでの切り替え等は、今後の課題

サーバ故障時の対応方法は？

• 定期メンテナンス時にまとめて修理交換を行う
• 故障したサーバを完全にほっておく手法はとらない予定

なぜ、中部地方を実証実験の場所に選んだの？

• 実証実験の場所と立地条件とは特に関連はない
• この実証実験で得られた情報と日本全国の気象情報を元に、大体の指標を得ることはできる

コンテナ内での負荷の偏りには対応しているのか？

• 負荷が偏った状態でのテストを行ったが、熱の偏り等は、問題ないレベルで収束することを確認済

発熱量の大きいCPUやメモリと比較的少ないHDDを別のコンテナに収容することは検討しているか？

• コンテナごとに空調を調整できるので、メリットはあるかもしれない
• Flash SSDが主流になれば、メリットはなくなるかもしれない

ネットワーク機器への対応は？

• エアフローの観点から、前後方向での吸排気に対応している機器を使いたい
• 今回、横方向の製品を一部使っているが、たぶんちゃんと冷えていない筈

海外の事例にある、コンテナの2階建ては？

• やらない予定
• 地震対策や、下になるコンテナの強度アップにコストが必要
• コストに釣り合う効果が専有面積を減らすことにはない

枠を作ってコンテナを収める工法は？

• 一般論として建設費が高くなる
• 土地代が安い場所を選択しているので、採用はないと思われる

直流電源の検証予定は？

• 直流給電の規格が落ち着いたら考えます。

防災対策は？

• 地震対策は、震度7クラスに耐える設計を行っている
• 火災対策は、本番環境では窒素消火設備を利用予定

防犯対策は？

• 用地の周囲に壁を作る予定
• 無人運用ではなく、管理棟もあり警備員等も配置する予定

参加者の質問に答えるIIJ久保さん

質疑応答が一段落ついたところで、実際に実証実験中の設備を見学させていただきました。

実物を見ながらの解説の内容を抜粋すると以下のような感じです。

• この形になるまでに、幾つか変更を行っている
• 空調用コンプレッサーの変更
• 排気側ファンを外した
• 加湿用の給水パイプはこれ（写真参考）
• ITモジュールと空調モジュールは、フレシキブルな構造で接続(地震対策)
• LED照明を利用
• 扉は２重で前室あり（外部の庇は、小さすぎた・・・）
• 前室に配電盤を設置
• 実証実験で利用しているサーバは、熱源として利用
• OpenSSLのベンチマークコマンドで熱量を制御
• 温度湿度センサー（ストロベリー・リナックス製）を計測用に設置
• 今日は、見学なので6割程度の負荷で運用
• 最大負荷だと、凄い風量（最大27000立方メートル毎分）になる（6割でも凄い風量でした）
• 普通の煙センサーは、天井設置しますが、風量が凄すぎて天井では反応しないため、排気側ダクト前に設置している。しかも超高感度煙センサーの中でもより感度の高い製品を採用している
• 空調制御用の温湿度センサー、特に温度センサーは応答時間が極めて短いものを利用している

モジュール全景

ITモジュール

空調モジュール

フレシキブルなダクトの継ぎ手

空調モジュールを解説するIIJ堂前さん

加湿用水供給システムを解説するIIJ堂前さん

前室にある配電盤

配電盤内　電流測定用コイルがいっぱい

空調制御用温湿度センサー

超高感度煙センサー

煙センサーへの空気取り入れパイプ

コールドエリア側全景

ホットエリア側全景

温湿度センサーと熱源サーバ群

見学中に行われた質疑応答の内容を抜粋すると以下の通りです。

塗装しないの？

• 本番では、遮熱塗装を行うかを検討中（費用対効果を検討）
• 遮熱板は検討してみます（直射日光の当たる信号機等の制御ボックスなどにある筐体からは浮いた板）

配電盤に繋がったパイプは何？

• 当初の予想より配電盤からの熱が大きく前室が高温になったために、コールドエリア（通路ではないのでコールドアイルとは呼ばないことにしたそうです）から冷気を導入している

実証実験の費用は分担？

• IIJが負担している（部分が大きい？　聞き逃しました）
• パートナー各社にも、いろいろと便宜をはかってもらっている

感想

IIJさんが、先行する企業からのノウハウ導入だけではなく、自社のコンテナ型データセンターを建造する為に、ここまで努力している点には、素直に敬服しました。

質問にも、積極的に回答いただけて大変感謝しております。まだ、幾つか質問したい項目（降雪落雷対策・高温度運用の可能性・ネットワーク遅延etc）があったのですがそれは、別の機会にしたいと思います。

　また、セミナーの動画は現在PCに取り込み中のようです(別の者が作業中です)。

　今回のために、Firmware Maintenance CDをUSBメモリに転送した物を5本用意して、20台超あるサーバを5台並行でアップデートしました……！納入時期が違うサーバもあり、ファームウェアのバージョンが異なる物が混じっていましたが、今回のメンテナンスで統一されて、スッキリとしました。

　基本的には、大きなトラブルは無くアップデートが完了しましたが、ちょっとつまづいたり、注意する必要がありそうな点をご紹介します。

Power Management Controllerを0.7 から3.4にアップグレード

　Onboard Administrator(OA)およびブレードサーバの各ファームウェア(BIOS, iLO2, SmartArray, NIC…)のアップデートが終わった後、OAのファームウェアのページを確認すると、Power Management Controllerのバージョンがいくつか0.7になっていて、アップデート可能と表示されました。ただ、Firmware Maintenanceではアップデート一覧に表示されなかったため、次のページを参考にアップデートを行いました。

　http://forums13.itrc.hp.com/service/forums/questionanswer.do?threadId=1346069

　以下で紹介する方法について、弊社は一切の責任を負いません。

　ここで紹介するのはBL460c G1を例としています。なお、バージョンが0.5の場合はアップデートは不要とのことです(OAのファームウェアのページに注記があります)。

• Firmware Maintenance CDのUSB版をあらかじめ作っておく。Power Management Controller3.4(D)(CP011627.scexe)をHPのサイトからDLして、メモリのcompaq/swpackagesに入れておく
• サーバーにメモリを接続して、Firmware Maintenanceを起動する。
• Firmware Maintenanceが起動したら、言語を選んで、規約に同意する。
• メイン画面が表示された状態でCtrl+Altを押しながらD、B、Xと入力。少しするとコンソールが出てくる。
• /mnt/cdrom/compaq/swpackagesに移動して、「sh CP011627.scexe」を実行。指示に従ってアップデートを行う。

c7000の古い電源ユニットは自主回収中

　Onboard Administratorのファームウェアをアップグレードしたところ、電源ユニットすべてに警告マークが付きました。c7000についているInsight Displayに表示された文書番号を元に調べると、電源ユニットを自主回収しているとのことでした。

• HP c7000 Power Supply Replacement Program
• c7000 のパワーサプライが稀に故障する可能性を排除するため、対象品の特定と交換をお勧めします。

　故障と違って、自主回収によるパーツ交換の場合はUSからの取り寄せとなるようで、パーツ到着まで2週間ほどかかるとの事でした。これまで問題無く稼働していたとは言え、2週間警告マークが出続けるのはちょっと不安……。

　また、だいぶ前から告知されていたようで、これまで全く気付かなかったのは反省すべき点ですね……。

主な変更点は以下の通り。

http://www.virtualbox.org/wiki/Changelog

• Guest SMP with up to 32 virtual CPUs (VT-x and AMD-V only; see chapter 3.7.2.2 of the user manual)
• Windows guests: ability to use Direct3D 8/9 applications / games (experimental; see chapter 4.8 of the user manual)
• Support for OpenGL 2.0 for Windows, Linux and Solaris guests

大きな変更点としては、仮想SMPがサポートされたことでしょうか。3D系は以前からチクチクとサポートされていましたが、対応バージョンが上がってるかな？

しっかし、ちょうど某雑誌にv2.2のレポートを寄稿したところなのに・・

• 第1回 さまざまな仮想化技術の基本を理解する
• 第2回 ホストOS型とハイパーバイザ型の違いを知る
• 第3回 実行効率の高いハイパーバイザ型の仮想化ソフト

さて、特に分かりにくいのが、仮想ディスクファイルの複製を作る方法です。VMwareやXenに慣れている人であれば、.vdiファイルをコピーして読み込ませるところなのですが、VirtualBoxは仮想ディスクファイルにUUIDを持たせており、UUIDの重複を許しません。単純なファイルコピーでは、同一環境に読み込ませられないということです。

では、どうやって複製を行うかというと、コマンドラインで実行します。VBoxManageという管理コマンドが用意されているので、以下のように入力します。

$ VBoxManage clonevdi original.vdi clone.vdi

ここまでできているなら、ディスクマネージャーに機能を入れてくれればいいのに・・