IIJさんは、あえてコンテナ型データセンターとは呼ばずに次世代モジュール型エコ・データセンターと呼んでいます、理由は後で出てきます。

今回見学させて頂いた施設は、保安上の理由から場所は原則非公開です。（中部地区某所ってところまでは公開してOK）

現在建設中の本番データセンターの場所は、寒からず・暑からずの中国地方だそうです。（ネットで検索すると自治体名まで出てきます）

施設に到着して、実際に見学する前に、レクチャーを受けました。内容を抜粋すると以下のような感じです。

なぜIIJはコンテナ型データセンターをつくるのか？

• 従来のデータセンターは、建築コストが高い
• 従来のデータセンターは、一度にまとめて広いフロアを建設しないといけない
• 従来のデータセンターは、建築に長い時間が必要なため、需要発生から供給までのリードタイムが長い
• リードタイムが長いために、大量に在庫（空きラック）を抱えるリスクを負う必要がある
• これらの問題を解決するためにコンテナ型データセンターを選択して検証して実際に建設することにした。

IIJ 次世代モジュール型エコ・データセンターの特徴

• 外気導入型空冷で通年PUE 1.2
• 日本の事情に合わせた設計
• 屋根無し（コンテナを屋外に設置）
• コモディティサーバを利用（コンテナ型専用タイプは利用しない予定）
• N+１タイプの空調装置（コンテナごとに1台と予備1台）

実証実験の概要

• 実証実験のパートナーと実施
• コンテナ製造　NLMエカル（日本軽金属の子会社でコンテナ製造が本業）
• 電気空調設備　東芝
• 防災消火設備　能美防災
• ラック分電盤電流測定器　河村電器産業
• IT機器　国際産業技術（OTTOさん）
• 外気冷却方式の実証実験が主目的である
• ASHRAE（アメリカ暖房冷凍空調学会）の温湿度条件ASHRAE class1&2 recommended level(2008 Version)に収める制御を行う

空調システムの動作モード概要

• 中間期　外気運転モード（外気をそのままコールドエリアに供給、ホットエリアの排熱は全て排気）
• 冬期　　混合運転モード（冷たく乾燥しすぎの外気をホットエリアの排気と混合して、適切な温湿度にしてコールドエリアに供給）
• 夏期　　循環運転モード（外気は利用せず、冷却機を稼動して運転）

参加者にレクチャーするIIJ堂前さん

レクチャー中に行われた質疑応答の内容を抜粋すると以下の通りです。

コンテナ型データセンターの何が１番のメリット？

• リードタイムの短縮

コンテナのサイズは？

• 幅3m、高さ3m 、奥行き 8m で所謂ISO規格コンテナではない
• ISO規格コンテナでは、幅が狭まい（幅は2.438m、高さは2種類2.591mと2.896m長さも2種類6.096mと12.192m）
• ISO規格コンテナではないので、モジュール型と呼んでいる
• 日本の道路交通法上、輸送に許可を必要とするサイズなので、将来的には許可が不要なサイズに変更する予定

コモディティサーバを利用する理由は？

• 専用設計のサーバを利用するとリードタイム短縮効果が薄れる可能性がある
• 大きな仕様変更には、サーバメーカーは消極的
• 通常のサーバから冷却ファンを抜いた仕様などは、PUE値の比較では不利になるが利用を考えている

PUE値が不利になる理由は？

• PUEは、データセンター全体の消費電力をIT機器の消費電力で割った値
• サーバから冷却ファンを取り外すと、そのかわりに空調装置側の負荷（電力）が増えることになる
• 冷却ファンの電力がIT機器の消費電力から減って、空調装置側の電力が全体の消費電力に追加されることになり、PUEの値は大きく（悪く）なる
• 一般的に、サーバの冷却ファンよりも空調装置の大型ファンの効率がよいので、全体の消費電力を押さえることができるのに、PUEの値は悪くなる
• PUEの問題点は、さまざま指摘されているが、他の指標（DCiE・DPPE・etc）にも問題がないわけではなく、またPUE程認知されていない。

他の指標の問題点ってなに？

• 自然エネルギーや再生可能エネルギーをつかっても評価されない

温度及び湿度に下限がある理由は？

• 温度の下限は、モータ等に利用されているオイルの粘性など
• 湿度の下限は、静電気の発生を抑えることが理由
• 温度の上限は、あらゆる部品の故障率や寿命に関連
• 湿度の上限は、結露及び腐食

サーバのキッティングは、どこで行うの？

• 実証実験では、コンテナを設置後に行った
• 本番では、運送前にキッティングを行う予定

コンテナに輸送及び地震に関連する振動対策はあるのか？

• Oracle（元Sun）のコンテナ型にあるコイルスプリングのような対策はしていない
• 輸送時は、エアサス車を利用することで対応可能だと考えている
• 地震対策としては、震度7レベルの耐震設計を行っている

屋根無しで大丈夫なのか？

• 建築基準法などの法規に関連する問題は、データセンター特区でクリアできる予定(2010/8/10 23:22修正）国土交通省からコンテナ型データセンターは建築物扱いされないとの検討結果が発表されたのでクリアしている（参考 構造改革特別区域推進本部 資料1 PDF・検討要請に対する各府省庁からの回答　国土交通省 PDF 6ページ）
• 実証実験の設備は、４号建築物の特例でクリアしている（コンテナの製造を担当しているNLMエカルには、携帯電話基地局などでの実績があり、また1級建築士が在籍している）
• 屋根有りを選ぶ海外事例もあるので、情報収集は続けていく予定

障害対応は？

• 冷却機の障害には、N+1構成で対応（障害時には各ユニット間の接続部分にあるダンパー（空気弁）を開放して全体で支えるモードに移行する）
• 電源装置の障害には、自家発電機などで対応
• 人が作業中に空調が故障するケースもテストしたが、無事生還しております。
• Googleなどの行っているデータセンターレベルでの切り替え等は、今後の課題

サーバ故障時の対応方法は？

• 定期メンテナンス時にまとめて修理交換を行う
• 故障したサーバを完全にほっておく手法はとらない予定

なぜ、中部地方を実証実験の場所に選んだの？

• 実証実験の場所と立地条件とは特に関連はない
• この実証実験で得られた情報と日本全国の気象情報を元に、大体の指標を得ることはできる

コンテナ内での負荷の偏りには対応しているのか？

• 負荷が偏った状態でのテストを行ったが、熱の偏り等は、問題ないレベルで収束することを確認済

発熱量の大きいCPUやメモリと比較的少ないHDDを別のコンテナに収容することは検討しているか？

• コンテナごとに空調を調整できるので、メリットはあるかもしれない
• Flash SSDが主流になれば、メリットはなくなるかもしれない

ネットワーク機器への対応は？

• エアフローの観点から、前後方向での吸排気に対応している機器を使いたい
• 今回、横方向の製品を一部使っているが、たぶんちゃんと冷えていない筈

海外の事例にある、コンテナの2階建ては？

• やらない予定
• 地震対策や、下になるコンテナの強度アップにコストが必要
• コストに釣り合う効果が専有面積を減らすことにはない

枠を作ってコンテナを収める工法は？

• 一般論として建設費が高くなる
• 土地代が安い場所を選択しているので、採用はないと思われる

直流電源の検証予定は？

• 直流給電の規格が落ち着いたら考えます。

防災対策は？

• 地震対策は、震度7クラスに耐える設計を行っている
• 火災対策は、本番環境では窒素消火設備を利用予定

防犯対策は？

• 用地の周囲に壁を作る予定
• 無人運用ではなく、管理棟もあり警備員等も配置する予定

参加者の質問に答えるIIJ久保さん

質疑応答が一段落ついたところで、実際に実証実験中の設備を見学させていただきました。

実物を見ながらの解説の内容を抜粋すると以下のような感じです。

• この形になるまでに、幾つか変更を行っている
• 空調用コンプレッサーの変更
• 排気側ファンを外した
• 加湿用の給水パイプはこれ（写真参考）
• ITモジュールと空調モジュールは、フレシキブルな構造で接続(地震対策)
• LED照明を利用
• 扉は２重で前室あり（外部の庇は、小さすぎた・・・）
• 前室に配電盤を設置
• 実証実験で利用しているサーバは、熱源として利用
• OpenSSLのベンチマークコマンドで熱量を制御
• 温度湿度センサー（ストロベリー・リナックス製）を計測用に設置
• 今日は、見学なので6割程度の負荷で運用
• 最大負荷だと、凄い風量（最大27000立方メートル毎分）になる（6割でも凄い風量でした）
• 普通の煙センサーは、天井設置しますが、風量が凄すぎて天井では反応しないため、排気側ダクト前に設置している。しかも超高感度煙センサーの中でもより感度の高い製品を採用している
• 空調制御用の温湿度センサー、特に温度センサーは応答時間が極めて短いものを利用している

モジュール全景

ITモジュール

空調モジュール

フレシキブルなダクトの継ぎ手

空調モジュールを解説するIIJ堂前さん

加湿用水供給システムを解説するIIJ堂前さん

前室にある配電盤

配電盤内　電流測定用コイルがいっぱい

空調制御用温湿度センサー

超高感度煙センサー

煙センサーへの空気取り入れパイプ

コールドエリア側全景

ホットエリア側全景

温湿度センサーと熱源サーバ群

見学中に行われた質疑応答の内容を抜粋すると以下の通りです。

塗装しないの？

• 本番では、遮熱塗装を行うかを検討中（費用対効果を検討）
• 遮熱板は検討してみます（直射日光の当たる信号機等の制御ボックスなどにある筐体からは浮いた板）

配電盤に繋がったパイプは何？

• 当初の予想より配電盤からの熱が大きく前室が高温になったために、コールドエリア（通路ではないのでコールドアイルとは呼ばないことにしたそうです）から冷気を導入している

実証実験の費用は分担？

• IIJが負担している（部分が大きい？　聞き逃しました）
• パートナー各社にも、いろいろと便宜をはかってもらっている

感想

IIJさんが、先行する企業からのノウハウ導入だけではなく、自社のコンテナ型データセンターを建造する為に、ここまで努力している点には、素直に敬服しました。

質問にも、積極的に回答いただけて大変感謝しております。まだ、幾つか質問したい項目（降雪落雷対策・高温度運用の可能性・ネットワーク遅延etc）があったのですがそれは、別の機会にしたいと思います。

　ヤフオクで色々そろえている弊社としては、トレイのディスクを入れ換えて使うことが多く、ラベルもそのままだったので、ディスクの管理がイマイチでした。

　そこで、GIMPでせっせと模倣して、ラベルを作ってみました。こんな感じです。

　書体はHPで使われているFuturaフォントを使用。MacBookにバンドルされている物を使用しましたが、これではちょっと違うようで、文字の線が太く出ました。それはさておき、印刷はラベルシートにインクジェットプリントして、にじみ防止として梱包用の透明テープでラミネートしています。

　さて、本物と並べてみましょうか。

　うーん……ちょっと惜しい？まあ、管理できれば良いのです！（笑）

　ええと、前回のSANスイッチの写真ではありません。2個目が社長によって落札され、先ほど届きました。今回はいくらか競ったとのことですが、それでも7万円ほどで落札したとのことです。他にも買う方がいるんですね……！ちょっと安心（？）

　これから動作確認のためにラボ（7F）に行ってきます。

　HP c-Classのパーツは、大抵誰も入札しないので、それほど競り合うこともなく落札できるようです。今回のSANスイッチも5万のまま落札されたようですし、先日落札して送られてきたNICのメザニンボード(NC326m)も開始価格の3,500円で落札できたそうです。

　そもそも、c-Classのエンクロージャを個人で持っていたり、会社で所有していてパーツをヤフオクで調達して問題なかったり、……というのはかなり少ないと思われるので、競争相手が少ない(or いない?)のでしょうね……。

　さて、SANスイッチはこんなかんじです。なんと未開封。

　開封！HPの新品製品独特の香りがしました。

　そしていちおうフタをオープン。

　写真撮影後、検証環境のc3000に設置して、動作を確認しました。本当は背面を撮影したかったのですが、ちょっと散らかっていて、お見せできる状態ではありませんでした……。片付いたら改めてご紹介できれば……？

　Microsoft: Connection problems by opening iLO/iLO2 using Internet Explorer 8

　どうやら、IEのセキュリティ設定（ツール→インターネット オプション→セキュリティタブ）で、ローカルイントラネットのサイト一覧にiLO2のIPアドレス/DNSを追加してあげることで解決するようです。少なくとも、先述の環境では無事に接続できるようになりました。めでたし。

解決しなかった……？

　別のiLO2を立ち上げようとしたら、再びフリーズ。もう少し調べてみないといけないようですね。

これで解決？

　他のiLOのIPアドレスが信頼済みサイト一覧に残っていました。ローカルイントラネットには範囲丸ごと（http://192.168.1.* など）で許可する設定をしていたので、油断していました。おそらく、ローカルイントラネットよりも信頼済みサイトが優先されるためでしょう。
　うーん、ややこしい。

HPのサイトに掲載されていました

　改めて検索したところ、日本のHPのサイトに情報がアップされていたので、リンクを掲載します。
Integrated Lights-Out/Lights-Out 2 (iLO/iLO2) – iLO/iLO2でInternet Explorer 8を使用してリモートサーバーに接続すると、Internet Explorer 8が応答しなくなることがある
　ただ、それでもやや不安定で、1つのISOを3つのiLOでマウントして使おうとしていたら、たった今フリーズして落ちてしまいました。
　追記だらけでまとまりの無い記事になってしまいましたね……。