2013-02-06

1PBのストレージを組むには (2013年版)

3年前の2010年、1PB(ペタバイト)のストレージを組むには、というタイトルで記事を書きました。その記事ですが未だにアクセスがそれなりにあるようです。
IT業界で3年前といったら普通に業界で20年位前に相当する位だと思うので、そんな3年も前の記事を見て頂くというのも割と恥ずかしいというか、それってどうなのよ、と思った訳で丁度いい機会なので新たに2013年版を書かせて頂きました。

前回も前置きしましたが、「1台のPCで動作させるのは非現実的」とか「ホントに動くのか?」(←いや動きますよ)とかは別として、純粋に技術的に可能なのか?という点だけで話を進めていきます。

3年前と何が変わったのか

その頃はハードディスクも最大容量が2TBまでしかなく、エンクロージャーも16Bayが最大でした。
今回はディスク容量は倍、エンクロージャーも48Bayのモデルが出ています。この辺がコストにどのように影響してくるのか楽しみであります。

機器選定

エンクロージャーは弊社から販売している48Bayの巨大なエンクロージャーを用意します。
NS-390S-8026
5Uサイズでトップローディング方式のSAS Expander接続式エンクロージャーです。
コレ1台で48ディスクを装備出来ます。(ラック総重量に注意しましょう..)
ハードディスクは2013年2月現在で最大容量の物を用意するとしますと4TBモデルが最大なのでそれを1PBになるようにしますと...
256ディスク必要です。(1024TB≒1PBとすると)
ということで、256÷48=5.33333....つまり6台のエンクロージャーが必要になりますね。
RAIDカードの方は今回はZFSを使って構築するという前提で話を進めたいと思うので、RAIDカードでは無く単純なHBAを選択してみたいと思います。

LSI SAS 9201-16e
LSI SAS 9201-16eはRAID機能を持たない単純なSASホストバスアダプタになります。
このカード1枚で最大512ドライブまで認識可能です。

構成は...

システムの構成は下図の通りです。
HBAをホストPCに挿してminiSASケーブルでエンクロージャーを繋いでいきます。
LSI SAS 9201-16eは外部4miniSASなのでケーブルを4本出します。NS-390S-8026はSAS Expanderモジュールを2つ搭載しているので、それぞれにケーブルを2本づつ繋いで接続する形になるわけですね。
RAID自体はZFSファイルシステムの機能を利用します。そういう訳で今回ホストアダプタにはRAIDカードでは無くSAS-HBAを選択しました。
構成図
コストは幾らかかるのか?

さてコスト総額です。
  • エンクロージャー NS-390S-8026×6台 3,840,000円(単価 640,000円)
  • ハードディスク Seagate ConstellationES3(4TB)×256台 9,728,000円(単価 38,000円)
  • HBA LSI SAS 9201-16e 55,000円
  • ケーブル ML-miniSAS-1M×12本 93,600円(単価 7,800円)

  合計  1371万6600円  (税別)

ホストPCは今日び何でも良いです。20〜30万位もあればそれなりの性能を持つワークステーションが買えると思うので適当なマシンにHBAを挿してください。あ、NASのヘッドにするなら10GbEかマルチポートのGbE NICを忘れずに。
それとハードディスクの部分はエントリーグレードのHGST Deskstarシリーズあたりを使うと総額で1000万円を切るとは思います。が、HBAのコンパチブルリストに載っていないと思うのでその辺は自己責任でお願いします。(念のため言っておきますがサーバーグレードのHDDの方が良いです。きっと...)
あとあくまで上記価格は定価ベースですのであしからず。
また機材の価格に大きく影響を与える為替レートについても2013年2月現在円安基調になっていますので、更に円安が進むと特にHDDの価格が変動する場合があります。

しかしまぁ前回(2010年)と比較すると700万円位下がったわけですね。
運用についても250台程度のディスク数なら普通に今動かしてる所ありますからね。大したことないです。フツーです。少なくともホットスペアを数本別途当てておいて、クラッシュしたら自動的にリビルドかかるようにしておけば良いんです。アラートだってメールで飛ばせますし常時人が見てないと駄目なんてこともありません。

前回は構成的にもかなり無理してる感がアリアリでしたけども、今回は全然無理っぽい所がありません。ますますペタバイトの時代がやってきたなぁという感じですね。

備考
  • 冗長化を持たせるためにZFSのRAID-Z2やホットスペアを設定すると実容量は1024TBより減ります。エンクロージャー6台構成で288ディスクまで入れられるので予算の許す限りHDDを追加すればOK
  • ラックマウントレールキットはエンクロージャーに付属します。但し奥行きが長いので、900mmくらいの19インチラックじゃないと収まりません。
  • 床の耐荷重に注意
  • 電源に注意
  • 予算に注意
  • DASで使うならそのまま。NASで使うなら10GbE推奨。Infiniband使っても面白いかも
  • エンクロージャーはセールで安価になっている場合があります

■10GbEのスイッチもカードも大分安くなってきました。サーバとスイッチ間だけでも10GbEにしてクライアントースイッチ間をGbEにすればトラフィックの軽減は可能ですね。

2 件のコメント:

匿名 さんのコメント...

これってWEB serverに使えますか?

管理人 さんのコメント...

WebServerに直接ぶら下げる形で構築しても良いですが、管理的にはStorageServerを1台別に用意しても良いかと思いますよ。