2013-02-07

PCI-Express外部拡張ボックス

皆さんPCI-Expressの拡張バス、足りなくなる事ありませんか?
特に映像系の方であればMacPro使ってて、足りなくなる事ありますよね。
アレ、拡張スロットの空きが3つしかないですからね。
VGAの他にキャプチャーカード挿してeSATAか何かのカード挿してアレ挿して・・・なんてやってたらもうスロット0ですよね。

そんな貴方にピッタリの物があります!
NA-250A-GPUです。
NA-250A-GPU
この製品ですが内部にPCI-Expressのスロットを6基持つ拡張ボックスです。
PC側には付属するPCI-Express(x8)のホストアダプタを挿して、External PCI-Expressケーブルで接続します。OS側から見ると単純にPCI-Expressのバスが増えただけなので、ドライバレスで動作しますし取り扱いも凄く簡単です。
特にAdobe系のソフト(After Effects、Premiere)等やカラーグレーディングシステムDaVinci ResolveでNA-250A-GPUを用いた複数GPGPU搭載環境でのパフォーマンスアップが確認されています。

中のスロットはこんな感じ
補助電源用の4+2pinケーブルも装備
スロットは(x8)と描かれていますがコレは電気的にx8の速度で通信するということで、スロット自体はx16の切欠きになっていますからx16のGPU等を装備することが可能になっています。
また「1Uのサーバに付けたいけどデスクトップ型じゃあねぇ」という方にはラックマウントモデルのNA-260A-GPUも同価格で販売しておりますので、是非どうぞ!
と、ここまでは既存の商品の紹介でしたが追加情報を。
PCI-Expressを拡張したいけど、そもそもPCI-Expressスロットが無いiMac/MacBook等の場合どうしたらいいのよ!という貴方のためにThunderbolt接続の拡張ボックスを商品化することにしました!
自作パーツのマザーボードでも搭載機器が増えてきたThunderbolt。もうMacBookProやiMacではストレージの接続やシネマディスプレイ等に使っているユーザーは多いんじゃないでしょうか?
RAIDカードであればATTO/Arecaのカードや3wareの一部カードでThunderboltドライバが出てきています。nVidia等のGPGPUのドライバが対応してくれれば最高なんですが、これも近々に対応するんじゃないかと思います。

Thunderbolt接続のPCIe拡張ボックスですが春くらいには発売出来ると思います。
詳しい情報を知りたい方や予約をしたい方がいらっしゃいましたら是非御連絡くださいませ。

2013-02-06

1PBのストレージを組むには (2013年版)

3年前の2010年、1PB(ペタバイト)のストレージを組むには、というタイトルで記事を書きました。その記事ですが未だにアクセスがそれなりにあるようです。
IT業界で3年前といったら普通に業界で20年位前に相当する位だと思うので、そんな3年も前の記事を見て頂くというのも割と恥ずかしいというか、それってどうなのよ、と思った訳で丁度いい機会なので新たに2013年版を書かせて頂きました。

前回も前置きしましたが、「1台のPCで動作させるのは非現実的」とか「ホントに動くのか?」(←いや動きますよ)とかは別として、純粋に技術的に可能なのか?という点だけで話を進めていきます。

3年前と何が変わったのか

その頃はハードディスクも最大容量が2TBまでしかなく、エンクロージャーも16Bayが最大でした。
今回はディスク容量は倍、エンクロージャーも48Bayのモデルが出ています。この辺がコストにどのように影響してくるのか楽しみであります。

機器選定

エンクロージャーは弊社から販売している48Bayの巨大なエンクロージャーを用意します。
NS-390S-8026
5Uサイズでトップローディング方式のSAS Expander接続式エンクロージャーです。
コレ1台で48ディスクを装備出来ます。(ラック総重量に注意しましょう..)
ハードディスクは2013年2月現在で最大容量の物を用意するとしますと4TBモデルが最大なのでそれを1PBになるようにしますと...
256ディスク必要です。(1024TB≒1PBとすると)
ということで、256÷48=5.33333....つまり6台のエンクロージャーが必要になりますね。
RAIDカードの方は今回はZFSを使って構築するという前提で話を進めたいと思うので、RAIDカードでは無く単純なHBAを選択してみたいと思います。

LSI SAS 9201-16e
LSI SAS 9201-16eはRAID機能を持たない単純なSASホストバスアダプタになります。
このカード1枚で最大512ドライブまで認識可能です。

構成は...

システムの構成は下図の通りです。
HBAをホストPCに挿してminiSASケーブルでエンクロージャーを繋いでいきます。
LSI SAS 9201-16eは外部4miniSASなのでケーブルを4本出します。NS-390S-8026はSAS Expanderモジュールを2つ搭載しているので、それぞれにケーブルを2本づつ繋いで接続する形になるわけですね。
RAID自体はZFSファイルシステムの機能を利用します。そういう訳で今回ホストアダプタにはRAIDカードでは無くSAS-HBAを選択しました。
構成図
コストは幾らかかるのか?

さてコスト総額です。
  • エンクロージャー NS-390S-8026×6台 3,840,000円(単価 640,000円)
  • ハードディスク Seagate ConstellationES3(4TB)×256台 9,728,000円(単価 38,000円)
  • HBA LSI SAS 9201-16e 55,000円
  • ケーブル ML-miniSAS-1M×12本 93,600円(単価 7,800円)

  合計  1371万6600円  (税別)

ホストPCは今日び何でも良いです。20〜30万位もあればそれなりの性能を持つワークステーションが買えると思うので適当なマシンにHBAを挿してください。あ、NASのヘッドにするなら10GbEかマルチポートのGbE NICを忘れずに。
それとハードディスクの部分はエントリーグレードのHGST Deskstarシリーズあたりを使うと総額で1000万円を切るとは思います。が、HBAのコンパチブルリストに載っていないと思うのでその辺は自己責任でお願いします。(念のため言っておきますがサーバーグレードのHDDの方が良いです。きっと...)
あとあくまで上記価格は定価ベースですのであしからず。
また機材の価格に大きく影響を与える為替レートについても2013年2月現在円安基調になっていますので、更に円安が進むと特にHDDの価格が変動する場合があります。

しかしまぁ前回(2010年)と比較すると700万円位下がったわけですね。
運用についても250台程度のディスク数なら普通に今動かしてる所ありますからね。大したことないです。フツーです。少なくともホットスペアを数本別途当てておいて、クラッシュしたら自動的にリビルドかかるようにしておけば良いんです。アラートだってメールで飛ばせますし常時人が見てないと駄目なんてこともありません。

前回は構成的にもかなり無理してる感がアリアリでしたけども、今回は全然無理っぽい所がありません。ますますペタバイトの時代がやってきたなぁという感じですね。

備考
  • 冗長化を持たせるためにZFSのRAID-Z2やホットスペアを設定すると実容量は1024TBより減ります。エンクロージャー6台構成で288ディスクまで入れられるので予算の許す限りHDDを追加すればOK
  • ラックマウントレールキットはエンクロージャーに付属します。但し奥行きが長いので、900mmくらいの19インチラックじゃないと収まりません。
  • 床の耐荷重に注意
  • 電源に注意
  • 予算に注意
  • DASで使うならそのまま。NASで使うなら10GbE推奨。Infiniband使っても面白いかも
  • エンクロージャーはセールで安価になっている場合があります

■10GbEのスイッチもカードも大分安くなってきました。サーバとスイッチ間だけでも10GbEにしてクライアントースイッチ間をGbEにすればトラフィックの軽減は可能ですね。