データセンターの経営者が最高速のスーパーコンピューターから学べる4つのレッスン

2. リアルタイムの定義は企業ごとに異なります

スーパーコンピューターのアプリケーションでは、リアルタイムデータのほとんどのインスタンスが大きな影響力を持ちます。核反応の停止からロケット打ち上げの遠隔測定データまで、演算にレイテンシが存在すると壊滅的な影響をもたらす可能性があります。そのうえ、データセットは膨大にのぼります。これらのデータストリームは、単一のソースではなくレポートノードのネットワークから供給されることの方が一般的です。

また、データは短命です。リアルタイムのフィードを使用する場合、恒久的に保存されるデータはごくわずかです。データには期限があり、連続的な書き込みと読み取りで上書きされ続けます。リアルタイムデータは常に変化するため、最初から全てのビットを保存する必要があるアプリケーションはほんの一部です。
データはバッチ単位で処理され、一般的な統計モデルやアルゴリズムなどの結果を生成するために計算され、保存されるのは結果のみです。

アメリカ海洋大気庁(NOAA)がスーパーコンピューターを使用して行う予測を例に挙げましょう。
降水量、気温、地表温度、気圧、時刻、太陽効果、風、さらに風が地形を通過する様子までも、気象学的因子は常に変化します。これらは毎秒変化し、リアルタイムの情報配信として報告されます。しかし、NOAAの国立気象局(NWS)が必要なのは生データを恒久的に保存することではありません。予測モデルが必要なのです。グローバル大気予報システム（GFS）モデルが形式化されるにつれて、新たなデータがこのモデルを通じて使用され、より正確で最新の予測が形成されます。

さらに、NWSからのデータを共有して受信する各地の気象学者は、グローバルな気候のデータセット全体にアクセスする必要はありません。
地域限定のモデルを使用するだけで済みます。
このため、NWSのデータを現地の測候所のデータで補完できます。そのため、微気候を把握し、平均/統計/アルゴリズムなどの結果を得るために演算するデータのバッチを作成することで、現地の気象予測をより正確に行えるようになります。

移動平均を扱う株式取引や金融モデルにも同じことが言えます。それぞれに専用の指標があり、許容可能な市場変化のしきい値を示す特定のパラメーターに基づいて行動が促されます。「リアルタイム」データを使用するシステムは読み込んだデータすべてを保存する必要はありません。それでも、不揮発性ランダムアクセスメモリ(NVRAM)とダイナミックRAM (DRAM)を利用して、データを都度キャッシュに格納して処理し、ストレージへ計算結果を出力させる方が効果的です。

4. 多層型のフェイルセーフ機構

HPCデータセンター内でエネルギーを配分することはますます難しくなっています。特に、インフラを共有リソースとして活用する場合にそれが当てはまります。
専用インフラまたはサービスの一環として提供されるインフラのいずれでも、データセンターは継続的な稼働を保証し、停電やピーク需要の急増または変動の際に繊細なハードウェアコンポーネント部品が破損するリスクを抑えなければなりません。


アーキテクチャの設計者は、障害を分散するため様々な対策を組み合わせます：

• DC電源供給とUPSによるバックアップ、

• トリジェネレーション(放熱から電気を生成しバックアップ用に保存)

• アクティブ監視


「こまめにセーブ」はすべてのアプリケーションのスローガンです。これは、「バックアップ」が至上命令となるデータセンターでも真実です。

現在のデータセンターのほぼすべてが、ストレージアレイ全体にわたって連続的にほぼ同時の書き込みを保証するため、高レベルのRAID体系を使用して運用されています。さらに、HPCインフラは処理中のデータをキャッシュに格納するため、大量のNVRAMを利用します。これはストレージアレイからデータを取り出さないライブ配信か、スクラッチディスク的な利用法で演算リソースを増やす並列処理情報のいずれかとなります。
前述のFronteraシステムは合計50PBのスクラッチ容量を利用します。帯域幅やIOPSの要件が非常に高いユーザーは、約3PBの容量を持ち帯域幅が最大1.2TB/秒の全NVMe（不揮発性メモリExpress）ファイルシステム上に割り当てを要求できます。

このストレージ用の常時RAIDバックアップと、NVMeバッファの継続キャッシングは、デバイス上のコントローラーの合計I/Oしきい値と、リモートストレージ/バックアップへ割り当てられた帯域幅に左右されます。

また、ほとんどのHPCインフラは、ソリッドステートアレイとフラッシュストレージブロックへ完全に移行することで、ドライブの回転が原因で起こるハードウェアの故障を完全に排除しています。
これらのストレージソリューションは安定したIOPSを実現しており、予測可能なレイテンシはアプリケーション固有のレイテンシのしきい値内に収まります。また、多くのスーパーコンピューターは、処理し格納するすべてのデータを安心してアーカイブできるよう、エクサバイト級へ拡張できる複数のテープライブラリも利用しています。

多くは、システム内で他の要素すべてが障害を起こした場合に備え、電源喪失保護機能 (PLP)としても分類される電源障害(PFail)コンデンサー(P-Cap)をSSDとDRAMに搭載しています。
P-Capを利用すれば個別ドライブまたはドライブアレイ全体で処理中の書き込みを完了できるため、壊滅的な障害時に失われる可能性があるデータ量を削減できます。

結論

繰返しになりますが、スーパーコンピューターの分野ではカスタムが主流です。データセンターを構築して、最も安定したパフォーマンスを実現するのであれば、自社のニーズを把握することが第一歩となります。
これは、データセンターの規模に関わらず鍵を握ります。スーパーコンピューターでは、データの生成、保管、共有時に重要となります。
アーキテクチャの設計者はこうした要素を評価すれば、たとえ市販のコンポーネントを使用した場合でも、将来の進歩に備えた高性能なインフラを設計できます。

#KingstonIsWithYou