ビッグデータ - Hadoop

NVIDIA データの量、速度、多様性、正確性、そして価値はビッグデータ実装を評価する際の指標となります。Hadoopは有力なビッグデータアプリケーションであり、企業が成長し、新事業を始め、研究を進展させるための助けになります。データストレージの容量や、流入フロー、分析スピードにおけるHadoopクラスタの性能は、今日のデータサイエンティストの仕事上の目標です。レガシーなイーサネットネットワークでは、もはやHadoopクラスタが必要とするパフォーマンスを達成できません。マルチソケット、マルチコアサーバーは、たとえリンクアグリゲーションを使用していたとしても、従来のギガビット・イーサネット(そしてしばしば10GbE)の能力を超えています。

ワークロードへの影響が甚大であるため、ネットワークとそれに必要な能力の選択は、Hadoopクラスタを構築するときの重要な課題の1つとなります。十分な能力を持ったネットワークを購入する目的は、クラスタの全てのノードが最適のレートで通信できるようにすることです。メラノックスのエンドーツーエンドのHadoopネットワーキングソリューションは、現在の、そして将来のボトルネックを解消するために必要なパフォーマンスを提供します。イーサネットでもInfiniBandでも、メラノックスのスイッチとケーブル、アダプタカードは、今日の高度なディスクコントローラーのスループットを維持するために十分な帯域を提供します。また、低遅延機能はNoSQLデータベースのパフォーマンスをかつてないほど高めます。マイクロ秒を下回る遅延性は、HBaseのレスポンスタイムを削減し、回答にかかる時間をより統計的に予測しやすくします。

Apache Hadoopの上に追加できる新しいインタラクティブなフレームワークは、ほぼリアルタイムのデータ分析パフォーマンスをもたらしてくれますが、こうしたフレームワークは、大量のデータを処理するために、低遅延、高スループットの接続性を必要とします。売上や収益の線形的な成長に伴ってデータが急速に増大していることを考えれば、今日の企業の成長に応えるためには、線形的にスケール可能であることが求められます。マイクロプロセッサ技術の発展により、マルチコア・プロセッサやサーバーは、CPUの処理を可能にするためのさらに高いスループットを備えたネットワークを必要とするようになっています。メラノックスのInfiniBandとイーサネット技術は、利用可能な最大級の帯域を提供するとともに、どちらもデータの移動をオフロードするためのRDMA機能を持ち合わせています。